管理警示

alertmanager.rules

AlertmanagerConfigInconsistent

这些是具有多个警示管理器副本的 HA 集群的内部警示管理器错误。 警示可能会间歇性地出现和消失。 暂时缩小规模，然后扩大警示管理器副本可能会解决此问题。

要解决此问题，请执行以下步骤：

1. 缩放至零。 请注意，Pod 需要一段时间才能关闭：

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0

2. 缩小到 2：

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2

3. 检查 Alertmanager Pod 是否已启动以及是否处于正在运行状态：

   kubectl get po -n cattle-monitoring-system

如果问题仍然存在，请联系 UiPath 支持团队。

AlertmanagerFailedReload

警示管理器加载或重新加载配置失败。请检查任何自定义警示管理器配置中是否存在输入错误，否则请联系 UiPath 支持团队。

AlertmanagerMembersInconsistent

这些是具有多个警示管理器副本的 HA 集群的内部警示管理器错误。 警示可能会间歇性地出现和消失。 暂时缩小规模，然后扩大警示管理器副本可能会解决此问题。

要解决此问题，请执行以下步骤：

1. 缩放至零。 请注意，Pod 需要一段时间才能关闭：

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0

2. 缩小到 2：

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2

3. 检查 Alertmanager Pod 是否已启动以及是否处于正在运行状态：

   kubectl get po -n cattle-monitoring-system

如果问题仍然存在，请联系 UiPath 支持团队。

常规.规则

TargetDown

Prometheus 无法从警示中的目标收集指标，这意味着 Grafana 仪表板和基于该目标的指标的进一步警示不可用。检查与该目标相关的其他警示。

Watchdog

这是一个警示，用于确保整个警示管道正常运行。此警示始终处于触发状态。因此，它应始终在“警示管理器”中针对接收器触发。有各种通知机制的集成，可在此警示未触发时通知您。例如，PagerDuty 中的 DeadMansSnitch 集成。

prometheus-operator

PrometheusOperatorListErrors, PrometheusOperatorWatchErrors, PrometheusOperatorSyncFailed, PrometheusOperatorReconcileErrors, PrometheusOperatorNodeLookupErrors, PrometheusOperatorNotReady, PrometheusOperatorRejectedResources

控制 Prometheus 资源的 Prometheus 运算符的内部错误。存在这些错误时，Prometheus 本身可能仍然运行良好；但是，此错误表示监控可配置性下降。请联系 UiPath 支持团队。

Prometheus

您的概念将从这里启航。

PrometheusBadConfig

Prometheus 加载或重新加载配置失败。请检查任何自定义 Prometheus 配置是否存在输入错误。否则，请联系 UiPath 支持团队。

PrometheusErrorSendingAlertsToSomeAlertmanagers, PrometheusErrorSendingAlertsToAnyAlertmanager, PrometheusNotConnectedToAlertmanagers

从 Prometheus 到警示管理器的连接不正常。指标仍可查询，并且 Grafana 仪表板可能仍会显示指标，但不会触发警示。检查警示管理器的任何自定义配置是否存在输入错误，否则请联系 UiPath 支持团队。

PrometheusNotificationQueueRunningFull, PrometheusTSDBReloadsFailing, PrometheusTSDBCompactionsFailing, PrometheusNotIngestingSamples, PrometheusDuplicateTimestamps, PrometheusOutOfOrderTimestamps, PrometheusRemoteStorageFailures, PrometheusRemoteWriteBehind, PrometheusRemoteWriteDesiredShards

表示可能无法按预期收集指标的内部 Prometheus 错误。请联系 UiPath 支持团队。

PrometheusRuleFailures

如果存在基于不存在的指标或不正确的 PromQL 语法的格式错误警示，则可能会发生这种情况。如果未添加自定义警示，请联系 UiPath 支持团队。

PrometheusMissingRuleEvaluations

Prometheus 无法评估是否应触发警示。如果警示太多，可能会发生这种情况。请删除昂贵的自定义警示评估和/或查看有关增加 Prometheus CPU 限制的文档。如果未添加自定义警示，请联系 UiPath 支持团队。

PrometheusTargetLimitHit

Prometheus 要收集的目标过多。如果添加了额外的 ServiceMonitor（请参阅监控控制台），您可以将其删除。

uipath.prometheus.resource.provisioning.alerts

PrometheusMemoryUsage, PrometheusStorageUsage

当集群接近配置的内存和存储限制时，这些警示会发出警告。 这可能发生在最近使用量大幅增加的集群上（通常来自机器人而不是用户），或者在未调整 Prometheus 资源的情况下将节点添加到集群中时。 这是因为要收集的指标数量增加。

可以在 Kubernetes/持久卷仪表板上看到存储利用率的提高率：

您可以按照此处的说明，通过调整 PVC 的大小来调整 PVC： 配置集群。

可以在 Kubernetes/计算资源/Pod 仪表板上看到内存利用率的增加率。

您可以通过在 ArgoCD 的 rancher-monitoring 应用程序中编辑 Prometheus 内存资源限制来进行调整。单击“保存”后，rancher-monitoring 应用程序将自动重新同步。

请注意，Prometheus 需要一些时间才能重新启动并再次开始在 Grafana 中显示指标。通常情况下，耗时不到 10 分钟，即使是大型集群也不例外。

uipath.availability.alerts

UiPathAvailabilityHighTrafficUserFacing

来自 UiPath 服务的 HTTP 500 响应数量超过给定阈值。

流量级别	20 分钟内的请求数	错误阈值（适用于 HTTP 500）
高	>100,000	0.1%
中	10,000 到 100,000 之间	1%
低	< 10,000	5%

面向用户的服务中的错误可能会导致可在 Automation Suite 用户界面中直接观察到的功能降级，而后端服务中的错误则不会产生明显的后果。

警示会指明哪个服务的错误率较高。要了解报告服务所依赖的其他服务可能存在哪些级联问题，您可以使用 Istio 工作负载仪表板，该仪表板会显示服务之间的错误。

请仔细检查所有最近重新配置的 Automation Suite 产品。还可以使用 kubectl logs 命令获取详细日志。如果错误仍然存在，请联系 UiPath 支持团队。

备份

NFSServerDisconnected

此警示表示 NFS 服务器连接已丢失。

您需要检查 NFS 服务器连接和装载路径。

VolumeBackupFailed

此警示表示 PVC 的备份失败。

BackupDisabled

此警示表示备份已禁用。

您需要检查集群是否运行状况不佳。

cronjob-alerts

CronJobSuspended

uipath-infra/istio-configure-script-cronjob cronjob 处于挂起状态。

要解决此问题，请执行以下步骤来启用 cronjob：

export KUBECONFIG="/etc/rancher/rke2/rke2.yaml" && export PATH="$PATH:/usr/local/bin:/var/lib/rancher/rke2/bin"
kubectl -n uipath-infra patch cronjob istio-configure-script-cronjob -p '{"spec":{"suspend":false}}'
epoch=$(date +"%s")
kubectl -n uipath-infra create job istio-configure-script-cronjob-manual-$epoch --from=cronjob/istio-configure-script-cronjob
kubectl -n uipath-infra wait --for=condition=complete --timeout=300s job/istio-configure-script-cronjob-manual-$epoch
kubectl get node -o wide
#Verify if all the IP's listed by the above command are part of output of below command
kubectl -n istio-system get svc istio-ingressgateway -o json | jq '.spec.externalIPs'

IdentityKerberosTgtUpdateFailed

此作业将最新的 Kerberos 票证更新为所有 UiPath 服务。此作业失败将导致 SQL Server 身份验证失败。请联系 UiPath 支持团队。