管理警示

alertmanager.rules

AlertmanagerConfigInconsistent

这些是具有多个警示管理器副本的 HA 集群的内部警示管理器错误。警示可能会间歇性地出现和消失。暂时缩小规模，然后扩大警示管理器副本可能会解决此问题。

要解决此问题，请执行以下步骤：

1. 缩放至零。请注意，Pod 需要一段时间才能关闭：

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0

2. 缩小到 2：

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2

3. 检查 Alertmanager Pod 是否已启动以及是否处于正在运行状态：

   kubectl get po -n cattle-monitoring-system

如果问题仍然存在，请联系 UiPath™ 支持团队。

AlertmanagerFailedReload

警示管理器加载或重新加载配置失败。请检查任何自定义警示管理器配置中是否存在输入错误，否则请联系 UiPath™ 支持团队。

AlertmanagerMembersInconsistent

这些是具有多个警示管理器副本的 HA 集群的内部警示管理器错误。警示可能会间歇性地出现和消失。暂时缩小规模，然后扩大警示管理器副本可能会解决此问题。

要解决此问题，请执行以下步骤：

1. 缩放至零。请注意，Pod 需要一段时间才能关闭：

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0

2. 缩小到 2：

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2

3. 检查 Alertmanager Pod 是否已启动以及是否处于正在运行状态：

   kubectl get po -n cattle-monitoring-system

如果问题仍然存在，请联系 UiPath™ 支持团队。

常规.规则

TargetDown

Prometheus 无法从警示中的目标收集指标，这意味着 Grafana 仪表板和基于该目标的指标的进一步警示不可用。检查与该目标相关的其他警示。

Watchdog

这是一个警示，用于确保整个警示管道正常运行。此警示始终处于触发状态。因此，它应始终在“警示管理器”中针对接收器触发。有各种通知机制的集成，可在此警示未触发时通知您。例如，PagerDuty 中的 DeadMansSnitch 集成。

prometheus-operator

PrometheusOperatorListErrors, PrometheusOperatorWatchErrors, PrometheusOperatorSyncFailed, PrometheusOperatorReconcileErrors, PrometheusOperatorNodeLookupErrors, PrometheusOperatorNotReady, PrometheusOperatorRejectedResources

控制 Prometheus 资源的 Prometheus 运算符的内部错误。存在这些错误时，Prometheus 本身可能仍然运行良好；但是，此错误表示监控可配置性下降。请联系 UiPath™ 支持团队。

Prometheus

PrometheusBadConfig

Prometheus 加载或重新加载配置失败。请检查任何自定义 Prometheus 配置是否存在输入错误。否则，请联系 UiPath™ 支持团队。

PrometheusErrorSendingAlertsToSomeAlertmanagers, PrometheusErrorSendingAlertsToAnyAlertmanager, PrometheusNotConnectedToAlertmanagers

从 Prometheus 到警示管理器的连接不正常。指标仍可查询，并且 Grafana 仪表板可能仍会显示指标，但不会触发警示。检查警示管理器的任何自定义配置是否存在输入错误，否则请联系 UiPath™ 支持团队。

PrometheusNotificationQueueRunningFull, PrometheusTSDBReloadsFailing, PrometheusTSDBCompactionsFailing, PrometheusNotIngestingSamples, PrometheusDuplicateTimestamps, PrometheusOutOfOrderTimestamps, PrometheusRemoteStorageFailures, PrometheusRemoteWriteBehind, PrometheusRemoteWriteDesiredShards

表示可能无法按预期收集指标的内部 Prometheus 错误。请联系 UiPath™ 支持团队。

PrometheusRuleFailures

如果存在基于不存在的指标或不正确的 PromQL 语法的格式错误警示，则可能会发生这种情况。如果未添加自定义警示，请联系 UiPath™ 支持团队。

PrometheusMissingRuleEvaluations

Prometheus 无法评估是否应触发警示。如果警示太多，可能会发生这种情况。请删除昂贵的自定义警示评估和/或查看有关增加 Prometheus CPU 限制的文档。如果未添加自定义警示，请联系 UiPath™ 支持团队。

PrometheusTargetLimitHit

Prometheus 要收集的目标过多。如果添加了额外的 ServiceMonitor（请参阅监控控制台），您可以将其删除。

uipath.prometheus.resource.provisioning.alerts

PrometheusMemoryUsage, PrometheusStorageUsage

当集群接近配置的内存和存储限制时，这些警示会发出警告。 这可能发生在最近使用量大幅增加的集群上（通常来自机器人而不是用户），或者在未调整 Prometheus 资源的情况下将节点添加到集群中时。 这是因为要收集的指标数量增加。

可以在 Kubernetes/持久卷仪表板上看到存储利用率的提高率：

您可以按照此处的说明，通过调整 PVC 的大小来调整 PVC： 配置集群。

可以在 Kubernetes/计算资源/Pod 仪表板上看到内存利用率的增加率。

您可以通过在 ArgoCD 的 rancher-monitoring 应用程序中编辑 Prometheus 内存资源限制来进行调整。单击“保存”后，rancher-monitoring 应用程序将自动重新同步。

请注意，Prometheus 需要一些时间才能重新启动并再次开始在 Grafana 中显示指标。通常情况下，耗时不到 10 分钟，即使是大型集群也不例外。

uipath.availability.alerts

UiPathAvailabilityHighTrafficUserFacing

来自 UiPath™ 服务的 HTTP 500 响应数量超过给定阈值。

流量级别	20 分钟内的请求数	错误阈值（适用于 HTTP 500）
高	>100,000	0.1%
中	10,000 到 100,000 之间	1%
低	< 10,000	5%

面向用户的服务中的错误可能会导致可在 Automation Suite 用户界面中直接观察到的功能降级，而后端服务中的错误则不会产生明显的后果。

警示会指明哪个服务的错误率较高。要了解报告服务所依赖的其他服务可能存在哪些级联问题，您可以使用 Istio 工作负载仪表板，该仪表板会显示服务之间的错误。

请仔细检查所有最近重新配置的 Automation Suite 产品。还可以使用 kubectl logs 命令获取详细日志。如果错误仍然存在，请联系 UiPath™ 支持团队。

备份

NFSServerDisconnected

此警示表示 NFS 服务器连接已丢失。

您需要检查 NFS 服务器连接和装载路径。

VolumeBackupFailed

此警示表示 PVC 的备份失败。

BackupDisabled

此警示表示备份已禁用。

您需要检查集群是否运行状况不佳。

cronjob-alerts

CronJobSuspended

uipath-infra/istio-configure-script-cronjob cronjob 处于挂起状态。

要解决此问题，请执行以下步骤来启用 cronjob：

export KUBECONFIG="/etc/rancher/rke2/rke2.yaml" && export PATH="$PATH:/usr/local/bin:/var/lib/rancher/rke2/bin"
kubectl -n uipath-infra patch cronjob istio-configure-script-cronjob -p '{"spec":{"suspend":false}}'
epoch=$(date +"%s")
kubectl -n uipath-infra create job istio-configure-script-cronjob-manual-$epoch --from=cronjob/istio-configure-script-cronjob
kubectl -n uipath-infra wait --for=condition=complete --timeout=300s job/istio-configure-script-cronjob-manual-$epoch
kubectl get node -o wide
#Verify if all the IP's listed by the above command are part of output of below command
kubectl -n istio-system get svc istio-ingressgateway -o json | jq '.spec.externalIPs'

IdentityKerberosTgtUpdateFailed

此作业将最新的 Kerberos 票证更新为所有 UiPath™ 服务。此作业失败将导致 SQL Server 身份验证失败。请联系 UiPath™ 支持团队。