警示 runbook

EKS/AKS 上针对 Automation Suite 警示的警示严重性级别和故障排除过程。

备注：

• 有关使用可用工具显示警示、指标和可视化的一般说明，请参阅“使用监控堆栈” 。
• 有关如何解决问题以及如何为 UiPath™ 支持工程师创建支持捆绑包的更多信息，请参阅“故障排除” 。
• 联系 UiPath™ 支持团队时，请确保包括当前触发的任何警示。

警示严重性键

下表描述了警示严重性级别。

警示严重性	描述
信息	意外但无害。可以静默，但在诊断期间可能有用。
Warning	表明功能有针对性地降级或在不久的将来可能降级，这可能会影响整个集群。建议迅速采取行动（通常在几天内），以保持集群的正常运行。
重要事项	已知会导致集群中普遍存在的功能严重降级。需要立即采取行动（当天）修复集群。

常规.规则

TargetDown

Prometheus 无法从警示中的目标收集指标，这意味着 Grafana 仪表板和基于该目标的指标的进一步警示不可用。检查与该目标相关的其他警示。

Kubernetes-storage

KubePersistentVolumeFillingUp

出现警告时：可用空间低于 30%，并且可能会在四天内填满。

严重时：可用空间小于 10%。

对于空间不足的任何服务，数据可能难以恢复，因此应在可用空间达到 0％ 之前调整卷的大小。

对于特定于 Prometheus 的警示，请参阅Prometheus 存储使用情况以了解详细信息。

kubernetes-apps

KubePodNotReady

Pod 已启动，但未成功响应运行状况探测器。这可能意味着它卡住了，无法提供流量。您可以使用 kubectl logs 检查 Pod 日志，以查看是否有任何进度指示。如果问题仍然存在，请联系 UiPath™ 支持团队。

kubernetes-system-kubelet

Kube 节点未就绪、Kube 节点无法访问、Kubelet 关闭

这些警示表示节点存在问题。在多节点 HA 就绪生产集群中，系统可能会将 Pod 重新安排在其他节点上。如果问题仍然存在，则应删除并排空节点，以保持集群的良好运行状况。在没有额外容量的集群中，应首先将另一个节点加入集群。

如果问题仍然存在，请联系 UiPath™ 支持团队。

kubernetes-system

KubernetesMemoryPressure

此警示表示 Kubernetes 节点上的内存使用率非常高。

当 Kubernetes 集群节点内存不足时，发生事件类型为 MemoryPressure 的 Kubernetes 节点，这可能是由应用程序中的内存泄漏引起的。 您需要立即注意此类型的事件，以防止出现任何停机情况，并确保 Kubernetes 集群正常运行。

如果触发此警示，请尝试采取以下步骤来确定节点上消耗较多内存的 Pod：

1. 检索节点 CPU 和内存统计信息：

   kubectl top node
   

2. 检索节点上运行的 Pod：

   kubectl get pods --all-namespaces -o wide --field-selector spec.nodeName=${NODE_NAME}
   

3. 使用以下命令检查命名空间中 Pod 的内存使用情况：

   kubectl top pod --namespace <namespace>
   kubectl logs -f <pod-name> -n <ns>
   

如果您能够识别任何内存使用率高的 Pod，请检查 Pod 的日志并查找内存泄漏错误。

要解决此问题，请尽可能增加节点的内存规格。

如果问题仍然存在，请生成支持包并联系 UiPath™ 支持团队。

KubernetesDiskPressure

此警示表示 Kubernetes 节点上的磁盘使用率非常高。

如果触发此警示，请尝试查看哪个 Pod 消耗更多磁盘：

• 使用以下命令确认节点是否在 DiskPressure 下：

  kubectl describe node <node-name>
  

识别输出中的 DiskPressure 条件。

• 检查受影响节点上的磁盘空间使用情况：

  df -h
  

这将显示所有已装载文件系统上的磁盘使用情况。 确定使用情况偏高的位置。

• 如果磁盘已满且清理不够，请考虑调整节点磁盘的大小（尤其是在 AWS 或 GCP 等云环境中）。 此流程可能涉及扩展数量，具体取决于您的基础架构。

node-exporter

NodeFilesystemSpaceFillingUp

特定节点上的文件系统正在填满。

如果触发此警示，请考虑执行以下步骤：

• 使用以下命令确认节点是否在 DiskPressure 下：

  kubectl describe node <node-name>
  

识别输出中的 DiskPressure 条件。

• 清除日志和临时文件。 检查 /var/log/ 中的大型日志文件，并在可能的情况下进行清理。
• 检查受影响节点上的磁盘空间使用情况：

  df -h
  

这将显示所有已装载文件系统上的磁盘使用情况。 确定使用情况偏高的位置。

• 如果磁盘已满且清理不够，请考虑调整节点磁盘的大小（尤其是在 AWS 或 GCP 等云环境中）。 此流程可能涉及扩展数量，具体取决于您的基础架构。

NodeNetworkReceiveErrs

这些错误表明网络驱动程序报告大量故障。 这可能是由物理硬件故障或物理网络中的配置错误引起的。 此问题与操作系统有关，不受 UiPath™ 应用程序控制。

该警示通过监控 Linux 内核提供的 /proc/net/dev 计数器触发。

请联系您的网络管理员和管理物理基础架构的团队。

NodeNetworkTransmitErrs

这些错误表明网络驱动程序报告大量故障。 这可能是由物理硬件故障或物理网络中的配置错误引起的。 此问题与操作系统有关，不受 UiPath™ 应用程序控制。

该警示通过监控 Linux 内核提供的 /proc/net/dev 计数器触发。

请联系您的网络管理员和管理物理基础架构的团队。

InternodeCommunicationBroken

由于某些问题导致集群中节点之间的通信中断，节点已变得无响应。

如果问题仍然存在，请使用生成的支持捆绑包联系 UiPath™ 支持团队。

uipath.prometheus.resource.provisioning.alerts

PrometheusMemoryUsage, PrometheusStorageUsage

当集群接近配置的内存和存储限制时，这些警示会发出警告。 这可能发生在最近使用量大幅增加的集群上（通常来自机器人而不是用户），或者在未调整 Prometheus 资源的情况下将节点添加到集群中时。 这是因为要收集的指标数量增加。

这也可能是由于触发了大量警示所致，因此请务必检查触发大量警示的原因。

如果此问题仍然存在，请联系 UiPath™ 支持团队并提供生成的支持捆绑包。

alertmanager.rules

AlertmanagerConfigInconsistent

当同一集群中的 Alertmanager 实例具有不同配置时，将触发此警示。 这可能表明配置存在问题，该问题在 Alertmanager 的所有实例中不一致。

要解决此问题，请执行以下步骤：

1. 在已部署的所有 alertmanager.yml 之间运行 diff 工具以识别问题。
2. 删除不正确的密码并部署正确的密码。

如果问题仍然存在，请联系 UiPath™ 支持团队。

AlertmanagerFailedReload

警示管理器加载或重新加载配置失败。请检查任何自定义警示管理器配置中是否存在输入错误，否则请联系 UiPath™ 支持团队并提供支持捆绑包。有关详细信息，请参阅“使用 Automation Suite 支持捆绑包” 。

AlertmanagerMembersInconsistent

当Alertmanager未找到集群的所有其他成员时，将触发此警示。

UiPath 可用性高流量后端，UiPath 可用性中等流量面向用户，UiPath 可用性中等流量后端，UiPath 可用性低流量面向用户，UiPath 可用性低流量后端

来自 UiPath™ 服务的 HTTP 500 响应数量超过给定阈值。

下表列出了流量级别阈值和错误率。

流量级别	20 分钟内的请求数	错误阈值（适用于 HTTP 500）
高	>100,000	0.1%
中	10,000 到 100,000 之间	1%
低	< 10,000	5%

面向用户的服务中的错误可能会导致可在 Automation Suite 用户界面中直接观察到的功能降级，而后端服务中的错误则不会产生明显的后果。

警示会指明哪个服务的错误率较高。要了解报告服务所依赖的其他服务可能存在哪些级联问题，您可以使用 Istio 工作负载仪表板，该仪表板会显示服务之间的错误。

请仔细检查所有最近重新配置的 Automation Suite 产品。还可以使用 kubectl logs 命令获取详细日志。如果错误仍然存在，请联系 UiPath™ 支持团队。

uipath.cronjob.alerts.rules

IdentityKerberosTgtUpdateFailed

此作业将最新的 Kerberos 票证更新为所有 UiPath™ 服务。此作业失败将导致 SQL Server 身份验证失败。请联系 UiPath™ 支持团队。

ceph.rules、cluster-state-alert.rules

CephMgr 不在

此警示表示 Ceph 管理器已从 Prometheus 目标发现中消失。

如果触发此警示，请检查并确保 Ceph 管理器 Pod 正在运行并且运行状况良好。 如果 Pod 运行正常，请检查日志，并检查 Pod 是否能够发出 Prometheus 指标。

Ceph 节点关闭

此警示表示运行 Ceph Pod 的节点已关闭。 虽然存储操作可以继续运行，因为 Ceph 旨在处理节点故障，但建议解决此问题，以最大程度地减少另一个节点关闭并影响存储功能的风险。

如果触发此警示，则在多节点集群的情况下，必须将 Pod 计划在另一个节点上。 确保 rook-ceph 命名空间中的新 osd Pod 正在新节点中运行并处于正常运行状态。

您可以通过使用以下命令描述节点来检查节点故障：

kubectl get nodes

检查节点以确定问题的根本原因，并联系 UiPath™ 支持团队。

Ceph 警示

CephClusterCriticallyFull

此警示表示 Ceph 存储集群利用率已超过 80%，将在 85% 时变为只读状态。

如果触发此警示，请通过删除 AI Center 中一些未使用的数据集，在 Ceph 中释放一些空间，或者扩展可用于 Ceph PVC 的存储。

在调整 PVC 大小之前，请确保满足存储要求。

CephClusterReadOnly

此警示表示 Ceph 存储集群利用率已超过 85%，现在将变为只读状态。 请立即释放一些空间或扩展存储集群。

如果触发此警示，请通过删除 AI Center 中一些未使用的数据集，在 Ceph 中释放一些空间，或者扩展可用于 Ceph PVC 的存储。

在调整 PVC 大小之前，请确保满足存储要求。

CephPoolQuotaBytesCriticallyExhausted

此警示表示 Ceph 存储池使用率已超过 90%。

如果触发此警示，请通过删除 AI Center 中一些未使用的数据集，在 CEPH 中释放一些空间，或者扩展可用于 Ceph PVC 的存储。

在调整 PVC 大小之前，请确保满足存储要求。

CephClusterErrorState

此警示表示 Ceph 存储集群处于错误状态的时间已超过 10m。

此警示反映rook-ceph-mgr作业处于错误状态的时间过长。 检查在此警示之前可能已触发的其他警示，并首先对其进行故障排除。

CephOSDCriticallyFull

当警示严重性为 Critical 时，可用空间小于 20％。

对于空间不足的任何服务，数据可能难以恢复，因此应在可用空间达到 10％ 之前调整卷的大小。请参阅以下说明：。

uipath.requestrouting.alerts

UiPathRequestRouting

请求路由层中的错误会导致功能降级，这可以直接在 Automation Suite 用户界面中观察到。 请求不会路由到后端服务。

您可以在 istio-system 命名空间的 istio-ingressgateway Pod 中找到请求路由的详细错误日志。 通过运行以下命令检索 Pod 名称：

kubectl get pods -n istio-system
kubectl logs <istio-ingressgateway-pod-name> -n istio-system

如果错误仍然存在，请联系 UiPath™ 支持团队。

osd-alert.rules

CephOSD 抖动

此警示表示存储守护程序在过去 5 分钟内已重新启动 5 次以上。

如果触发此警示，请执行以下步骤：

1. 检查 Ceph 集群运行状况。 您必须在 Ceph 工具箱中运行 ceph status 以识别抖动的 OSD：

   kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status
   

   您可以通过列出命名空间中的 Pod 来识别 Ceph 工具 Pod：

   kubectl -n rook-ceph get pod | grep tools
   

2. 检查抖动 OSD Pod 的 OSD 日志，以识别问题：

   kubectl -n rook-ceph logs <osd-pod>
   

3. 确定节点级别问题：

   • 检查资源使用情况：

     kubectl top node <node-name>
     

   • 检查磁盘运行状况。 您需要通过 SSH 连接到节点，并运行 df -h 和 dmesg 以检查磁盘错误。

4. 重新启动 OSD Pod。 如果问题是暂时的，则需要重新启动抖动的 OSD Pod：

   kubectl -n rook-ceph delete pod <osd-pod>
   

5. 确保 OSD 和 Ceph 显示器之间不存在网络连接问题。

6. 如果需要，将抖动的 OSD 临时标记为 out：

   ceph osd out <osd-id>
   

7. 继续监控集群，以确保问题不会再次发生。

CephOSD 磁盘无响应

此警示表示主机磁盘设备无响应。

如果触发此警示，请执行以下步骤：

1. 检查 Ceph 集群的状态。 您需要确认 Ceph 集群的整体运行状况，并获取有关 OSD 状态的更多详细信息：

   • 在 Ceph 工具箱 Pod 中运行以下命令：

     kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status
     

   • 通过列出命名空间中的 Pod 来识别 Ceph 工具 Pod：

     kubectl -n rook-ceph get pod | grep tools
     

2. 检查 OSD Pod 状态。 您需要检查 OSD Pod 是否正在运行。 运行以下命令以检查所有 OSD Pod 状态：

   kubectl -n rook-ceph get pods | grep osd
   

   如果任何 OSD Pod 处于 CrashLoopBackOff 或 Pending 状态，则可能表明 OSD 磁盘或基础节点存在问题。

3. 重新启动受影响的 OSD Pod。 如果 OSD Pod 处于错误状态（CrashLoopBackOff、Error 等），则必须重新启动该 Pod 以查看问题是否已自行解决。 Kubernetes 会自动尝试重新计划 Pod。

   kubectl -n rook-ceph delete pod <osd-pod>
   

   OSD Pod 将重新启动，如果这是暂时问题，则此操作可能会解决。

4. 检查 OSD 日志。 如果重新启动不能解决问题，请检查 OSD Pod 日志，详细了解磁盘无响应的原因：

   kubectl -n rook-ceph logs <osd-pod>
   

   查找与磁盘相关的错误或其他问题（例如，I/O 错误、安装失败）。

5. 确定节点级别问题。 如果 OSD 磁盘未正确装载或已断开连接，您可以登录到受影响的节点并检查磁盘装载状态：

   ssh <node> df -h
   

查找 Ceph 期望的缺失或未装载磁盘。 如有必要，重新装载磁盘或在发生故障时进行更换。

CephOSD磁盘不可用

此警示表示无法在主机上访问 Ceph OSD 磁盘。

如果触发此警示，请执行以下步骤：

1. 检查 Ceph 集群的状态。 您需要确认 Ceph 集群的整体运行状况，并获取有关 OSD 状态的更多详细信息：

   • 在 Ceph 工具箱 Pod 中运行以下命令：

     kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status
     

   • 通过列出命名空间中的 Pod 来识别 Ceph 工具 Pod：

     kubectl -n rook-ceph get pod | grep tools
     

2. 检查 OSD Pod 状态。 您需要检查 OSD Pod 是否正在运行。 运行以下命令以检查所有 OSD Pod 状态：

   kubectl -n rook-ceph get pods | grep osd
   

   如果任何 OSD Pod 处于 CrashLoopBackOff 或 Pending 状态，则可能表明 OSD 磁盘或基础节点存在问题。

3. 重新启动受影响的 OSD Pod。 如果 OSD Pod 处于错误状态（CrashLoopBackOff、Error 等），则必须重新启动该 Pod 以查看问题是否已自行解决。 Kubernetes 会自动尝试重新计划 Pod。

   kubectl -n rook-ceph delete pod <osd-pod>
   

OSD Pod 将重新启动，如果这是暂时性问题，则此操作可能会解决。4. 检查 OSD 日志。如果重新启动未能解决问题，请查看 OSD Pod 日志，详细了解磁盘无响应的原因：

kubectl -n rook-ceph logs <osd-pod>

查找与磁盘相关的错误或其他问题（例如，I/O 错误、安装失败）。

persistent-volume-alert.rules

PersistentVolumeUsageCritical

如果触发此警示，请通过删除 AI Center 中一些未使用的数据集，在 Ceph 中释放一些空间，或者扩展可用于 Ceph PVC 的存储。

在调整 PVC 大小之前，请确保满足存储要求。

服务器 TLS 证书警示

SecretCertificateExpiry7Days

此警示表示服务器 TLS 证书将在接下来的 7 天内过期。

要解决此问题，请更新 TLS 证书。有关说明，请参阅“管理服务器证书” 。

RKE2 证书过期 7 天

此警示表示服务器 RKE2 证书将在接下来的 7 天内过期。

身份令牌签名证书警示

IdentityCertificateExpiry30Days

此警示表示身份令牌签名证书将在接下来的 30 天内过期。

要解决此问题，请更新身份令牌签名证书。有关说明，请参阅“管理服务器证书” 。

IdentityCertificateExpiry7Days

此警示表示身份令牌签名证书将在接下来的 7 天内过期。

要解决此问题，请更新身份令牌签名证书。有关说明，请参阅“管理服务器证书” 。

etdc 警示

EtcdGrpcRequestsSlow

此警示表示 etcd GRPC 请求速度很慢。 这是一个警告。

如果此警示持续存在，请联系 UiPath™ 支持团队。

EtcdHttpRequestsSlow

此警示表示 HTTP 请求速度减慢。 这是一个警告。

磁盘大小警示

LowDiskForRancherPartition

此警示表示/var/lib/rancher分区的可用空间小于：

• 35％ - 警示的严重性为 Warning
• 25% - 警示的严重性为“关键”

如果触发此警示，请增加磁盘大小。

LowDiskForKubeletPartition

此警示表示/var/lib/kubelet分区的可用空间小于：

• 35％ - 警示的严重性为 Warning
• 25％ - 警示的严重性 - 警示如果触发此警示，请增加磁盘大小。

LowDiskForVarPartition

此警示表示/var分区的可用空间小于：

• 35％ - 警示的严重性为 Warning
• 25% - 警示的严重性为“关键”

备注：

ML 技能的存储要求可能会大大增加磁盘使用量。

如果触发此警示，请增加磁盘大小。

变量日志分区的低磁盘数量

此警示表示/var/lib/var分区的可用空间小于：

• 25% - 警示的严重性为“关键”

如果触发此警示，请增加磁盘大小。

备份警示

NFSServerDisconnected

此警示表示 NFS 服务器连接已丢失。

您需要检查 NFS 服务器连接和装载路径。

VolumeBackupFailed

此警示表示 PVC 的备份失败。

要解决此问题，请执行以下步骤：

1. 检查 PVC 的状态，以确保对于持久卷 (PV)，它是 Bound。

   kubectl get pvc --namespace <namespace>
   

   该命令会列出所有 PVC 及其当前状态。 PVC 应具有 Bound 状态，以指示其已成功声明 PV。

   如果状态为 Pending，则表示 PVC 仍在等待合适的 PV，需要进一步调查。

2. 如果 PVC 不处于 Bound 状态或者您需要更详细的信息，请使用 describe 命令：

   kubectl describe pvc <pvc-name> --namespace <namespace>
   

   查找有关状态、事件和任何错误消息的信息。 例如，某个问题可能与存储类配置错误或配额限制有关。

3. 检查绑定到 PVC 的持久卷 (PV) 的运行状况：

   kubectl get pv <pv-name>
   

   状态应为 Bound。 如果 PV 处于 Released 或 Failed 状态，则可能表明基础存储存在问题。

4. 如果 Pod 使用 PVC，请检查 Pod 是否已成功装载卷：

   kubectl get pod <pod-name> --namespace <namespace>
   

   如果 Pod 处于 Running 状态，则表示 PVC 已成功装载。 如果 Pod 处于错误状态（例如 InitBackOff），则可能表明卷装载存在问题。

5. 如果装载 PVC 存在问题，请描述 Pod 以检查是否存在任何安装错误：

   kubectl describe pod <pod-name> --namespace <namespace>
   

已禁用备份

此警示表示备份已禁用。

您需要启用备份功能。

备份部分失败

此警示表示 Velero 备份失败。

您需要联系 UiPath™ 支持团队。