アラートの Runbook

EKS/AKS の Automation Suite アラートのアラートの重要度レベルとトラブルシューティング手順。

注:

• For general instructions on using the available tools for alerts, metrics, and visualizations, refer to Using the monitoring stack.
• For more on how to fix issues and how to create a support bundle for UiPath® Support engineers, refer to Troubleshooting.
• UiPath® サポートへのご連絡の際は、必ず、現在発生しているアラートを含めてください。

アラートの重要度キー

次の表で、アラートの重大度レベルについて説明します。

アラートの重要度	説明
Info	予期しない状況が発生しましたが、害はありません。このアラートは抑制できますが、診断時に役立つ可能性があります。
Warning	ターゲットとなる機能低下や、近い将来に機能低下が発生する可能性があることを示します。この機能低下はクラスター全体に影響する可能性があります。クラスターを正常に維持するため、迅速な措置 (通常は数日以内) が推奨されます。
Critical	多くの場合、クラスター内の広範囲に及ぶ深刻な機能低下を引き起こすことが知られています。即座に措置 (当日) を講じてクラスターを修復する必要があります。

general.rules

TargetDown

このアラート時には、Prometheus がターゲットからメトリックを収集できません。つまり、Grafana ダッシュボード、およびターゲットからのメトリックに基づくその他のアラートが利用できません。ターゲットに関係のあるその他のアラートを確認してください。

Kubernetes-storage

KubePersistentVolumeFillingUp

Warning の場合: 利用可能な領域が 30% を下回っており、4 日以内に満杯になる可能性があります。

Critical の場合: 利用可能な領域が 10% を下回っています。

サービスで領域を使い果たした場合、データの復元が困難になる可能性があります。したがって、利用可能な領域が 0% に達する前にボリュームのサイズを変更する必要があります。

For Prometheus-specific alerts, refer to PrometheusStorageUsage for details.

kubernetes-apps

KubePodNotReady

ポッドは起動していますが、正常性プローブに応答できていません。ポッドがスタックし、トラフィックを処理できないことを意味している可能性があります。kubectl logs でポッド ログをチェックして、進展がないか確認できます。問題が解決しない場合は UiPath® サポートにお問い合わせください。

kubernetes-system-kubelet

KubeNodeNotReady、KubeNodeUnreachable、KubeletDown

これらのアラートは、ノードに問題があることを示しています。マルチ モードの HA 対応の運用クラスターにおいて、ポッドが他のノードにスケジュール変更される可能性があります。問題が解決しない場合は、ノードの削除およびドレインを行い、クラスターの正常性を維持する必要があります。容量が追加されていないクラスターでは、まず別のノードをクラスターに参加させる必要があります。

問題が解決しない場合は UiPath® サポートにお問い合わせください。

kubernetes-system

KubernetesMemoryPressure

このアラートは、Kubernetes ノードでのメモリ使用量が非常に高いことを示しています。

インシデントの種類 MemoryPressure Kubernetes ノードは、Kubernetes クラスター ノードのメモリが不足している場合に発生し、アプリケーションのメモリ リークが原因である可能性があります。 この種類のインシデントでは、ダウンタイムを防ぎ、Kubernetes クラスターが適切に機能するように、早急な対応が必要です。

このアラートが発生した場合は、以下の手順を実行して、より多くのメモリを消費しているノード上のポッドを特定してみてください。

1. ノードの CPU とメモリの統計情報を取得します。

   kubectl top node
   

2. ノードで実行されているポッドを取得します。

   kubectl get pods --all-namespaces -o wide --field-selector spec.nodeName=${NODE_NAME}
   

3. 名前空間内のポッドのメモリ使用量を確認するには、以下を使用します。

   kubectl top pod --namespace <namespace>
   kubectl logs -f <pod-name> -n <ns>
   

メモリ使用量が多いポッドを特定できる場合は、そのポッドのログをチェックして、メモリ リーク エラーを探します。

この問題を解決するには、可能であればノードのメモリ仕様を増やします。

If the issue persists, generate thesupport bundle and contact UiPath® Support.

KubernetesDiskPressure

このアラートは、Kubernetes ノードでのディスクの使用量が非常に高いことを示しています。

このアラートが発生した場合は、どのポッドがより多くのディスクを消費しているかを確認してみてください。

• 次のコマンドを使用して、ノードが DiskPressure 状態にあるかどうかを確認します。

  kubectl describe node <node-name>
  

出力の DiskPressure 条件を特定します。

• 影響を受けるノードのディスク領域の使用状況を確認します。

  df -h
  

これは、マウントされているすべてのファイルシステムのディスク使用量を示します。 使用率が高い場所を特定します。

• ディスクがいっぱいでクリーンアップが不十分な場合は、ノードのディスクのサイズを変更することを検討してください (特に AWS や GCP などのクラウド環境の場合)。 このプロセスでは、インフラストラクチャによってはボリュームの拡張が必要になる場合があります。

node-exporter

NodeFilesystemSpaceFillingUp

特定のノードのファイルシステムが満杯になりつつあります。

このアラートが発生した場合は、以下の手順を検討してください。

• 次のコマンドを使用して、ノードが DiskPressure 状態にあるかどうかを確認します。

  kubectl describe node <node-name>
  

出力の DiskPressure 条件を特定します。

• ログと一時ファイルをクリアします。 /var/log/内の大きなログ ファイルを確認し、可能であればクリーンアップします。
• 影響を受けるノードのディスク領域の使用状況を確認します。

  df -h
  

これは、マウントされているすべてのファイルシステムのディスク使用量を示します。 使用率が高い場所を特定します。

• ディスクがいっぱいでクリーンアップが不十分な場合は、ノードのディスクのサイズを変更することを検討してください (特に AWS や GCP などのクラウド環境の場合)。 このプロセスでは、インフラストラクチャによってはボリュームの拡張が必要になる場合があります。

NodeNetworkReceiveErrs

これらのエラーは、ネットワーク ドライバーが多数のエラーを報告していることを示しています。 これは、物理的なハードウェア障害、または物理ネットワークの設定ミスが原因である可能性があります。 この問題は OS に関連し、UiPath® アプリケーションでは制御できません。

このアラートは、Linux カーネルが提供する/proc/net/dev カウンターを監視することによってトリガーされます。

ネットワーク管理者および物理インフラストラクチャを管理するチームに連絡してください。

NodeNetworkTransmitErrs

これらのエラーは、ネットワーク ドライバーが多数のエラーを報告していることを示しています。 これは、物理的なハードウェア障害、または物理ネットワークの設定ミスが原因である可能性があります。 この問題は OS に関連し、UiPath® アプリケーションでは制御できません。

このアラートは、Linux カーネルが提供する/proc/net/dev カウンターを監視することによってトリガーされます。

ネットワーク管理者および物理インフラストラクチャを管理するチームに連絡してください。

InternodeCommunicationBroken

クラスター内のノード間の通信を切断させてしまう問題が原因で、ノードが応答しなくなっています。

If the issue persists, reach out to UiPath® Support with the generated support bundle.

uipath.prometheus.resource.provisioning.alerts

PrometheusMemoryUsage, PrometheusStorageUsage

これらのアラートは、クラスターのメモリとストレージの使用量が設定された上限に近づいていることを警告します。クラスターで使用量が最近大幅に増加した (通常はユーザーではなくロボットによる使用) 場合、または Prometheus のリソースを調整せずにノードがクラスターに追加されたときに発生する可能性が高くなります。この問題は、収集されるメトリック数の増加が原因で発生します。

これは、多数のアラートが実行されていることが原因である場合もありますが、大量のアラートが実行されている理由を確認することが重要です。

If this issue persists, contact UiPath® Support with the generated support bundle.

alertmanager.rules

AlertmanagerConfigInconsistent

このアラートは、同じクラスター内の Alertmanager インスタンスの構成が異なる場合に発生します。 これは、設定のロールアウトに問題があり、 Alertmanagerのすべてのインスタンスで一貫性がないことを示している可能性があります。

この問題を修正するには、次の手順に従います。

1. デプロイされているすべてのalertmanager.ymlの間でdiffツールを実行して問題を特定します。
2. 間違ったシークレットを削除し、正しいシークレットをデプロイします。

問題が解決しない場合は UiPath® サポートにお問い合わせください。

AlertmanagerFailedReload

AlertManager has failed to load or reload configuration. Please check any custom AlertManager configurations for input errors and otherwise contact UiPath® Support and provide the support bundle. For details, refer to Using the Automation Suite support bundle.

AlertmanagerMembersInconsistent

このアラートは Alertmanager クラスターの他のすべてのメンバーが見つからなかった場合に発生します。

UiPathAvailabilityHighTrafficBackend、UiPathAvailabilityMediumTrafficUserFaceing、UiPathAvailabilityMediumTrafficBackend、UiPathAvailabilityLowTrafficUserFaceing、UiPathAvailabilityLowTrafficBackend

UiPath® サービスからの http 500 応答の数が、指定されたしきい値を超えています。

次の表に、トラフィック レベルのしきい値とエラー率を示します。

トラフィック レベル	20 分以内のリクエスト数	エラーしきい値 (http 500番台のエラー)
高 (High)	>100,000	0.1%
中	10,000 ～ 100,000	1%
低 (Low)	< 10,000	5%

ユーザー向けのサービスでエラーが発生すると、Automation Suite UI で直接確認可能な機能低下が生じる可能性があります。これに対し、バックエンド サービスのエラーによる影響はあまり明白ではない可能性があります。

このアラートによって、どのサービスのエラー率が高いのかがわかります。レポートしているサービスが依存している他のサービスからどのような連鎖的な問題が生じ得るのかを理解するには、サービス間のエラーを表示する Istio Workload ダッシュボードを使用できます。

最近になって再構成された Automation Suite 製品すべてを再確認してください。kubectl logs コマンドで詳細なログを使用することもできます。エラーが解決しない場合は UiPath® サポートにご連絡ください。

uipath.cronjob.alerts.rules

IdentityKerberosTgtUpdateFailed

このジョブは、すべての UiPath® サービスに対して最新の Kerberos チケットを更新します。このジョブが失敗すると、SQL Server の認証が失敗します。UiPath® サポートにお問い合わせください。

ceph.rules、cluster-state-alert.rules

CephMgrIsAbsent (英語)

このアラートは、Ceph Manager が Prometheus ターゲットの検出から消滅したことを示します。

このアラートが発生した場合は、Ceph Manager ポッドが起動して実行されており、正常であることを確認してください。 ポッドが正常な場合は、ログを確認し、ポッドで Prometheus メトリックの出力が有効になっているかどうかを確認します。

CephNodeDown

このアラートは、Ceph ポッドを実行しているノードが停止していることを示します。 Ceph はノードの障害に対処するように設計されているため、ストレージ操作は引き続き機能しますが、別のノードがダウンしてストレージ機能に影響を与えるリスクを最小限に抑えるために、この問題を解決することをお勧めします。

このアラートが発生した場合、マルチノード クラスターの場合は、ポッドを別のノードでスケジュールする必要があります。 rook-ceph名前空間の新しい osd ポッドが新しいノードで実行中で正常な状態であることを確認します。

次のコマンドを使用してノードを記述することで、ノードの障害を確認できます。

kubectl get nodes

ノードを確認して問題の根本原因を特定し、UiPath® サポートにお問い合わせください。

Ceph のアラート

CephClusterCriticallyFull

このアラートは、Ceph ストレージ クラスターの使用状況が 80% を超えたこと、ならびに 85% に到達すると読み取り専用になることを示します。

このアラートが発生した場合は、AI Center の未使用のデータセットを削除して Ceph 内の一部の領域を解放するか、Ceph PVC で利用可能なストレージを拡張します。

PVC のサイズを変更する前に、ストレージ要件を満たしていることを確認してください。

CephClusterReadOnly

このアラートは、Ceph ストレージ クラスターの使用状況が 85% を超えたため、これより読み取り専用になることを示します。いくつかの領域を解放するか、ストレージ クラスターを直ちに拡張してください。

このアラートが発生した場合は、AI Center の未使用のデータセットを削除して Ceph 内の一部の領域を解放するか、Ceph PVC で利用可能なストレージを拡張します。

PVC のサイズを変更する前に、ストレージ要件を満たしていることを確認してください。

CephPoolQuotaBytesCriticallyExhausted

このアラートは、Ceph のストレージ プールの使用量が 90% を超えたことを示します。

このアラートが発生した場合は、AI Center の未使用のデータセットを削除して CEPH 内の一部の領域を解放するか、Ceph PVC で利用可能なストレージを拡張します。

PVC のサイズを変更する前に、ストレージ要件を満たしていることを確認してください。

CephClusterErrorState

このアラートは、Ceph ストレージ クラスターが 10 分を超えてエラー ステートにあることを示します。

このアラートは、 rook-ceph-mgr ジョブが許容できない時間エラー ステートにあることを示しています。このアラートよりも前にトリガーされた可能性がある他のアラートがないか確認し、それらのアラートを先にトラブル―シューティングしてください。

CephOSDCriticallyFull

アラートの重要度が Critical の場合、利用可能な領域は 20% を下回っています。

サービスで領域を使い果たした場合、データの復元が困難になる可能性があります。したがって、利用可能な領域が 10% に達する前にボリュームのサイズを変更する必要があります。以下の手順をご覧ください。

uipath.requestrouting.alerts

UiPathRequestRouting

要求ルーティング レイヤーのエラーは、Automation Suite の UI で直接確認可能なほどの機能の低下につながります。要求はバックエンド サービスにルーティングされません。

要求ルーティングの詳細なエラー ログは、istio-system名前空間の istio-ingressgateway ポッドで確認できます。次のコマンドを実行してポッド名を取得します。

kubectl get pods -n istio-system
kubectl logs <istio-ingressgateway-pod-name> -n istio-system

エラーが解決しない場合は UiPath® サポートにご連絡ください。

osd-alert.rules

CephOSDフラッピング

このアラートは、ストレージ デーモンが過去 5 分間に 5 回以上再起動したことを示します。

このアラートが発生した場合は、以下の手順を実行します。

1. Ceph クラスターの健全性を確認します。 Yuoは、Cephツールボックスで ceph status を実行して、フラッピングしているOSDを特定する必要があります。

   kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status
   

   Ceph ツール ポッドは、名前空間 内のポッドを一覧表示することで識別できます。

   kubectl -n rook-ceph get pod | grep tools
   

2. OSD ログでフラッピングしている OSD ポッドを確認して、問題を特定します。

   kubectl -n rook-ceph logs <osd-pod>
   

3. ノード レベルの問題を特定します。

   • リソースの使用状況を確認します。

     kubectl top node <node-name>
     

   • ディスクの状態を確認します。 ノードに SSH で接続し、df -h と dmesg を実行してディスク エラーを確認する必要があります。

4. OSD ポッドを再起動します。 問題が一時的なものである場合は、フラッピングしている OSD ポッドを再起動する必要があります。

   kubectl -n rook-ceph delete pod <osd-pod>
   

5. OSDとCephモニターの間にネットワーク接続の問題がないことを確認します。

6. 必要に応じて、フラッピングしているOSDを一時的にマークしますout

   ceph osd out <osd-id>
   

7. クラスターの監視を続行して、問題が再発しないようにします。

CephOSDDiskNotResponding(CephOSDDiskNotResponding)

このアラートは、ホスト・ディスク・デバイスが応答していないことを示します。

このアラートが発生した場合は、以下の手順を実行します。

1. Ceph クラスターのステータスを確認します。 Ceph クラスターの全体的な正常性を確認し、OSD ステータスの詳細を取得する必要があります。

   • Ceph ツールボックス ポッド内で次のコマンドを実行します。

     kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status
     

   • 名前空間 内のポッドをリストして、Ceph ツール ポッドを特定します。

     kubectl -n rook-ceph get pod | grep tools
     

2. OSD ポッドのステータスを確認します。 OSD ポッドが実行されているかどうかを確認する必要があります。 次のコマンドを実行して、すべての OSD ポッドのステータスを確認します。

   kubectl -n rook-ceph get pods | grep osd
   

   いずれかの OSD ポッドが CrashLoopBackOff 状態または Pending 状態にある場合は、OSD ディスクまたは基になるノードに問題があることを示している可能性があります。

3. 影響を受ける OSD ポッドを再起動します。 OSD ポッドが不正なステート (CrashLoopBackOff、 Errorなど) の場合は、ポッドを再起動して、問題が自然に解決するかどうかを確認する必要があります。 Kubernetes は自動的にポッドの再スケジュールを試みます。

   kubectl -n rook-ceph delete pod <osd-pod>
   

   OSDポッドが再起動され、一時的な問題の場合は、これで解決する可能性があります。

4. OSDログを確認します。 再起動しても問題が解決しない場合は、OSD ポッド ログで、ディスクが応答しない理由の詳細を確認します。

   kubectl -n rook-ceph logs <osd-pod>
   

   ディスク関連のエラーやその他の問題(I/Oエラー、マウントの失敗など)を探します。

5. ノード レベルの問題を特定します。 OSDディスクが正しくマウントされていないか、切断されている場合は、影響を受けるノードにログインして、ディスクのマウントステータスを確認できます。

   ssh <node> df -h
   

Ceph が予期しているディスクが見つからないか、マウントされていないディスクを探します。 必要に応じて、ディスクを再マウントするか、ディスクに障害が発生した場合は交換します。

CephOSDDisk利用不可

このアラートは、Ceph OSDディスクがホスト上でアクセスできないことを示します。

このアラートが発生した場合は、以下の手順を実行します。

1. Ceph クラスターのステータスを確認します。 Ceph クラスターの全体的な正常性を確認し、OSD ステータスの詳細を取得する必要があります。

   • Ceph ツールボックス ポッド内で次のコマンドを実行します。

     kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status
     

   • 名前空間 内のポッドをリストして、Ceph ツール ポッドを特定します。

     kubectl -n rook-ceph get pod | grep tools
     

2. OSD ポッドのステータスを確認します。 OSD ポッドが実行されているかどうかを確認する必要があります。 次のコマンドを実行して、すべての OSD ポッドのステータスを確認します。

   kubectl -n rook-ceph get pods | grep osd
   

   いずれかの OSD ポッドが CrashLoopBackOff 状態または Pending 状態にある場合は、OSD ディスクまたは基になるノードに問題があることを示している可能性があります。

3. 影響を受ける OSD ポッドを再起動します。 OSD ポッドが不正なステート (CrashLoopBackOff、 Errorなど) の場合は、ポッドを再起動して、問題が自然に解決するかどうかを確認する必要があります。 Kubernetes は自動的にポッドの再スケジュールを試みます。

   kubectl -n rook-ceph delete pod <osd-pod>
   

OSD ポッドが再起動され、一時的な問題である場合は、これで解決する可能性があります。4. OSD ログを確認します。再起動しても問題が解決しない場合は、OSD ポッド ログで、ディスクが応答しない理由の詳細を確認してください。

kubectl -n rook-ceph logs <osd-pod>

ディスク関連のエラーやその他の問題(I/Oエラー、マウントの失敗など)を探します。

persistent-volume-alert.rules

PersistentVolumeUsageCritical

このアラートが発生した場合は、AI Center の未使用のデータセットを削除して Ceph 内の一部の領域を解放するか、Ceph PVC で利用可能なストレージを拡張します。

PVC のサイズを変更する前に、ストレージ要件を満たしていることを確認してください。

サーバー TLS 証明書のアラート

SecretCertificateExpiry7Days

このアラートは、サーバー TLS 証明書の有効期限が次の 7 日で切れることを示します。

To fix this issue, update the TLS certificate. For instructions, refer to Managing server certificates.

RKE2CertificateExpiry7 日

このアラートは、サーバーの RKE2 証明書が今後 7 日以内に期限切れになることを示します。

ID トークン署名証明書のアラート

IdentityCertificateExpiry30Days

このアラートは、ID トークン署名証明書の有効期限が次の 30 日で切れることを示します。

To fix this issue, update the Identity token signing certificate. For instructions, refer to Managing server certificates.

IdentityCertificateExpiry7Days

このアラートは、ID トークン署名証明書の有効期限が次の 7 日で切れることを示します。

To fix this issue, update the Identity token signing certificate. For instructions, refer to Managing server certificates.

etdc のアラート

EtcdGrpcRequestsSlow

このアラートは、etcd の GRPC 要求が低速であることを示します。このアラートの重要度は「Warning」です。

このアラートが解決しない場合は UiPath® サポートにお問い合わせください。

EtcdHttpRequestsSlow

このアラートは、HTTP 要求の速度が低下していることを示します。このアラートの重要度は「Warning」です。

ディスク サイズのアラート

LowDiskForRancherPartition

このアラートは、 /var/lib/rancher パーティションの空き領域が次の割合より少ないことを示します。

• 35% - アラートの重要度は Warning です
• 25% - アラートの重要度は「重大」です

このアラートが発生した場合は、ディスクの容量を増やしてください。

LowDiskForKubeletPartition

このアラートは、 /var/lib/kubelet パーティションの空き領域が次の割合より少ないことを示します。

• 35% - アラートの重要度は Warning です
• 25% - アラートの重要度は重大です。 このアラートが発生した場合は、ディスクのサイズを増やします。

LowDiskForVarPartition

このアラートは、 /var パーティションの空き領域が次の割合より少ないことを示します。

• 35% - アラートの重要度は Warning です
• 25% - アラートの重要度は「重大」です

注:

ML スキルのストレージ要件により、ディスク使用量が大幅に増加する可能性があります。

このアラートが発生した場合は、ディスクの容量を増やしてください。

LowDiskForVarLogPartition

このアラートは、 /var/lib/var パーティションの空き領域が次の割合より少ないことを示します。

• 25% - アラートの重要度は「重大」です

このアラートが発生した場合は、ディスクの容量を増やしてください。

バックアップのアラート

NFSServerDisconnected

このアラートは、NFS サーバーの接続が失われたことを示します。

NFS サーバーの接続とマウント パスを確認する必要があります。

VolumeBackupFailed

このアラートは、PVC のバックアップが失敗したことを示します。

この問題に対処するには、次の手順を実行します。

1. PVC のステータスをチェックして、永続ボリューム (PV) に Bound ていることを確認します。

   kubectl get pvc --namespace <namespace>
   

   このコマンドは、すべての PVC とその現在のステータスを一覧表示します。 PVC のステータスは、PV の要求に成功したことを示す Bound である必要があります。

   ステータスが Pendingの場合は、PVC がまだ適切な PV を待機しており、さらに調査が必要であることを意味します。

2. PVC が Bound ステートでない場合、またはより詳細な情報が必要な場合は、 describe コマンドを使用します。

   kubectl describe pvc <pvc-name> --namespace <namespace>
   

   ステータス、イベント、およびエラーメッセージに関する情報を探します。 たとえば、ストレージ クラスの設定ミスやクォータの制限などが問題である可能性があります。

3. PVC にバインドされている永続ボリューム (PV) の正常性を確認します。

   kubectl get pv <pv-name>
   

   ステータスは「」 Boundはずです。 PV が Released 状態または Failed 状態の場合は、基になるストレージに問題があることを示している可能性があります。

4. PVC がポッドによって使用されている場合は、ポッドがボリュームを正常にマウントしたかどうかを確認します。

   kubectl get pod <pod-name> --namespace <namespace>
   

   ポッドが Running ステートの場合は、PVC が正常にマウントされたことを示します。 ポッドがエラー ステート ( InitBackOffなど) の場合は、ボリュームのマウントに問題があることを示している可能性があります。

5. PVC のマウントに問題がある場合は、ポッドに記述してマウント エラーがないか確認します。

   kubectl describe pod <pod-name> --namespace <namespace>
   

BackupDisabled

このアラートは、バックアップが無効化されていることを示します。

バックアップを有効にする必要があります。

BackupPartiallyFailed (バックアップの一部が失敗しました)

このアラートは、Velero のバックアップが失敗したことを示します。

UiPath® サポートにお問い合わせください。