診断ツールを実行する

Automation Suite 診断ツールは、一連のチェックを実行してクラスターの健全性に関するレポートを生成します。このレポートを分析することで、問題および考えられる根本原因を特定できます。このツールは、データベースの接続が失われた、資格情報が無効または期限切れであるといった一般的な問題の特定に役立ちます。

Automation Suite 診断ツールは、uipathctl と uipathtools の両方で利用でき、管理マシンにダウンロードできます。

uipathtools は、健全性コマンドに固有の uipathctl 機能のサブセットを含む CLI ツールです。このツールには後方互換性があり、サポートされているすべての Automation Suite バージョンで動作します。問題が発生した場合は、uipathtools を第一段階として使用することをお勧めします。

クイック検証

クイック検証

check コマンドと test コマンドを使用すると、詳細分析を実行することなくクラスターのステートに対する洞察を素早く得ることができます。

• check は ArgoCD の健全性と同期ステータスに依存しており、クラスターのステートを一切変更しません。
• test は、アプリケーション、デプロイ、ポッドを調べ、クラスターのステートを一時的に変更して洞察を提供します。

健全性チェック

健全性チェックを実行するには、使用するCLIツールに応じて、次のいずれかのコマンドを使用します。

• uipathctl を使用する場合は、次のコマンドを実行します。

  ./uipathctl health check
  

• uipathtools を使用する場合は、次のコマンドを実行します。

  ./uipathtools health check
  

既定では、uipathctl health check コマンドはすべてのコンポーネントの健全性を確認します。ただし、関心のあるコンポーネントのみを確認することもできます。

• コンポーネントを実行から除外するには、--excluded フラグを使用します。たとえば SQL の健全性を確認しない場合は、uipathctl health check --excluded SQL を実行します。このコマンドは、SQL を除くすべてのコンポーネントの健全性を確認します。
• 特定のコンポーネントのみを実行時に含めるには、 --included フラグを使用します。たとえば、DNS と ObjectStore の健全性のみを確認する場合は、uipathctl health check --included DNS,OBJECTSTORAGE を実行します。

ログを分析する

1. 健全性チェックの実行後、ログに、Data Service アプリケーションの健全性チェックが失敗したことが示されます。

   ❌ [DATASERVICE]
       ❌ [DATASERVICE_HEALTH] Application health check failed: health status is Progressing and sync status is Synced
   

2. 詳しく調べると、Data Service アプリケーションが失敗した理由は、dataservice-runtime-8f5bb7d56-v5krg ポッドと dataservice-taskrunner-787df76c74-98h5l ポッドが「失敗」ステートであることが明らかになります。さらに分析すると、dataservice-external-storage-secret が見つからないことがわかります。

   ❌ [POD]
       ✓ [LIST_NAMESPACES] Retrieved 25 namespaces to check pod health
       ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-runtime-8f5bb7d56-v5krg cannot mount volume: MountVolume.SetUp failed for volume "external-storage-creds" : secret "dataservice-external-storage-secret" not found
       ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-runtime-8f5bb7d56-xs9t5 cannot mount volume: MountVolume.SetUp failed for volume "external-storage-creds" : secret "dataservice-external-storage-secret" not found
       ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-taskrunner-787df76c74-98h5l cannot mount volume: MountVolume.SetUp failed for volume "external-storage-creds" : secret "dataservice-external-storage-secret" not found
   

3. この問題を修正するには、cluster_config.json で ObjectStore に正しい資格情報を指定していることを確認します。

健全性テスト

健全性テストを実行するには、使用するCLIツールに応じて、次のいずれかのコマンドを使用します。

• uipathctl を使用する場合は、次のコマンドを実行します。

  ./uipathctl health test
  

• uipathtools を使用する場合は、次のコマンドを実行します。

  ./uipathtools health test
  

既定では、uipathctl health test コマンドはすべてのコンポーネントに対して健全性のテストを実行します。ただし、関心のあるコンポーネントのみを確認することもできます。

• コンポーネントを実行から除外するには、--excluded フラグを使用します。たとえば SQL の健全性を確認しない場合は、uipathctl health test --excluded SQL を実行します。このコマンドは、SQL を除くすべてのコンポーネントの健全性を確認します。
• 特定のコンポーネントのみを実行時に含めるには、 --included フラグを使用します。たとえば、DNS と ObjectStore の健全性のみを確認する場合は、uipathctl health test --included DNS,OBJECTSTORAGE を実行します。
  注:

  Data Service アプリケーションに対する check コマンドと test コマンドの出力を比較すると、前者がアプリケーションの健全性を検証するのに対し、後者はルーティングを確認することがわかります。

既知の問題

次のサンプルのようなエラー メッセージが表示されることがあります。ユーザー側での操作は不要であるため、無視してかまいません。

E0621 23:32:56.426321   24470 reflector.go:138] external/io_k8s_client_go/tools/cache/reflector.go:167: Failed to watch *v1.Pod: context deadline exceeded
E0621 23:32:56.426392   24470 reflector.go:138] external/io_k8s_client_go/tools/cache/reflector.go:167: Failed to watch *v1.Pod: context deadline exceeded
E0621 23:32:56.444420   24470 reflector.go:138] external/io_k8s_client_go/tools/cache/reflector.go:167: Failed to watch *v1.Pod: context deadline exceeded
E0621 23:32:56.446150   24470 reflector.go:138] external/io_k8s_client_go/tools/cache/reflector.go:167: Failed to watch *v1.Pod: context deadline exceeded
E0621 23:32:56.513357   24470 reflector.go:138] external/io_k8s_client_go/tools/cache/reflector.go:167: Failed to watch *v1.Pod: context deadline exceeded

詳細な検証

詳細な検証

diagnose コマンドを使用すると、クラスターのステートに関する詳細な洞察が得られます。SQL、ObjectStore、ノード、シークレット、Istio、ネットワークなど、あらゆるレベルの問題を特定するのに役立ちます。

• check コマンドと test コマンドの両方をカバーしています。
• Automation Suite のインストール前に実行される前提条件の確認を実行し、インストール後に環境の構成に加えられた変更と、問題の原因と考えられる変更を検証します。
• すべてのノードで実行され、ノード固有の問題 (リソースが利用不可、ネットワークの干渉など) を収集します。

診断チェックを実行するには、使用するCLIツールに応じて、次のいずれかのコマンドを使用します。

• uipathctl を使用する場合は、次のコマンドを実行します。

  ./uipathctl health diagnose cluster_config.json --versions version.json
  

• uipathtools を使用する場合は、次のコマンドを実行します。

  ./uipathtools health diagnose cluster_config.json --versions version.json
  

注:

前述のサンプルはトリミングされています。実際のログには他の情報も含まれます。diagnose コマンドは、インフラストラクチャ、ネットワーク、ストレージ、ポッド、DNS など、複数のレベルで実行されます。

ログを分析する

前のログで確認できる潜在的な問題として次の 2 つがあります。

• Istio の設定が不適切である。このため、Document Understanding プラットフォームへのアクセスに問題が発生する可能性があります。

  ❌ [ISTIO]
      ✓ [ISTIO_SYNC_STATUS] Istio sync is up-to-date
      ❌ [ISTIO_ENVOY_CONFIG_STATUS] Istio Envoy configs are not healthy: Error [IST0101] (VirtualService uipath/du-platform-vs) Referenced host:port not found: "aistorage:5000"
  

• Data Service が利用不可である。コードの例で Ceph をご覧ください。

  ❌ [DATASERVICE]
      ❌ [DATASERVICE_HEALTH] Application health check failed: health status is Progressing and sync status is Synced
  ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-runtime-8f5bb7d56-v5krg cannot mount volume: (combined from similar events): Unable to attach or mount volumes: unmounted volumes=[external-storage-creds], unattached volumes=[workload-socket is-secrets openssl istio-podinfo temp-location cert-location istio-data external-storage-creds workload-certs istio-envoy java domain-cert-config edk2 credential-socket tmp additional-ca-cert-config pem istiod-ca-cert istio-token app-secrets ceph-storage-creds]: timed out waiting for the condition
      ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-runtime-8f5bb7d56-xs9t5 cannot mount volume: MountVolume.SetUp failed for volume "external-storage-creds" : secret "dataservice-external-storage-secret" not found
      ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-taskrunner-787df76c74-98h5l cannot mount volume: MountVolume.SetUp failed for volume "external-storage-creds" : secret "dataservice-external-storage-secret" not found
  

既知の問題

次のサンプルのようなエラー メッセージが表示されることがあります。ユーザー側での操作は不要であるため、無視してかまいません。

その他のユーティリティ

その他のツール

Automation Suite 診断ツールのすべてのコマンド (check、test、diagnose) では、他のフィルター処理と出力形式もサポートされています。

フィルター処理

フィルター	説明	用途
--included	検証に含めるサービスのコンマ区切りのリストです。	/uipathctl health diagnose cluster_config.json --versions.json --included ISTIO,INSIGHTS このコマンドは、Istio と Insights に対してのみ診断を実行します。
--excluded	検証から除外するサービスの、コンマ区切りのリストです。	/uipathctl health test --excluded ISTIO,INSIGHTS このコマンドは、Istio と Insights を除くクラスター全体でテストを実行します。

出力フォーマット

Automation Suite 診断ツールでは、json、yaml、text、junit の複数の形式でレポートを生成できます。--output フラグを使用して、これらの値を任意のコマンドに渡すことができます。これらの出力形式は、各ツールを利用して独自のトラブルシューティング フレームワークを構築する場合に便利です。

使用例

使用状況	出力例
./uipathctl health check --included DATASERVICE --output json ./uipathtools health check --included DATASERVICE --output json	{ "cluster/": { "DATASERVICE": [ { "name": "DATASERVICE_HEALTH", "description": "Application health check failed: health status is Progressing and sync status is Synced", "status": "failed" } ] } }
./uipathctl health check --included DATASERVICE --output yaml ./uipathtools health check --included DATASERVICE --output yaml	? locationType: cluster : DATASERVICE: - name: DATASERVICE_HEALTH description: 'Application health check failed: health status is Progressing and sync status is Synced' status: failed
./uipathctl health check --included DATASERVICE --output text ./uipathtools health check --included DATASERVICE --output text	Checks run on cluster/ ❌ [DATASERVICE] ❌ [DATASERVICE_HEALTH] Application health check failed: health status is Progressing and sync status is Synced
./uipathctl health check --included DATASERVICE --output junit ./uipathtools health check --included DATASERVICE --output junit	<testsuite name="Health" tests="1" errors="0" failures="1" time="0" timestamp="2023-06-22T01:59:08.313362+05:30" hostname=""> <testcase name="DATASERVICE_HEALTH" classname="" time="0"> <failure message="Application health check failed: health status is Progressing and sync status is Synced" type=""> </failure> </testcase> </testsuite>

診断レポートを読む

INFO ログ

緑色の INFO ログは、必要なチェックに合格したことを示します。ただし、それでも、隠れたエラーを回避するためにディスク/メモリの使用状況を正しくチェックする必要があります。

WARN メッセージ

このようなメッセージは高いリスクを示しているわけではありませんが、場合によっては修正が必要です。特定の状況において、何らかのサービスに影響が生じる可能性があります。

エラー メッセージ

このようなメッセージで示される問題はクラスター内のサービスに影響するので、修正する必要があります。

Rke2-server または Rke2-agent サービスが停止している

これらのサービスが停止している場合は、ノードが停止しています。<service-name> を使用してサービスを再実行してください。これによって問題が修正されます。

/var/lib にマウントされているディレクトリ サイズ

レポートには、Kubernetes がデータの格納に使用している、/var/lib にマウントされているディレクトリのサイズが表示されます。ディレクトリがいっぱいの場合は、さまざまな問題が発生する可能性があります。こうした問題を回避するには、このサイズを大きくしてください。

Rke2 のバージョン

レポートには、rke2 のバージョンが参考のために表示されます。

ディスク圧迫またはメモリ圧迫

すべてのノードについて、そのノードがディスク圧迫かメモリ圧迫なのかを指定します。そのようになると、こうしたノードでのワークロードに問題が出始める可能性があります。こうしたノードで実行中の他のプロセスがリソースを消費していないかどうかを確認し、該当するプロセスがあれば削除します。

Ceph サービスのステータス

UiPath では、さまざまなアプリケーションからのログやファイルを保存する S3 オブジェクト ストレージとして、Ceph を使用します。Ceph のサービスのステータスは表示することができます。サービスが停止している場合は、再実行が必要になることがあります。Ceph によるディスク使用量がフルになっていないかどうかも確認してください。

ポート 443 および 31443

ポート 443 と 31443 は、指定されたホスト名で開かれている必要があります。レポートには、これらのポートがアクセス不可であるかどうかが示されます。ここでアクセスできないことが指摘された場合、適切なポートを開いてください。

証明書の有効性

このツールは、アップロードされた証明書が指定のホスト名で有効かどうか、有効期限が切れていないかどうかをチェックします。証明書がこれらの基準を満たしていない場合、エラーが発生します。この問題を回避するには、アップロードされた証明書をチェックし、必要に応じて変更します。

GPU

サービスによっては、クラスター内の一部のノードに GPU が存在する必要があります。したがって、GPU ノードがあるかどうかを Automation Suite 診断ツールがチェックし、該当するノードの数を出力します。GPU ノードが存在すると予想されるものの、ここに表示されない場合は、GPU のセットアップに何らかの問題があります。

RabbitMQ と DockerRegistry

RabbitMQ と DockerRegistry は、一部のサービスで使用される 2 つの重要なコンポーネントです。どちらか 1 つでも停止している場合は、問題を調査し、再起動する必要があります。

ArgoCD サービスの停止

ArgoCD は、アプリケーション ライフサイクル管理 (ALM) ツールです。そのいずれかのサービスが停止している場合、他のアプリケーションが古くなっているか、他の問題が発生している可能性があります。こうしたサービスの回復は重要であり、場合によってはさらなるデバッグが必要になります。

存在しないか、機能が低下している ArgoCD アプリケーション

Automation Suite 診断ツールは、ArgoCD アプリケーションが見つからないかどうか、および機能低下していないかどうかを示します。

• アプリケーションが見つからない場合は、ArgoCD UI に移動し、これを同期します。
• アプリケーションが機能低下している場合は、ArgoCD がスローするエラーを調査するために追加のデバッグが必要です。