- 概要
- 要件
- デプロイ テンプレート
- 手動: インストールを準備する
- 手動: インストールを準備する
- 手順 2: オフライン インストール用に OCI 準拠レジストリを設定する
- 手順 3: 外部 ObjectStore を構成する
- 手順 4: High Availability Add-on を構成する
- 手順 5: SQL データベースを構成する
- 手順 6: ロード バランサーを構成する
- 手順 7: DNS を構成する
- 手順 8: ディスクを構成する
- 手順 9: カーネルと OS レベルの設定を構成する
- 手順 10: ノード ポートを構成する
- 手順 11: その他の設定を適用する
- 手順 12: 必要な RPM パッケージを検証してインストールする
- 手順 13: cluster_config.json を生成する
- Cluster_config.json のサンプル
- 全般的な構成
- プロファイル構成
- 証明書の設定
- データベースの構成
- 外部 ObjectStore の構成
- 署名済み URL の構成
- ArgoCD の構成
- Kerberos 認証の構成
- 外部の OCI 準拠レジストリの設定
- Disaster Recovery - アクティブ/パッシブおよびアクティブ/アクティブの構成
- High Availability Add-on の構成
- Orchestrator 固有の設定
- Insights 固有の構成
- Process Mining 固有の構成
- Document Understanding 固有の構成
- Automation Suite ロボット固有の構成
- 監視の構成
- 任意: プロキシ サーバーを構成する
- 任意: マルチノードの HA 対応の運用クラスターにおけるゾーン障害に対する復元設定を有効化する
- 任意: カスタムの Resolv.con を渡す
- 任意: フォールト トレランスを向上させる
- GPU がサポートされた専用のエージェント ノードを追加する
- Task Mining 専用のエージェント ノードを追加する
- Task Mining アプリケーションを接続する
- Automation Suite ロボット専用のエージェント ノードを追加する
- 手順 15: オフライン インストール用に一時的な Docker レジストリを設定する
- 手順 16: インストールの前提条件を検証する
- uipathc を実行する
- 手動: インストールを実行する
- インストール後
- クラスターの管理
- 監視とアラート機能
- 移行とアップグレード
- スタンドアロン製品を Automation Suite に移行する
- 手順 1: スタンドアロンの製品データベースを復元する
- 手順 2: 復元した製品データベースのスキーマを更新する
- 手順 3: Identity 組織データをスタンドアロンから Automation Suite に移動する
- 手順 4: Automation Suite のプラットフォーム データベースをバックアップする
- 手順 5: 組織を Automation Suite にマージする
- 手順 6: 以降済みの製品の接続文字列を更新する
- 手順 7: スタンドアロンの Orchestrator を移行する
- 手順 8: スタンドアロンの Insights を移行する
- 手順 9: スタンドアロンの Test Manager を移行する
- 手順 10: 既定のテナントを削除する
- 単一テナントの移行を実行する
- Automation Suite クラスター間を移行する
- Automation Suite をアップグレードする
- 製品固有の設定
- ベスト プラクティスとメンテナンス
- トラブルシューティング
- インストール時にサービスをトラブルシューティングする方法
- クラスターをアンインストールする方法
- オフライン成果物をクリーンアップしてディスク領域を改善する方法
- Redis データをクリアする方法
- Istio ログを有効化する方法
- ログを手動でクリーンアップする方法
- sf-logs バケットに保存されている古いログをクリーンアップする方法
- AI Center のストリーミング ログを無効化する方法
- 失敗した Automation Suite インストールをデバッグする方法
- アップグレード後に古いインストーラーからイメージを削除する方法
- TX チェックサム オフロードを無効化する方法
- ArgoCD のログ レベルを手動で Info に設定する方法
- AI Center のストレージを拡張する方法
- 外部レジストリーのエンコードされたpull_secret_valueを生成する方法
- TLS 1.2 で弱い暗号に対処する方法
- TLSのバージョンを確認する方法
- NFS バックアップ ディレクトリの権限を減らす方法
- 証明書の操作方法
- Ceph のバックアップとデータの復元をスケジュールする方法
- レジストリ ポッドから未使用の Docker イメージをクリーンアップする方法
- クラスター内の ObjectStore (Ceph) を使用して DU の使用状況データを収集する方法
- エアギャップ環境に RKE2 SELinux をインストールする方法
- NFS サーバー上の古い差分バックアップをクリーンアップする方法
- FIPS が有効化されたクラスターに Insights をデプロイする方法
- cgroup v2 への移行方法
- RHEL 8.4 OS でオフライン インストールを実行できない
- バンドルのダウンロード中のエラー
- バイナリがないため、オフライン インストールが失敗する
- オフライン インストールでの証明書の問題
- SQL 接続文字列の検証エラー
- Azure ディスクが SSD としてマークされない
- 証明書の更新後のエラー
- ウイルス対策が原因でインストールの問題が発生する
- OS のアップグレード後に Automation Suite が動作しない
- Automation Suite で backlog_wait_time を 0 に設定する必要がある
- ワークロードの準備ができていないためボリュームをマウントできない
- サポート バンドルのログ収集の失敗
- RHEL 8.9 でレジストリの一時インストールが失敗する
- オフライン インストール中に uipath 名前空間のデプロイで頻繁に発生する再起動の問題
- DNS 設定が CoreDNS によって受け入れられない
- 一時レジストリをインストールできない
- メモリ不足によりクラスター内レジストリのシーディングが失敗する
- Automation Suite のアップグレード後に Insights を再インストールまたはアップグレードするとデータが失われる
- Automation Suite 2024.10.0 へのアップグレード後に Automation Hub にアクセスできない
- フック後のインポート中にアップグレードが失敗する
- シングルノードのアップグレードがファブリック ステージで失敗する
- Ceph の異常によりアップグレードが失敗する
- 領域の問題のために rke2 が開始しない
- ボリュームがマウントできず、アタッチ/デタッチ ループ状態のまま
- Orchestrator データベース内のクラシック オブジェクトが原因でアップグレードが失敗する
- Ceph クラスターがサイドバイサイド アップグレード後に機能低下ステートで検出される
- 異常な Insights コンポーネントが原因で移行が失敗する
- Apps のサービス アップグレードの失敗
- インプレース アップグレードのタイムアウト
- Docker レジストリの移行が PVC の削除段階でスタックする
- v2023.10 以降へのアップグレード後に AI Center のプロビジョニングが失敗する
- オフライン環境でアップグレードが失敗する
- アップグレード中に SQL の検証が失敗する
- アップグレード後に snapshot-controller-crds ポッドが CrashLoopBackOff ステートになる
- Insights の PVC サイズが上書きされたためにアップグレードが失敗する
- Automation Suite 2024.10.1 にアップグレードできない
- Velero の移行の問題によりアップグレードが失敗する
- rook-ceph アプリケーションの削除でアップグレードがスタックする
- 管理ポータルのタイムアウト期間を設定する
- 移行後に認証が機能しない
- Kinit: Cannot find KDC for realm <AD Domain> while getting initial credentials
- kinit: Keytab contains no suitable keys for *** while getting initial credentials
- 無効なステータス コードが原因で GSSAPI 操作が失敗した
- Alarm received for failed kerberos-tgt-update job
- SSPI Provider: Server not found in Kerberos database
- アカウントが無効なため AD ユーザーのログインに失敗した
- ArgoCD へのログインに失敗した
- 基になるディレクトリ接続を更新する
- ロボットが Automation Suite の Orchestrator インスタンスに接続できない
- Automation Suite 2024.10.0 でバックアップの復元に部分的に失敗する
- サンドボックス イメージを取得できない
- ポッドが ArgoCD UI に表示されない
- FQDN にアクセスすると RBAC アクセス拒否エラーが返されます
- Redis プローブの障害
- RKE2 サーバーの起動に失敗する
- UiPath 名前空間でシークレットが見つからない
- 初回インストール後に ArgoCD が進行中ステートになる
- ArgoCD リポジトリ サーバー ポッドが CrashLoopBackOff になる
- Init:0/X でポッドがスタックする
- Ceph-rook のメトリックが監視ダッシュボードに表示されない
- 診断ヘルスチェック中に報告されたエラーの不一致
- アップストリームに正常な問題はありません
- プロキシ設定でログ ストリーミングが機能しない
- オフライン環境でエージェント ノードを追加できない
- サイズの大きい Document Understanding バンドルのアップロード中にノードが応答しなくなる (OOM)
- バックアップ操作が [部分的に失敗] ステータスで失敗する
- Process Mining で高可用性を実行する
- Kerberos を使用してログインすると、Process Mining を取り込むことができなかった
- 障害復旧後、Dapr が Process Mining に対して正しく機能しない
- pyodbc 形式の接続文字列を使用して AutomationSuite_ProcessMining_Warehouse データベースに接続できない
- Airflow のインストールが「sqlalchemy.exc.ArgumentError: Could not parse rfc1738 URL from string ''」で失敗する
- SQL Server ポート 1433 を使用する IP テーブル ルールを追加する方法
- CData Sync を実行しているサーバーの Automation Suite の証明書が信頼されない
- 診断ツールを実行する
- Automation Suite サポート バンドルを使用する
- ログを確認する
Linux の Automation Suite のインストール ガイド
k8s.rules、kube-apiserver-availability.rules、kube-apiserver-slos
KubeAPIErrorBudgetBurn
Kubernetes API サーバーの消費しているエラー バジェットが多すぎます。
kube-state-metrics
KubeStateMetricsListErrors, KubeStateMetricsWatchErrors
kube-state-metrics コレクターがクラスターからメトリックを収集しようとすると必ずエラーが発生します。これは、重要なアラートが発生しない可能性があることを意味します。UiPath® サポートにお問い合わせください。
公開中の kube-state-metrics もご覧ください。
KubernetesMemoryPressure
このアラートは、Kubernetes ノードでのメモリ使用量が非常に高いことを示しています。
インシデントの種類 MemoryPressure Kubernetes ノードは、Kubernetes クラスター ノードのメモリが不足している場合に発生し、アプリケーションのメモリ リークが原因である可能性があります。 この種類のインシデントでは、ダウンタイムを防ぎ、Kubernetes クラスターが適切に機能するように、早急な対応が必要です。
このアラートが発生した場合は、以下の手順を実行して、より多くのメモリを消費しているノード上のポッドを特定してみてください。
-
ノードの CPU とメモリの統計情報を取得します。
kubectl top nodekubectl top node -
ノードで実行されているポッドを取得します。
kubectl get pods --all-namespaces -o wide --field-selector spec.nodeName=${NODE_NAME}kubectl get pods --all-namespaces -o wide --field-selector spec.nodeName=${NODE_NAME} -
名前空間内のポッドのメモリ使用量を確認するには、以下を使用します。
kubectl top pod --namespace <namespace> kubectl logs -f <pod-name> -n <ns>kubectl top pod --namespace <namespace> kubectl logs -f <pod-name> -n <ns>
メモリ使用量が多いポッドを特定できる場合は、そのポッドのログをチェックして、メモリ リーク エラーを探します。
この問題を解決するには、可能であればノードのメモリ仕様を増やします。
問題が解決しない場合は、 サポート バンドル を生成して UiPath® サポートにお問い合わせください。
kubernetes-apps
KubePodCrashLooping
予期せず再起動を繰り返すポッドです。メモリ不足 (OOM) エラーが原因で発生する可能性があり、その場合には制限を調整できます。kubectl describe でポッド イベントをチェックし、kubectl logs でログを記録して考えられるクラッシュの詳細を確認します。問題が解決しない場合は UiPath® サポートにお問い合わせください。
KubePodNotReady
ポッドは起動していますが、正常性プローブに応答できていません。ポッドがスタックし、トラフィックを処理できないことを意味している可能性があります。kubectl logs でポッド ログをチェックして、進展がないか確認できます。問題が解決しない場合は UiPath® サポートにお問い合わせください。
KubeDeploymentGenerationMismatch, KubeStatefulSetGenerationMismatch
デプロイまたはステートフルセットの更新が試行されていますが、失敗しており、ロールバックがまだ発生していません。UiPath® サポートにお問い合わせください。
KubeDeploymentReplicasMismatch, KubeStatefulSetReplicasMismatch
複数のレプリカを持つ高可用性クラスターでは、レプリカの数が最適でない場合に、このアラートが発生します。クラスター内にスケジュールするためのリソースが十分にない場合に発生する可能性があります。リソースの使用状況をチェックし、必要に応じて容量を追加します。それ以外の場合は、UiPath® サポートにお問い合わせください。
KubeStatefulSetUpdateNotRolledOut
ステートフルセットの更新に失敗しました。UiPath® サポートにお問い合わせください。
「StatefulSets」もご覧ください。
KubeDaemonSetRolloutStuck
デーモンセットのロールアウトに失敗しました。UiPath® サポートにお問い合わせください。
「DaemonSet」もご覧ください。
KubeContainerWaiting
待機中のステートでコンテナーがスタックしています。ワーカー ノードにスケジュールされていますが、そのマシン上で実行できません。詳細については、ポッドの kubectl describe をチェックしてください。コンテナーが待機中になる最も一般的な原因は、イメージのプルの失敗です。エアギャップ クラスターの場合は、ローカル レジストリが利用できないことを意味している可能性があります。問題が解決しない場合は UiPath® サポートにお問い合わせください。
KubeDaemonSetNotScheduled, KubeDaemonSetMisScheduled
いずれかのノードの問題を示している可能性があります。各ノードの正常性をチェックし、既知の問題を修正してください。それ以外の場合は、UiPath® サポートにお問い合わせください。
KubeJobCompletion
ジョブの完了までの時間が 12 時間を超えています。これは想定外です。UiPath® サポートにお問い合わせください。
KubeJobFailed
ジョブが失敗しましたが、ほとんどのジョブは自動的にリトライされます。問題が解決しない場合は UiPath® サポートにお問い合わせください。
KubeHpaReplicasMismatch
オートスケーラーがターゲットのリソースを構成どおりにスケーリングできません。実際の値よりも要求値のほうが大きい場合は、リソース不足の可能性があります。実際の値よりも要求値のほうが小さい場合は、シャットダウン中にポッドがスタックしている可能性があります。問題が解決しない場合は UiPath® サポートにお問い合わせください。
「Horizontal Pod Autoscaling」もご覧ください。
KubeHpaMaxedOut
指定されたサービスのレプリカの数が最大数に達しています。これは、クラスターに対する要求の数が非常に多い場合に発生します。高いトラフィックが予想される場合、一時的には、このアラートを抑制できます。ただし、このアラートは、クラスターがフル稼働で、それ以上のトラフィックを処理できないということを示しています。さらに多くのリソース容量がクラスターで利用できる場合は、以下の操作を実行してサービスの最大レプリカ数を増やすことができます。
# Find the horizontal autoscaler that controls the replicas of the desired resource
kubectl get hpa -A
# Increase the number of max replicas of the desired resource, replacing <namespace> <resource> and <maxReplicas>
kubectl -n <namespace> patch hpa <resource> --patch '{"spec":{"maxReplicas":<maxReplicas>}}'
# Find the horizontal autoscaler that controls the replicas of the desired resource
kubectl get hpa -A
# Increase the number of max replicas of the desired resource, replacing <namespace> <resource> and <maxReplicas>
kubectl -n <namespace> patch hpa <resource> --patch '{"spec":{"maxReplicas":<maxReplicas>}}'
「Horizontal Pod Autoscaling」もご覧ください。
kubernetes-resources
KubeCPUOvercommit, KubeMemoryOvercommit
これらの警告は、クラスターがノードの障害に耐えられないことを示しています。シングルノードの評価クラスターの場合、これは既知であり、これらのアラートは抑制できます。マルチノードの HA 対応の運用環境の設定の場合、あまりにも多くのノードが異常になって高可用性をサポートできないときにこれらのアラートが発生し、ノードを正常に戻すか交換する必要があることを示します。
KubeCPUQuotaOvercommit, KubeMemoryQuotaOvercommit, KubeQuotaAlmostFull, KubeQuotaFullyUsed, KubeQuotaExceeded
これらのアラートは、カスタマイズを通じて追加された場合にのみクラスターに存在する、名前空間のリソース クォータに関連します。名前空間のリソース クォータは、Automation Suite のインストールの一環として追加されません。
「Resource Quotas (リソース クォータ)」もご覧ください。
AggregatedAPIErrors, AggregatedAPIDown, KubeAPIDown, KubeAPITerminatedRequests
Kubernetes コントロール プレーンに問題があることを示しています。マスター ノードの正常性をチェックし、未解決の問題を解決します。問題が解決しない場合は、UiPath® サポートにお問い合わせください。
以下の記事もご覧ください。
kubernetes-system-kubelet
KubeNodeNotReady, KubeNodeUnreachable, KubeNodeReadinessFlapping, KubeletPlegDurationHigh, KubeletPodStartUpLatencyHigh, KubeletDown
これらのアラートは、ノードに問題があることを示しています。マルチ モードの HA 対応の運用クラスターにおいて、ポッドが他のノードにスケジュール変更される可能性があります。問題が解決しない場合は、ノードの削除およびドレインを行い、クラスターの正常性を維持する必要があります。容量が追加されていないクラスターでは、まず別のノードをクラスターに参加させる必要があります。
問題が解決しない場合は UiPath® サポートにお問い合わせください。
KubeletTooManyPods
指定したノードで実行されているポッドが多すぎます。
クラスターに別のノードを参加させます。
kubernetes-system
KubeVersionMismatch
異なるセマンティック バージョンの Kubernetes コンポーネントが実行中です。これは、Kubernetes のアップグレードに失敗した結果として生じることがあります。
KubeClientErrors
Kubernetes API サーバー クライアントでのエラー発生率が 1% を超えています。このクライアントが実行されているノード、またはKubernetes API サーバー自体に問題がある可能性があります。
etdc のアラート
EtcdInsufficientMembers
このアラートは、etcd クラスターのメンバー数が不十分であることを示します。クラスターのメンバー数は奇数である必要があります。このアラートの重要度は「Critical」です。
クラスター内のサーバー ノード数が奇数で、すべてのノードが正常に動作していることを確認してください。
EtcdNoLeader
このアラートは、etcd クラスターにリーダーがないことを示しています。このアラートの重要度は「Critical」です。
EtcdHighNumberOfLeaderChanges
このアラートは、etcd リーダーが 10 分間で 2 回以上変わることを示します。このアラートの重要度は「Warning」です。
EtcdHighNumberOfFailedGrpcRequests
このアラートは、etcd で一定の割合の GRPC 要求の失敗が検出されたことを示します。
EtcdGrpcRequestsSlow
このアラートは、etcd の GRPC 要求が低速であることを示します。このアラートの重要度は「Warning」です。
このアラートが解決しない場合は UiPath® サポートにお問い合わせください。
EtcdHighNumberOfFailedHttpRequests
このアラートは、etcd で一定の割合の HTTP エラーが検出されたことを示します。
EtcdHttpRequestsSlow
このアラートは、HTTP 要求の速度が低下していることを示します。このアラートの重要度は「Warning」です。
EtcdMemberCommunicationSlow
このアラートは etcd メンバーの通信が遅くなっていることを示します。このアラートの重要度は「Warning」です。
EtcdHighNumberOfFailedProposals
このアラートは、etcd サーバーが過去 1 時間に 5 件以上の提案に失敗したことを示します。このアラートの重要度は「Warning」です。
EtcdHighFsyncDurations
このアラートは、etcd の WAL fysnc 期間が増加していることを示します。このアラートの重要度は「Warning」です。
EtcdHighCommitDurations
このアラートは、etcd のコミット期間が増加していることを示します。このアラートの重要度は「Warning」です。
kube-api
KubernetesApiServerErrors
このアラートは、Kubernetes API サーバーのエラー率が高いことを示しています。この問題は他の障害につながる可能性があるため、問題を事前に調査することをお勧めします。
kubectl logs <pod-name> -n kube-system コマンドを使用してapi-server ポッドのログを確認し、問題の根本原因を特定します。
- k8s.rules、kube-apiserver-availability.rules、kube-apiserver-slos
- KubeAPIErrorBudgetBurn
- kube-state-metrics
- KubeStateMetricsListErrors, KubeStateMetricsWatchErrors
- KubernetesMemoryPressure
- kubernetes-apps
- KubePodCrashLooping
- KubePodNotReady
- KubeDeploymentGenerationMismatch, KubeStatefulSetGenerationMismatch
- KubeDeploymentReplicasMismatch, KubeStatefulSetReplicasMismatch
- KubeStatefulSetUpdateNotRolledOut
- KubeDaemonSetRolloutStuck
- KubeContainerWaiting
- KubeDaemonSetNotScheduled, KubeDaemonSetMisScheduled
- KubeJobCompletion
- KubeJobFailed
- KubeHpaReplicasMismatch
- KubeHpaMaxedOut
- kubernetes-resources
- KubeCPUOvercommit, KubeMemoryOvercommit
- KubeCPUQuotaOvercommit, KubeMemoryQuotaOvercommit, KubeQuotaAlmostFull, KubeQuotaFullyUsed, KubeQuotaExceeded
- AggregatedAPIErrors, AggregatedAPIDown, KubeAPIDown, KubeAPITerminatedRequests
- kubernetes-system-kubelet
- KubeNodeNotReady, KubeNodeUnreachable, KubeNodeReadinessFlapping, KubeletPlegDurationHigh, KubeletPodStartUpLatencyHigh, KubeletDown
- KubeletTooManyPods
- kubernetes-system
- KubeVersionMismatch
- KubeClientErrors
- etdc のアラート
- EtcdInsufficientMembers
- EtcdNoLeader
- EtcdHighNumberOfLeaderChanges
- EtcdHighNumberOfFailedGrpcRequests
- EtcdGrpcRequestsSlow
- EtcdHighNumberOfFailedHttpRequests
- EtcdHttpRequestsSlow
- EtcdMemberCommunicationSlow
- EtcdHighNumberOfFailedProposals
- EtcdHighFsyncDurations
- EtcdHighCommitDurations
- kube-api
- KubernetesApiServerErrors