クラスターをバックアップおよび復元する

バックアップと復元の機能を使用するには、NFS サーバー、バックアップ クラスター、復元クラスターを有効化する必要があります。これら 3 つの用語の定義は次のとおりです。

用語

NFS サーバーとは、バックアップ データを保存し、復元を容易にするサーバーです。NFS サーバーは任意のマシン、または、クラウド プロバイダーが提供する PaaS サービス上でセットアップできます。Windows ベースの NFS および Azure BLOB ベースの NFS はサポートされませんので、ご注意ください。

バックアップ クラスターは、Automation Suite がインストールされている場所です。これは、インストール時に設定したクラスターです。

復元クラスターは、バックアップ クラスターのすべてのデータを復元するクラスターです。このクラスターが、復元の完了後に Automation Suite を実行する新しいクラスターになります。

これら 3 つを設定する手順を以下に示します。

環境の前提条件

重要:

• この手順では、外部データソースのバックアップ (SQL Server) は有効化されません。外部データ ソースのバックアップは、別途有効化する必要があります。
• ゾーンをまたがるバックアップや復元はサポートしていません。

インストール パッケージをダウンロードする

• NFS サーバーには、すべてのクラスター ノード (バックアップおよび復元クラスターの両方) から到達できる必要があります。
• バックアップするクラスターと NFS サーバーは同じリージョンにある必要があります。
• クラスターを復元する前に、必ず「クラスターのバックアップを無効化する」の説明に従ってバックアップを無効化してください。

• 次のポートを有効化してください。

  ポート	プロトコル	ソース	ターゲット	目的	要件
  2049、111	TCP	NFS サーバー	バックアップ クラスター内のすべてのノード	バックアップ クラスターと NFS サーバー間のデータ同期	この通信は、「手順 2: クラスターのバックアップを有効化する」を実行する前に、NFS サーバーからバックアップ クラスター ノードの方向に許可しておく必要があります。
  2049、111	TCP	バックアップ クラスター内のすべてのノード	NFS サーバー	バックアップ クラスターと NFS サーバー間のデータ同期	この通信は、「手順 2: クラスターのバックアップを有効化する」を実行する前に、バックアップ クラスター ノードから NFS サーバーの方向に許可しておく必要があります。
  2049、111	TCP	NFS サーバー	復元クラスター内のすべてのノード	NFS サーバーと復元クラスター間のデータ同期	この通信は、「手順 3: 復元クラスターを設定する」を実行する前に、NFS サーバーから復元クラスター ノードの方向に許可しておく必要があります。
  2049、111	TCP	復元クラスター内のすべてのノード	NFS サーバー	バックアップ クラスターと NFS サーバー間のデータ同期	この通信は、「手順 3: 復元クラスターを設定する」を実行する前に、NFS サーバーからバックアップ クラスター ノードの方向に許可しておく必要があります。

手順 1: 外部 NFS サーバーを設定する

要件

NFS サーバーは、次の要件を満たす必要があります。

• NFS サーバーは、任意のマシンと好みの OS 上でセットアップできます。また、クラウド プロバイダーが提供する任意の PaaS サービスを使用することもできます。Windows ベースの NFS および Azure BLOB ベースの NFS はサポートされませんので、ご注意ください。

• Linux では、NFS サーバーのバージョンが NFSv4 である必要があります。

• NFS サーバーは、バックアップ クラスターおよび復元クラスターの外で実行する必要があります。

• NFS サーバーのディスク サイズは、プライマリ サーバー ノードのデータ ディスク サイズよりも大きくする必要があります。

詳細については、「ハードウェア要件」をご覧ください。

手順 1.1: NFS ライブラリをインストールする

重要: NFS サーバーが既に存在する場合は、手順 1.1 は無視してください。

NFS サーバーとして使用する予定のノードに nfs-utils ライブラリをインストールします。

dnf install nfs-utils -y
systemctl start nfs-server.service
systemctl enable nfs-server.service

手順 1.2: マウント パスを構成する

NFS サーバーで公開するマウント パスを構成します。

chown -R nobody: "/datadisk"
chmod -R 777 "/datadisk"
systemctl restart nfs-utils.service

手順 1.3: ファイアウォールを無効化する

Firewalld は、ネットワークとファイアウォールのルールを管理するセキュリティ ライブラリです。

詳細は、Firewalld の公式ドキュメントをご覧ください。

Firewalld を無効化するには、次のコマンドを実行します。

systemctl stop firewalld
systemctl disable firewalld

手順 1.4: すべてのバックアップおよび復元ノードに NFS マウント パスのアクセスを許可する

すべてのノードが、NFS のマウント パスにアクセスできる必要があります。NFS サーバーの /etc/exports ファイルに移動し、バックアップ クラスターと復元クラスターの両方について、各ノード (サーバーとエージェントの両方) の FQDN のエントリを追加します。

以下に、エントリを追加する例を示します。これらのエントリは、マシンの FQDN と、そのマシン上の対応する権限を指定します。

echo "/datadisk sfdev1868610-d053997f-node.eastus.cloudapp.azure.com(rw,sync,no_all_squash,root_squash)" >> /etc/exports

さらに次のコマンドを実行して、マウント パスをエクスポートします。

exportfs -arv
exportfs -s

手順 2: クラスターのバックアップを有効化する

重要:

• 「環境の前提条件」が満たされていることを確認してください。
• インストールに使用した cluster_config.json ファイルがバックアップされていることを確認してください。
• この手順では、外部データソースのバックアップ (SQL Server など) は一切有効化されません。外部データ ソースのバックアップは、別途有効化する必要があります。
• バックアップ間隔を 15 分より短くすることは、お薦めしません。
• Automation Suite では、AI Center のトレーニング パイプラインに接続されたボリュームなど、一部の永続ボリュームのバックアップは作成されません。バックアップが作成される永続ボリュームは、Alert Manager、Prometheus、Docker Registry、MongoDB、RabbitMQ、Ceph Objectstore、Insights など、一部だけです。

ファイルを作成し、backup.json という名前を付けます。必ず、以下のフィールド定義に基づいて入力してください。

Backup.json

{
  "backup": {
    "etcdBackupPath": "PLACEHOLDER",
    "nfs": {
      "endpoint": "PLACEHOLDER",
      "mountpath": "PLACEHOLDER"
    }
  },
  "backup_interval": "15"
}

• backup.etcdBackupPath — バックアップ データが保存される NFS サーバー上の相対パスです。
• backup.nfs.endpoint — NFS サーバーのエンドポイント (IP アドレスまたは DNS 名) です。
• backup.nfs.mountpath — NFS サーバーのパス (エンドポイント) です。
• backup_interval — バックアップの時間間隔 (分単位)

次の例では、バックアップ データは NFS サーバーの /datadisk/backup/cluster0 に保存されます。

{
  "backup": {
    "etcdBackupPath": "cluster0",
    "nfs": {
      "endpoint": "20.224.01.66",
      "mountpath": "/datadisk"
    }
  }
}

手順 2.1: クラスターのプライマリ ノードのバックアップを有効化する

クラスターのプライマリ ノードでバックアップを有効化するには、次のコマンドを実行します。

./install-uipath.sh -i backup.json -o output.json -b --accept-license-agreement

手順 2.2: クラスターのセカンダリ ノードのバックアップを有効化する

クラスターのセカンダリ ノードでバックアップを有効化するには、エージェント ノードで次のコマンドを実行します。

./install-uipath.sh -i backup.json -o output.json -b -j server --accept-license-agreement

手順 2.3: クラスターのエージェント ノードのバックアップを有効化する

クラスターのエージェント ノードでバックアップを有効化するには、次のコマンドを実行します。

./install-uipath.sh -i backup.json -o output.json -b -j agent --accept-license-agreement

手順 3: 復元クラスターを設定する

重要:

• クラスターを復元する前に、バックアップが無効化されていることを確認してください。「クラスターのバックアップを無効化する」をご覧ください。
• すべての復元ノードで、パッケージの wget、unzip、jq を使用できることを確認してください。
• 「環境の前提条件」が満たされていることを確認してください。
• 外部データソースのソースは、すべて同じ (SQL Server) である必要があります。
• クラスター復元の前に NFS サーバーを再起動してください。NFS サーバー ノードで、次のコマンドを実行します: systemctl restart nfs-server

クラスター復元の要件

• 復元クラスターは、バックアップ クラスターと同じ fqdn である必要があります。
• 復元クラスターは、バックアップ クラスターと同じ数の server および agent ノードを備えている必要があります。
• 復元クラスターは、以下のとおり、バックアップ クラスターと同じ server および agent ノード リソースを持つ必要があります。
  • CPU のハードウェア構成
  • メモリのハードウェア構成
  • ディスク領域のハードウェア構成

  • ノード ホスト名

    インストールの種類	インストール手順	要件
    オンラインのシングルノードの評価モード	マシンを構成する DNS を構成する オフラインでのシングルノードの評価のインストール	sf-installer の zip のみをダウンロードし、展開されたフォルダーに対して chmod -R 755 <sf_installer_folder> を指定します。 展開されたフォルダーに対して chmod -R 755 <sf_installer_folder> を指定します。
    オフラインのシングルノードの評価モード	マシンを構成する DNS を構成する オフラインでのシングルノードの評価のインストール	sf-installer の zip と sf-infra-bundle.tar.gz のみをダウンロードします。 展開されたフォルダーに対して chmod -R 755 <sf_installer_folder> を指定します。
    オンラインのマルチノードの高可用性対応の運用環境モード	マシンを構成する オフラインのマルチノード高可用性対応運用環境のインストール	sf-installer の zip のみをダウンロードし、展開されたフォルダーに対して chmod -R 755 <sf_installer_folder> を指定します。
    オフラインのマルチノードの高可用性対応の運用環境モード	マシンを構成する オフラインのマルチノード高可用性対応運用環境のインストール	sf-installer の zip と sf-infra-bundle.tar.gz のみをダウンロードします。 展開されたフォルダーに対して chmod -R 755 <sf_installer_folder> を指定します。

    ファイルを作成し、restore.json という名前を付けます。必ず、以下のフィールド定義に基づいて入力してください。

Restore.json

{
  "fixed_rke_address": "PLACEHOLDER",
  "gpu_support": false,
  "fqdn": "PLACEHOLDER",
  "rke_token": "PLACEHOLDER",
  "restore": {
    "etcdRestorePath": "PLACEHOLDER",
    "nfs": {
      "endpoint": "PLACEHOLDER",
      "mountpath": "PLACEHOLDER"
    }
  },
  "infra": {
    "docker_registry": {
      "username": "PLACEHOLDER",
      "password": "PLACEHOLDER"
    }
  }
}

• fqdn — マルチノードの高可用性対応の運用環境モードの場合はロード バランサーの FQDN、シングルノード評価モードの場合はマシンの FQDN。
• fixed_rke_address — ロード バランサーを構成している場合は、その FQDN。構成していない場合は最初の復元サーバー ノードの FQDN。負荷分散ノードの登録と kube API 要求に使用します。
• gpu_support — true または false を使用して、クラスターに対する GPU サポートを有効または無効化します (GPU を備えたエージェント ノードが存在する場合に使用します)。
• rke_token — これは、事前共有されるクラスター固有のシークレットです。バックアップ クラスターと同じである必要があり、cluster_config.json ファイルに記載されています。クラスターに参加させる、すべてのノードで必要です。
• restore.etcdRestorePath — クラスターのバックアップ データが保存される NFS サーバー上のパスです。バックアップ時に etcdBackupPath によって構成されます。
• restore.nfs.endpoint — NFS サーバーのエンドポイント。
• restore.nfs.mountpath — NFS サーバーのマウント パス。
• infra.docker_registry.username — バックアップ クラスターに設定したユーザー名。cluster_config.json ファイルに記載されており、Docker レジストリに必要になります。
• infra.docker_registry.password — バックアップ クラスターに設定したパスワード。cluster_config.json ファイルに記載されており、Docker レジストリのインストールに必要になります。

オンライン インストール

手順 3.1: etcd をクラスターのプライマリ ノードに復元する

クラスターのプライマリ ノードで etcd を復元するには、次のコマンドを実行します。

./install-uipath.sh -i restore.json -o output.json -r --accept-license-agreement --install-type online

手順 3.2: etcd をクラスターのセカンダリ ノードに復元する

クラスターのセカンダリ ノードで etcd を復元するには、次のコマンドを実行します。

./install-uipath.sh -i restore.json -o output.json -r -j server --accept-license-agreement --install-type online

重要: すべてのセカンダリ サーバー ノードにノード ロールが必要です。

手順 3.2: etcd をクラスターのエージェント ノードに復元する

クラスターのエージェント ノードで etcd を復元するには、次のコマンドを実行します。

./install-uipath.sh -i restore.json -o output.json -r -j agent --accept-license-agreement --install-type online

手順 3.4: メンテナンス モードを無効化する

注: この手順が必要になるのは、アップグレード中のロールバック操作に復元が含まれる場合のみです。

etcd の復元が完了したら、メンテナンス モードを無効化する必要があります。

/path/to/old-installer/configureUiPathAS.sh disable-maintenance-mode

メンテナンス モードが無効化されていることを確認するには、次のコマンドを実行します。

/path/to/old-installer/configureUiPathAS.sh is-maintenance-enabled

手順 3.5: プライマリ ノードでボリュームの復元を実行する

etcd の復元が完了したら、次のコマンドを使用して、プライマリ ノードでボリュームの復元を実行します。

./install-uipath.sh -i restore.json -o output.json -r --volume-restore --accept-license-agreement --install-type online

手順 3.6: 復元プライマリ ノードに Automation Suite クラスター証明書をインストールする

sudo ./configureUiPathAS.sh tls-cert get --outpath /opt/
cp /opt/ca.crt /etc/pki/ca-trust/source/anchors/
update-ca-trust

復元したクラスターで AI Center を有効化する

AI Center™ が有効化された Automation Suite クラスターを復元した後、「復元したクラスターで AI Center を有効化する」の手順に従います。

オフライン インストール

手順 3.1: etcd をクラスターのプライマリ ノードに復元する

クラスターのプライマリ ノードで etcd を復元するには、次のコマンドを実行します。

./install-uipath.sh -i restore.json -o output.json -r --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

手順 3.2: etcd をクラスターのセカンダリ ノードに復元する

./install-uipath.sh -i restore.json -o output.json -r -j server --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

手順 3.2: etcd をクラスターのエージェント ノードに復元する

クラスターのエージェント ノードで etcd を復元するには、次のコマンドを実行します。

./install-uipath.sh -i restore.json -o output.json -r -j agent --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

手順 3.4: メンテナンス モードを無効化する

注: この手順が必要になるのは、アップグレード中のロールバック操作に復元が含まれる場合のみです。

etcd の復元が完了したら、メンテナンス モードを無効化する必要があります。

/path/to/old-installer/configureUiPathAS.sh disable-maintenance-mode

メンテナンス モードが無効化されていることを確認するには、次のコマンドを実行します。

/path/to/old-installer/configureUiPathAS.sh is-maintenance-enabled

手順 3.5: プライマリ ノードでボリュームの復元を実行する

etcd の復元が完了したら、次のコマンドを使用して、プライマリ ノードでボリュームの復元を実行します。

./install-uipath.sh -i restore.json -o ./output.json -r --volume-restore --accept-license-agreement --install-type offline

手順 3.6: 復元プライマリ ノードに Automation Suite クラスター証明書をインストールする

sudo ./configureUiPathAS.sh tls-cert get --outpath /opt/
cp /opt/ca.crt /etc/pki/ca-trust/source/anchors/
update-ca-trust

復元したクラスターで AI Center を有効化する

AI Center™ が有効化された Automation Suite クラスターを復元した後、「復元したクラスターで AI Center を有効化する」の手順に従います。

クラスターのバックアップを無効化する

重要: クラスターのバックアップを有効化し、backup_interval パラメーターにより指定した時刻にデータを保存できます。クラスターのバックアップを無効化すると、スケジュールされた最後のバックアップ実行からバックアップを無効化した時点までに作成されたデータが失われます。

バックアップを無効化するには、以下のコマンドを、この順序で実行します。

1. クラスターのプライマリ ノードのバックアップを無効化します。

   ./install-uipath.sh -i backup.json -o output.json -b --disable-backup --accept-license-agreement

2. クラスターのセカンダリ ノードのバックアップを無効化します。

   ./install-uipath.sh -i backup.json -o output.json -b -j server --disable-backup --accept-license-agreement

3. クラスターのエージェント ノードのバックアップを無効化します。

   ./install-uipath.sh -i backup.json -o output.json -b -j agent --disable-backup --accept-license-agreement

その他の設定

NFS サーバーを更新する

重要: NFS サーバーを更新する前に、バックアップが無効化されていることを確認してください。詳細については、「クラスターのバックアップを無効化する」をご覧ください。

NFS サーバーを更新するには、以下の手順を実行します。

1. 次の手順を、再実行します。
   1. 手順 1: 外部 NFS サーバーを設定する
   2. 手順 2: バックアップ クラスターを設定する
   3. 手順 3: 復元クラスターを設定する
2. NFS サーバーの情報を更新してから、backup.json と restore.json の両ファイルに新しい nfs.endpoint を追加します。

クラスターに新しいノードを追加する

クラスターに新しいノードを追加するには、次の手順を再実行します。

1. 手順 1: 外部 NFS サーバーを設定する
2. 手順 2: バックアップ クラスターを設定する

既知の問題

Redis の復元

復元を実行すると Redis の復元が失敗するため、いくつかの追加の手順を実行する必要があります。

「トラブルシューティング」セクションの手順を実行します。

重要: Redis を復元したら、必ず orchestrator ポッドを再起動してください。

復元後 Insights の Looker ポッドを起動できない

この問題は、ArgoCD の UI 上で Insights アプリケーションから Looker pod を削除することで修正できます。正常に起動する新しいポッドが作成されます。