Sichern und Wiederherstellen des Clusters

Um die Sicherungs- und Wiederherstellungsfunktionen nutzen zu können, müssen Sie einen NFS-Server, den Sicherungscluster und den Wiederherstellungscluster aktivieren. Alle drei sind unten definiert.

Terminologie

Der NFS-Server ist der Server, der die Sicherungsdaten speichert und die Wiederherstellung erleichtert. Sie können den NFS-Server auf jeder Maschine oder jedem PaaS-Dienst einrichten, der von Cloud-Anbietern angeboten wird. Beachten Sie, dass wir kein Windows-basiertes NFS und kein Azure Blob-basiertes NFS unterstützen.

Im Sicherungscluster wird die Automation Suite installiert. Dies bezieht sich auf den Cluster, den Sie während der Installation eingerichtet haben.

Der Wiederherstellungscluster ist der Cluster, in dem Sie alle Daten aus dem Sicherungscluster wiederherstellen möchten. Dieser Cluster wird zum neuen Cluster, in dem Sie die Automation Suite nach Abschluss der Wiederherstellung ausführen.

Die folgenden Schritte zeigen, wie alle drei eingerichtet werden.

Umgebungsvoraussetzungen

Wichtig:

• Mit diesem Schritt wird keine Sicherung für externe Datenquellen (SQL-Server) aktiviert. Sie müssen die Sicherung der externen Datenquelle separat aktivieren.
• Wir unterstützen keine zonenübergreifende Sicherung und Wiederherstellung.

Herunterladen von Installationspaketen

• Der NFS-Server sollte von allen Clusterknoten aus erreichbar sein (sowohl von Sicherungs- als auch von Wiederherstellungsclustern).
• Der Cluster, den Sie sichern möchten, und der NFS-Server müssen sich in derselben Region befinden.
• Deaktivieren Sie vor der Clusterwiederherstellung die Sicherung, wie unter Deaktivieren der Clustersicherungbeschrieben

• Stellen Sie sicher, dass die folgenden Ports aktiviert sind:

  Port	Protokoll	Quelle	Ziel (Destination)	Zweck	Anforderungen
  2049, 111	TCP	NFS-Server	Alle Knoten im Sicherungscluster	Datensynchronisierung zwischen dem Sicherungscluster und dem NFS-Server	Vor der Ausführung von Schritt 2: Aktivieren der Clustersicherung sollte diese Kommunikation vom NFS-Server zum Sicherungsclusterknoten zugelassen werden.
  2049, 111	TCP	Alle Knoten im Sicherungscluster	NFS-Server	Datensynchronisierung zwischen dem Sicherungscluster und dem NFS-Server	Vor der Ausführung von Schritt 2: Aktivieren der Clustersicherung sollte diese Kommunikation vom Sicherungsclusterknoten zum NFS-Server zugelassen werden.
  2049, 111	TCP	NFS-Server	Alle Knoten im Wiederherstellungscluster	Datensynchronisierung zwischen dem NFS-Server und dem Wiederherstellungscluster	Vor der Ausführung von Schritt 3: Einrichten des Wiederherstellungsclusters sollte diese Kommunikation vom NFS-Server zur Wiederherstellung des Clusterknotens zugelassen werden.
  2049, 111	TCP	Alle Knoten im Wiederherstellungscluster	NFS-Server	Datensynchronisierung zwischen dem Sicherungscluster und dem NFS-Server	Vor der Ausführung von Schritt 3: Einrichten des Wiederherstellungsclusters sollte diese Kommunikation vom NFS-Server zum Sicherungsclusterknoten zugelassen werden.

Schritt 1: Einrichten des externen NFS-Servers

Anforderungen

Der NFS-Server muss die folgenden Anforderungen erfüllen:

• Sie können den NFS-Server auf einer beliebigen Maschine und einem beliebigen Betriebssystem Ihrer Wahl einrichten oder alternativ einen jeden PaaS-Dienst verwenden, der von Cloud-Anbietern angeboten wird. Beachten Sie, dass wir kein Windows-basiertes NFS und kein Azure Blob-basiertes NFS unterstützen.

• Die NFS-Serverversion muss unter Linux NFSv4 sein.

• Der NFS-Server sollte außerhalb des Sicherungsclusters und des Wiederherstellungsclusters ausgeführt werden.

• Die Größe des NFS-Serverdatenträgers muss größer sein als der Datenträger des primären Serverknotens.

Weitere Informationen finden Sie unter Hardwareanforderungen.

Schritt 1.1: Installieren von NFS-Bibliotheken

Wichtig: Ignorieren Sie Schritt 1.1, wenn Sie bereits über einen NFS-Server verfügen.

Installieren Sie eine nfs-utils-Bibliothek auf dem Knoten, den Sie als NFS-Server verwenden möchten.

dnf install nfs-utils -y
systemctl start nfs-server.service
systemctl enable nfs-server.service

Schritt 1.2: Konfigurieren des Bereitstellungspfades

Konfigurieren Sie den Bereitstellungspfad, den Sie vom NFS-Server aus freigeben möchten.

chown -R nobody: "/datadisk"
chmod -R 777 "/datadisk"
systemctl restart nfs-utils.service

Schritt 1.3: Deaktivieren der Firewall

Firewalld ist eine Sicherheitsbibliothek, die Netzwerk- und Firewallregeln verwaltet.

Weitere Informationen finden Sie in der offiziellen Firewalld-Dokumentation.

Um Firewalld zu deaktivieren, führen Sie den folgenden Befehl aus.

systemctl stop firewalld
systemctl disable firewalld

Schritt 1.4: Ermöglichung des Zugriffs auf den NFS-Bereitstellungspfad für alle Sicherungs- und Wiederherstellungsknoten

Alle Knoten müssen in der Lage sein, auf den NFS-Bereitstellungspfad zuzugreifen. Wechseln Sie auf dem NFS-Server zur /etc/exports-Datei und fügen Sie einen Eintrag für den FQDN für jeden Knoten (Server und Agent) für sowohl den Sicherungscluster als auch den Wiederherstellungscluster hinzu.

Im Folgenden finden Sie ein Beispiel für das Hinzufügen eines Eintrags, wobei der folgende Eintrag den FQDN einer Maschine und die entsprechenden Berechtigungen für diese Maschine angibt:

echo "/datadisk sfdev1868610-d053997f-node.eastus.cloudapp.azure.com(rw,sync,no_all_squash,root_squash)" >> /etc/exports

Führen Sie dann den folgenden Befehl aus, um den Bereitstellungspfad zu exportieren:

exportfs -arv
exportfs -s

Schritt 2: Deaktivieren der Clustersicherung

Wichtig:

• Stellen Sie sicher, dass Sie den Schritt Umgebungsvoraussetzungen befolgt haben.
• Stellen Sie sicher, dass Sie die cluster_config.json-Datei sichern, die für die Installation verwendet wird.
• Mit diesem Schritt wird keine Sicherung für externe Datenquellen (z. B. SQL-Server) aktiviert. Sie müssen die Sicherung der externen Datenquelle separat aktivieren.
• Es wird nicht empfohlen, das Sicherungsintervall auf weniger als 15 Minuten zu reduzieren.
• Die Automation Suite erstellt keine Sicherung aller persistenten Volumes, z. B. der Volumes, die an die Trainingspipeline im AI Center angefügt sind. Eine Sicherung wird nur für einige wenige persistente Volumes erstellt, z. B. Alert Manager , Prometheus , Docker Registry , MongoDB , RabbitMQ , Ceph Objectstore und Insights .

Erstellen Sie eine Datei und nennen Sie sie backup.json. Füllen Sie sie basierend auf den folgenden Felddefinitionen aus.

Backup.json

{
  "backup": {
    "etcdBackupPath": "PLACEHOLDER",
    "nfs": {
      "endpoint": "PLACEHOLDER",
      "mountpath": "PLACEHOLDER"
    }
  },
  "backup_interval": "15"
}

• backup.etcdBackupPath – Relativer Pfad, in dem die Sicherungsdaten auf dem NFS-Server gespeichert werden
• backup.nfs.endpoint – Der Endpunkt des NFS-Servers (IP-Adresse oder DNS-Name).
• backup.nfs.mountpath – Der Pfad auf dem NFS-Server (Endpunkt).
• backup_interval – Das Sicherungszeitintervall in Minuten.

Im folgenden Beispiel werden die Sicherungsdaten unter /datadisk/backup/cluster0 auf dem NFS-Server gespeichert:

{
  "backup": {
    "etcdBackupPath": "cluster0",
    "nfs": {
      "endpoint": "20.224.01.66",
      "mountpath": "/datadisk"
    }
  }
}

Schritt 2.1: Aktivieren der Sicherung auf dem primären Knoten des Clusters

Um die Sicherung auf dem primären Knoten des Clusters zu aktivieren, führen Sie den folgenden Befehl aus:

./install-uipath.sh -i backup.json -o output.json -b --accept-license-agreement

Schritt 2.2: Aktivieren der Sicherung auf sekundären Knoten des Clusters

Um die Sicherung auf sekundären Knoten des Clusters zu aktivieren, führen Sie den folgenden Befehl auf dem Agent-Knoten aus:

./install-uipath.sh -i backup.json -o output.json -b -j server --accept-license-agreement

Schritt 2.3: Aktivieren der Sicherung auf Agent-Knoten des Clusters

Um die Sicherung auf Agent-Knoten des Clusters zu aktivieren, führen Sie den folgenden Befehl aus:

./install-uipath.sh -i backup.json -o output.json -b -j agent --accept-license-agreement

Schritt 3: Einrichten des Wiederherstellungsclusters

Wichtig:

• Stellen Sie sicher, dass die Sicherung deaktiviert ist, bevor Sie den Cluster wiederherstellen. Siehe Deaktivieren der Clustersicherung.
• Stellen Sie sicher, dass die Pakete wget, unzip und jq auf allen Wiederherstellungsknoten verfügbar sind.
• Stellen Sie sicher, dass Sie den Schritt Umgebungsvoraussetzungen befolgt haben.
• Alle externen Datenquellenquellen müssen identisch sein (SQL-Server).
• Starten Sie den NFS-Server vor der Clusterwiederherstellung neu. Führen Sie den folgenden Befehl auf dem NFS-Serverknoten aus: systemctl restart nfs-server.

Anforderungen zum Wiederherstellen von Clustern

• Der Wiederherstellungscluster sollte den gleichen fqdn haben wie der Sicherungscluster.
• Der Wiederherstellungscluster muss die gleiche Anzahl von server- und agent-Knoten haben wie der Sicherungscluster.
• Der Wiederherstellungscluster sollte die gleichen server- und agent-Knotenressourcen wie der Sicherungscluster haben, wie hier gezeigt:
  • Hardwarekonfiguration für CPU
  • Hardwarekonfiguration für den Arbeitsspeicher
  • Hardwarekonfiguration für den Festplattenspeicher

  • Hostname des Knotens

    Installationstyp	Installationsanweisungen	Anforderungen
    Online-Auswertungsmodus mit einem einzelnen Knoten	Konfigurieren der Maschinen Konfigurieren des DNS Offline-Auswertungsinstallation mit einem Knoten	Laden Sie nur die sf-installer-ZIP-Datei herunter und stellen Sie chmod -R 755 <sf_installer_folder> im extrahierten Ordner bereit. chmod -R 755 <sf_installer_folder> zum extrahierten Ordner.
    Offline-Auswertungsmodus mit einem einzelnen Knoten	Konfigurieren der Maschinen Konfigurieren des DNS Offline-Auswertungsinstallation mit einem Knoten	Laden Sie nur die sf-installer-ZIP-Datei und sf-infra-bundle.tar.gz herunter. chmod -R 755 <sf_installer_folder> zum extrahierten Ordner.
    HA-fähiger Online-Produktionsmodus mit mehreren Knoten	Konfigurieren der Maschinen HA-fähige Offline-Produktionsinstallation mit mehreren Knoten	Laden Sie nur die sf-installer-ZIP-Datei herunter und stellen Sie chmod -R 755 <sf_installer_folder> im extrahierten Ordner bereit.
    HA-fähiger Offline-Produktionsmodus mit mehreren Knoten	Konfigurieren der Maschinen HA-fähige Offline-Produktionsinstallation mit mehreren Knoten	Laden Sie nur die sf-installer-ZIP-Datei und sf-infra-bundle.tar.gz herunter. chmod -R 755 <sf_installer_folder> zum extrahierten Ordner.

    Erstellen Sie eine Datei und nennen Sie sie restore.json. Füllen Sie sie basierend auf den folgenden Felddefinitionen aus.

Restore.json

{
  "fixed_rke_address": "PLACEHOLDER",
  "gpu_support": false,
  "fqdn": "PLACEHOLDER",
  "rke_token": "PLACEHOLDER",
  "restore": {
    "etcdRestorePath": "PLACEHOLDER",
    "nfs": {
      "endpoint": "PLACEHOLDER",
      "mountpath": "PLACEHOLDER"
    }
  },
  "infra": {
    "docker_registry": {
      "username": "PLACEHOLDER",
      "password": "PLACEHOLDER"
    }
  }
}

• fqdn – Der FQDN des Lastausgleichs für den HA-fähigen Produktionsmodus mit mehreren Knoten oder der FQDN der Maschine für den Auswertungsmodus mit einem einzelnen Knoten
• fixed_rke_address – Der FQDN des Lastausgleichs, wenn einer konfiguriert ist, andernfalls der FQDN des ersten Wiederherstellungsserverknotens. Wird verwendet, um die Knotenregistrierung und kube API-Anforderung zu laden.
• gpu_support – Verwenden Sie true oder false, um die GPU-Unterstützung für den Cluster zu aktivieren oder zu deaktivieren (verwenden Sie dies, wenn Sie Agent-Knoten mit GPUs haben).
• rke_token – Dies ist ein vorab freigegebenes, Cluster-spezifisches Geheimnis. Dieses sollte mit dem Sicherungscluster identisch sein und befindet sich in der Datei cluster_config.json. Er wird für alle Knoten benötigt, die dem Cluster beitreten.
• restore.etcdRestorePath – Der Pfad, in dem Sicherungsdaten für den Cluster im NFS-Server gespeichert werden. Bei der Sicherung konfiguriert mit etcdBackupPath.
• restore.nfs.endpoint – Der Endpunkt des NFS-Servers.
• restore.nfs.mountpath: Bereitstellungspfad des NFS-Servers.
• infra.docker_registry.username – Der Benutzername, den Sie im Sicherungscluster festgelegt haben. Er befindet sich in der cluster_config.json-Datei und wird für die Docker-Registrierung benötigt.
• infra.docker_registry.password – Das Kennwort, das Sie im Sicherungscluster festgelegt haben. Es befindet sich in der cluster_config.json-Datei und wird für die Installation der Docker-Registrierung benötigt.

Onlineinstallation

Schritt 3.1: Wiederherstellen von etcd auf dem primären Knoten des Clusters

Um etcd auf dem primären Knoten des Clusters wiederherzustellen, führen Sie den folgenden Befehl aus:

./install-uipath.sh -i restore.json -o output.json -r --accept-license-agreement --install-type online

Schritt 3.2: Wiederherstellen von etcd auf den sekundären Knoten des Clusters

Um etcd auf den sekundären Knoten des Clusters wiederherzustellen, führen Sie den folgenden Befehl aus:

./install-uipath.sh -i restore.json -o output.json -r -j server --accept-license-agreement --install-type online

Wichtig: Die Knotenrolle ist für alle sekundären Serverknoten obligatorisch.

Schritt 3.3: Wiederherstellen von etcd auf Agent-Knoten des Clusters

Um etcd auf den Agent-Knoten des Clusters wiederherzustellen, führen Sie den folgenden Befehl aus:

./install-uipath.sh -i restore.json -o output.json -r -j agent --accept-license-agreement --install-type online

Schritt 3.4: Deaktivieren des Wartungsmodus

Hinweis: Dieser Schritt ist nur erforderlich, wenn die Wiederherstellung Teil des Rollback-Vorgangs während des Upgrades ist.

Sobald die etcd -Wiederherstellung abgeschlossen ist, stellen Sie sicher, dass Sie den Wartungsmodus deaktivieren:

/path/to/old-installer/configureUiPathAS.sh disable-maintenance-mode

Führen Sie den folgenden Befehl aus, um zu überprüfen, ob der Wartungsmodus deaktiviert ist:

/path/to/old-installer/configureUiPathAS.sh is-maintenance-enabled

Schritt 3.5: Ausführen der Volume-Wiederherstellung auf dem primären Knoten

Führen Sie nach Abschluss der etcd-Wiederherstellung die Volume-Wiederherstellung auf dem primären Knoten mit dem folgenden Befehl aus:

./install-uipath.sh -i restore.json -o output.json -r --volume-restore --accept-license-agreement --install-type online

Schritt 3.6: Installieren des Automation Suite-Clusterzertifikats auf dem primären Wiederherstellungsknoten

sudo ./configureUiPathAS.sh tls-cert get --outpath /opt/
cp /opt/ca.crt /etc/pki/ca-trust/source/anchors/
update-ca-trust

Aktivieren des AI Center im wiederhergestellten Cluster

Führen Sie nach der Wiederherstellung eines Automation Suite -Clusters mit aktiviertem AI Center™ die Schritte auf der Seite Aktivieren des AI Centers im wiederhergestellten Cluster aus.

Offline-Installation

Schritt 3.1: Wiederherstellen von etcd auf dem primären Knoten des Clusters

Um etcd auf dem primären Knoten des Clusters wiederherzustellen, führen Sie den folgenden Befehl aus:

./install-uipath.sh -i restore.json -o output.json -r --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

Schritt 3.2: Wiederherstellen von etcd auf den sekundären Knoten des Clusters

./install-uipath.sh -i restore.json -o output.json -r -j server --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

Schritt 3.3: Wiederherstellen von etcd auf Agent-Knoten des Clusters

Um etcd auf den Agent-Knoten des Clusters wiederherzustellen, führen Sie den folgenden Befehl aus:

./install-uipath.sh -i restore.json -o output.json -r -j agent --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

Schritt 3.4: Deaktivieren des Wartungsmodus

Hinweis: Dieser Schritt ist nur erforderlich, wenn die Wiederherstellung Teil des Rollback-Vorgangs während des Upgrades ist.

Sobald die etcd -Wiederherstellung abgeschlossen ist, stellen Sie sicher, dass Sie den Wartungsmodus deaktivieren:

/path/to/old-installer/configureUiPathAS.sh disable-maintenance-mode

Führen Sie den folgenden Befehl aus, um zu überprüfen, ob der Wartungsmodus deaktiviert ist:

/path/to/old-installer/configureUiPathAS.sh is-maintenance-enabled

Schritt 3.5: Ausführen der Volume-Wiederherstellung auf dem primären Knoten

Führen Sie nach Abschluss der etcd-Wiederherstellung die Volume-Wiederherstellung auf dem primären Knoten mit dem folgenden Befehl aus:

./install-uipath.sh -i restore.json -o ./output.json -r --volume-restore --accept-license-agreement --install-type offline

Schritt 3.6: Installieren des Automation Suite-Clusterzertifikats auf dem primären Wiederherstellungsknoten

sudo ./configureUiPathAS.sh tls-cert get --outpath /opt/
cp /opt/ca.crt /etc/pki/ca-trust/source/anchors/
update-ca-trust

Aktivieren des AI Center im wiederhergestellten Cluster

Führen Sie nach der Wiederherstellung eines Automation Suite -Clusters mit aktiviertem AI Center™ die Schritte auf der Seite Aktivieren des AI Centers im wiederhergestellten Cluster aus.

Deaktivieren der Clustersicherung

Wichtig: Sie können die Clustersicherung aktivieren, um Daten zu einem bestimmten Zeitpunkt mit dem Parameter backup_interval zu speichern. Wenn Sie die Clustersicherung deaktivieren, gehen Daten verloren, die zwischen der letzten geplanten Ausführung und dem Zeitpunkt erstellt wurden, zu dem Sie die Sicherung deaktiviert haben.

Um die Sicherung zu deaktivieren, führen Sie die folgenden Befehle in dieser Reihenfolge aus:

1. Deaktivieren Sie die Sicherung auf dem primären Knoten des Clusters.

   ./install-uipath.sh -i backup.json -o output.json -b --disable-backup --accept-license-agreement

2. Deaktivieren Sie die Sicherung auf sekundären Knoten des Clusters.

   ./install-uipath.sh -i backup.json -o output.json -b -j server --disable-backup --accept-license-agreement

3. Deaktivieren Sie die Sicherung auf Agent-Knoten des Clusters.

   ./install-uipath.sh -i backup.json -o output.json -b -j agent --disable-backup --accept-license-agreement

Zusätzliche Konfigurationen

Aktualisieren des NFS-Servers

Wichtig: Stellen Sie sicher, dass die Sicherung deaktiviert ist, bevor Sie den NFS-Server aktualisieren. Weitere Informationen finden Sie unter Deaktivieren der Clustersicherung.

Um den NFS-Server zu aktualisieren, gehen Sie wie folgt vor:

1. Führen Sie die folgenden Schritte erneut aus:
   1. Schritt 1: Einrichten des externen NFS-Servers
   2. Schritt 2: Einrichten des Sicherungsclusters
   3. Schritt 3: Einrichten des Wiederherstellungsclusters
2. Aktualisieren Sie die NFS Server-Informationen und fügen Sie dann die neuen nfs.endpoint sowohl in den backup.json- als auch in den restore.json-Dateien ein.

Hinzufügen eines neuen Knotens zum Cluster

Um dem Cluster einen neuen Knoten hinzuzufügen, führen Sie die folgenden Schritte erneut aus:

1. Schritt 1: Einrichten des externen NFS-Servers
2. Schritt 2: Einrichten des Sicherungsclusters

Bekannte Probleme (Known Issues)

Redis-Wiederherstellung

Wenn die Wiederherstellung ausgeführt wird, schlägt die Wiederherstellung von Redis fehl, sodass Sie einige zusätzliche Schritte ausführen müssen.

Führen Sie die Schritte im Abschnitt Fehlerbehebung aus.

Wichtig: Stellen Sie nach der Wiederherstellung von Redis sicher, dass Sie orchestratorPods neu starten.

Der Insights Looker-Pod kann nach der Wiederherstellung nicht gestartet werden

Sie können dieses Problem beheben, indem Sie den Looker-Pod aus der Insights-Anwendung in der ArgoCD-Benutzeroberfläche löschen. Die Bereitstellung erzeugt einen neuen Pod, der erfolgreich gestartet werden sollte.