Sauvegarder et restaurer le cluster

Pour utiliser la fonctionnalité de sauvegarde et de restauration, vous devez activer un serveur NFS, le cluster de sauvegarde et le cluster de restauration. Tous les trois sont définis ci-dessous.

Terminologie

The NFS Server is the server that stores the backup data and facilitates the restoration. You can set up the NFS server on any machine or a PaaS service offered by cloud providers. Note that we do not support Windows-based NFS and Azure blob-based NFS.

Le cluster de sauvegarde est l'endroit où Automation Suite est installé. Il s'agit du cluster que vous avez configuré lors de l'installation.

Le cluster de restauration est le cluster dans lequel vous souhaitez restaurer toutes les données du cluster de sauvegarde. Ce cluster devient le nouveau cluster dans lequel vous exécutez Automation Suite une fois la restauration terminée.

Les étapes suivantes montrent comment configurer les trois.

Prérequis de l'environnement

Important :

• Cette étape n'activera pas une sauvegarde pour une sauvegarde de source de données externe (SQL Server). Vous devez activer la sauvegarde de la source de données externe séparément.
• Nous ne prenons pas en charge la sauvegarde et la restauration entre différentes zones.

Téléchargement des packages d’installation

• Le serveur NFS doit être accessible à partir de tous les nœuds de cluster (clusters de sauvegarde et de restauration).

• Le cluster que vous souhaitez sauvegarder et le serveur NFS doivent se trouver dans la même région.

• Before the cluster restore, make sure to disable the backup as described in Disabling the cluster backup

• Assurez-vous d'activer les ports suivants :

  Port	Protocole	Source	Destination	Objectif	Prérequis
  2049, 111	TCP	Serveur NFS	Tous les nœuds du cluster de sauvegarde	Synchronisation des données entre le cluster de sauvegarde et le serveur NFS	This communication should be allowed from the NFS Server to the backup cluster node before running Step 2: Enabling the cluster backup.
  2049, 111	TCP	Tous les nœuds du cluster de sauvegarde	Serveur NFS	Synchronisation des données entre le cluster de sauvegarde et le serveur NFS	This communication should be allowed from the backup cluster node to the NFS Server before running Step 2: Enabling the cluster backup.
  2049, 111	TCP	Serveur NFS	Tous les nœuds du cluster de restauration	Synchronisation des données entre le serveur NFS et le cluster de restauration	This communication should be allowed from the NFS Server to restore the cluster node before running Step 3: Setting up the Restore Cluster.
  2049, 111	TCP	Tous les nœuds du cluster de restauration	Serveur NFS	Synchronisation des données entre le cluster de sauvegarde et le serveur NFS	This communication should be allowed from the NFS Server to the backup cluster node before running Step 3: Setting up the Restore Cluster.

Étape 1 : Configuration du serveur NFS externe

Prérequis

Le serveur NFS doit répondre aux exigences suivantes :

• Vous pouvez configurer le serveur NFS sur n'importe quelle machine et sur n'importe quel système d'exploitation de votre choix, ou bien utiliser n'importe quel service PaaS proposé par les fournisseurs Cloud. Notez que nous ne prenons pas en charge NFS basé sur Windows et NFS basé sur blob Azure.
• La version du serveur NFS doit être NFSv4 sous Linux.
• Le serveur NFS doit s'exécuter en dehors du cluster de sauvegarde et du cluster de restauration.
• La taille du disque du serveur NFS doit être supérieure à la taille du disque de données du nœud de serveur principal.

See Hardware requirements for more details.

Étape 1.1 : Installation des bibliothèques NFS

Important :

Ignorez l'étape 1.1 si vous avez déjà un serveur NFS.

Installez la bibliothèque nfs-utils sur le nœud que vous prévoyez d'utiliser comme serveur NFS.

dnf install nfs-utils -y
systemctl start nfs-server.service
systemctl enable nfs-server.service

Étape 1.2 : Configurer le chemin de montage

Configurez le chemin de montage que vous souhaitez exposer à partir du serveur NFS.

chown -R nobody: "/datadisk"
chmod -R 777 "/datadisk"
systemctl restart nfs-utils.service

Étape 1.3 : Désactivation du pare-feu

Firewalld est une bibliothèque de sécurité qui gère les règles de mise en réseau et de pare-feu.

Consultez la documentation officielle de Firewalld pour plus de détails.

Pour désactiver Firewalld, exécutez la commande suivante.

systemctl stop firewalld
systemctl disable firewalld

Étape 1.4 : Autoriser l'accès du chemin de montage NFS à tous les nœuds de sauvegarde et de restauration

All nodes must be able to access the NFS mount path. On the NFS Server, go to the /etc/exports file, and add an entry for the FQDN for each node (both server and agent) for both the Backup Cluster and the Restore Cluster.

Vous trouverez ci-dessous un exemple d'ajout d'une entrée, où l'entrée ci-dessous spécifie le nom de domaine complet d'une machine et les autorisations correspondantes sur cette machine :

echo "/datadisk sfdev1868610-d053997f-node.eastus.cloudapp.azure.com(rw,sync,no_all_squash,root_squash)" >> /etc/exports

Exécutez ensuite la commande suivante pour exporter le chemin d'installation :

exportfs -arv
exportfs -s

Étape 2 : Activer la sauvegarde du cluster

Important :

• Make sure you have followed the Environment prerequisites step.
• Assurez-vous de sauvegarder le fichier cluster_config.json utilisé pour l'installation.
• Cette étape n'activera pas la sauvegarde pour une sauvegarde de source de données externe (telle que SQL Server). Vous devez activer la sauvegarde de la source de données externe séparément.
• Il n'est pas recommandé de réduire l'intervalle de sauvegarde à moins de 15 minutes.
• Automation Suite ne sauvegarde pas tous les volumes persistants, tels que les volumes attachés au pipeline d'entraînement dans AI Center. Une sauvegarde est créée uniquement pour quelques volumes persistants tels que Alert Manager , Prometheus , Docker Registry , MongoDB , RabbitMQ , Ceph Objectstore et Insights .

Créez un fichier et nommez-le backup.json. Assurez-vous de le remplir en fonction des définitions de champs ci-dessous.

Backup.json

{
  "backup": {
    "etcdBackupPath": "PLACEHOLDER",
    "nfs": {
      "endpoint": "PLACEHOLDER",
      "mountpath": "PLACEHOLDER"
    }
  },
  "backup_interval": "15"
}

• backup.etcdBackupPath : le chemin d’accès relatif où les données de sauvegarde seront stockées sur le serveur NFS
• backup.nfs.endpoint : le point de terminaison du serveur NFS (adresse IP ou nom DNS)
• backup.nfs.mountpath : le chemin d’accès sur le serveur NFS (point de terminaison)
• backup_interval — L'intervalle de temps de sauvegarde en minutes.

Dans l'exemple suivant, les données de sauvegarde seront stockées sous /datadisk/backup/cluster0 sur le serveur NFS :

{
  "backup": {
    "etcdBackupPath": "cluster0",
    "nfs": {
      "endpoint": "20.224.01.66",
      "mountpath": "/datadisk"
    }
  }
}

Étape 2.1 : Activer la sauvegarde sur le nœud principal du cluster

Pour activer la sauvegarde sur le nœud principal du cluster, exécutez la commande suivante :

./install-uipath.sh -i backup.json -o output.json -b --accept-license-agreement

Étape 2.2 : Activer la sauvegarde sur les nœuds secondaires du cluster

Pour activer la sauvegarde sur les nœuds secondaires du cluster, exécutez la commande suivante sur le nœud de l'agent :

./install-uipath.sh -i backup.json -o output.json -b -j server --accept-license-agreement

Étape 2.3 : Activation de la sauvegarde sur les nœuds de l'agent du cluster

Pour activer la sauvegarde sur les nœuds d'agent du cluster, exécutez la commande suivante :

./install-uipath.sh -i backup.json -o output.json -b -j agent --accept-license-agreement

Étape 3 : Configuration du cluster de restauration

Important :

• Make sure the backup is disabled before restoring the cluster. See Disabling the cluster backup.
• Assurez-vous que les packages wget, unzip, jq sont disponibles sur tous les nœuds de restauration.
• Make sure you have followed the Environment prerequisites step.
• Toutes les sources de sources de données externes doivent être identiques (SQL Server).
• Redémarrez le serveur NFS avant la restauration du cluster. Exécutez la commande suivante sur le nœud du serveur NFS : systemctl restart nfs-server.

Configuration requise pour le cluster de restauration

• Le cluster de restauration doit avoir le même fqdn que le cluster de sauvegarde.
• Le cluster de restauration doit avoir le même nombre de nœuds server et agent que celui du cluster de sauvegarde.
• Le cluster de restauration doit avoir les mêmes ressources de nœuds server et agent que le cluster de sauvegarde, comme indiqué ci-dessous :

  • Configuration matérielle pour le CPU

  • Configuration matérielle pour la mémoire

  • Configuration matérielle pour l'espace disque

  • Nom d'hôte du nœud

    Type d'installation	Instructions d'installation	Prérequis
    Mode d'évaluation à nœud unique en ligne	Configuration des machines Configuration du DNS Installation d'évaluation à nœud unique hors ligne	Téléchargez uniquement le zip sf-installer et fournissez chmod -R 755 <sf_installer_folder> au dossier extrait. chmod -R 755 <sf_installer_folder> vers le dossier extrait.
    Mode d'évaluation à nœud unique hors ligne	Configuration des machines Configuration du DNS Installation d'évaluation à nœud unique hors ligne	Téléchargez uniquement le zip sf-installer et sf-infra-bundle.tar.gz. chmod -R 755 <sf_installer_folder> vers le dossier extrait.
    Mode de production en ligne multi-nœuds compatible haute disponibilité	Configuration des machines Installation de production hors ligne multi-nœuds compatible haute disponibilité	Téléchargez uniquement le zip sf-installer et fournissez chmod -R 755 <sf_installer_folder> au dossier extrait.
    Mode de production hors ligne multi-nœuds compatible haute disponibilité	Configuration des machines Installation de production hors ligne multi-nœuds compatible haute disponibilité	Téléchargez uniquement le zip sf-installer et sf-infra-bundle.tar.gz. chmod -R 755 <sf_installer_folder> vers le dossier extrait.

    Créez un fichier et nommez-le restore.json. Assurez-vous de le remplir en fonction des définitions de champs suivantes.

Restore.json

{
  "fixed_rke_address": "PLACEHOLDER",
  "gpu_support": false,
  "fqdn": "PLACEHOLDER",
  "rke_token": "PLACEHOLDER",
  "restore": {
    "etcdRestorePath": "PLACEHOLDER",
    "nfs": {
      "endpoint": "PLACEHOLDER",
      "mountpath": "PLACEHOLDER"
    }
  },
  "infra": {
    "docker_registry": {
      "username": "PLACEHOLDER",
      "password": "PLACEHOLDER"
    }
  }
}

• fqdn – Le nom de domaine complet de l'équilibreur de charge pour le mode de production multi-nœuds compatible haute disponibilité ou le nom de domaine complet de la machine pour le mode d'évaluation à nœud unique
• fixed_rke_address — Le nom de domaine complet de l'équilibreur de charge s'il en existe un, sinon le nom de domaine complet du premier nœud du serveur de restauration. Utilisé pour équilibrer la charge de l'enregistrement des nœuds et de la requête de l'API kube.
• gpu_support — Utilisez true ou false pour activer ou désactiver la prise en charge du GPU pour le cluster (à utiliser si vous avez des nœuds d'agent avec des GPU).
• rke_token — Il s'agit d'une clé secrète pré-partagée, spécifique au cluster. Elle devrait être la même que le cluster de sauvegarde et peut être trouvée dans le fichier cluster_config.json. Elle est nécessaire pour tous les nœuds rejoignant le cluster.
• restore.etcdRestorePath — Chemin d'accès où les données de sauvegarde sont stockées pour le cluster dans le serveur NFS. Configuré à la sauvegarde avec etcdBackupPath.
• restore.nfs.endpoint – Point de terminaison du serveur NFS.
• restore.nfs.mountpath — Chemin de montage du serveur NFS.
• infra.docker_registry.username — Nom d'utilisateur que vous avez défini dans le cluster de sauvegarde. Il se trouve dans le fichier cluster_config.json et est nécessaire pour le registre docker.
• infra.docker_registry.password — Le mot de passe que vous avez défini dans le cluster de sauvegarde. Il se trouve dans le fichier cluster_config.json et est nécessaire pour l'installation du registre docker.

Installation en ligne

Step 3.1: Restoring etcd on the primary node of the cluster

Pour restaurer etcd sur le nœud principal du cluster, exécutez la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r --accept-license-agreement --install-type online

Step 3.2: Restoring etcd on secondary nodes of the cluster

Pour restaurer etcd sur les nœuds secondaires du cluster, exécutez la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r -j server --accept-license-agreement --install-type online

Important :

Le rôle de nœud est obligatoire pour tous les nœuds de serveur secondaires.

Step 3.3: Restoring etcd on agent nodes of the cluster

Pour restaurer etcd sur les nœuds d'agent du cluster, exécutez la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r -j agent --accept-license-agreement --install-type online

Étape 3.4 : Désactivation du mode maintenance

Remarque :

Cette étape n'est requise que si la restauration fait partie de l'opération d'annulation lors de la mise à niveau.

Une fois la restauration etcd terminée, assurez-vous de désactiver le mode de maintenance :

/path/to/old-installer/configureUiPathAS.sh disable-maintenance-mode

Pour vérifier que le mode maintenance est désactivé, exécutez la commande suivante :

/path/to/old-installer/configureUiPathAS.sh is-maintenance-enabled

Étape 3.5 : Exécution de la restauration de volume sur le nœud principal

Une fois la restauration etcd terminée, exécutez la restauration du volume sur le nœud principal à l'aide de la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r --volume-restore --accept-license-agreement --install-type online

Étape 3.6 : installation du certificat de cluster Automation Suite sur le nœud principal de restauration

sudo ./configureUiPathAS.sh tls-cert get --outpath /opt/
cp /opt/ca.crt /etc/pki/ca-trust/source/anchors/
update-ca-trust

Activation d'AI Center sur le cluster restauré

After restoring an Automation Suite cluster with AI Center™ enabled, follow the steps from the Enabling AI Center on the Restored Cluster procedure.

Installation hors ligne

Step 3.1: Restoring etcd on the primary node of the cluster

Pour restaurer etcd sur le nœud principal du cluster, exécutez la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

Step 3.2: Restoring etcd on secondary nodes of the cluster

./install-uipath.sh -i restore.json -o output.json -r -j server --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

Step 3.3: Restoring etcd on agent nodes of the cluster

Pour restaurer etcd sur les nœuds d'agent du cluster, exécutez la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r -j agent --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

Étape 3.4 : Désactivation du mode maintenance

Remarque :

Cette étape n'est requise que si la restauration fait partie de l'opération d'annulation lors de la mise à niveau.

Une fois la restauration etcd terminée, assurez-vous de désactiver le mode de maintenance :

/path/to/old-installer/configureUiPathAS.sh disable-maintenance-mode

Pour vérifier que le mode maintenance est désactivé, exécutez la commande suivante :

/path/to/old-installer/configureUiPathAS.sh is-maintenance-enabled

Étape 3.5 : Exécution de la restauration de volume sur le nœud principal

Une fois la restauration etcd terminée, exécutez la restauration du volume sur le nœud principal à l'aide de la commande suivante :

./install-uipath.sh -i restore.json -o ./output.json -r --volume-restore --accept-license-agreement --install-type offline

Étape 3.6 : installation du certificat de cluster Automation Suite sur le nœud principal de restauration

sudo ./configureUiPathAS.sh tls-cert get --outpath /opt/
cp /opt/ca.crt /etc/pki/ca-trust/source/anchors/
update-ca-trust

Activation d'AI Center sur le cluster restauré

After restoring an Automation Suite cluster with AI Center™ enabled, follow the steps from the Enabling AI Center on the Restored Cluster procedure.

Désactivation de la sauvegarde du cluster

Important :

Vous pouvez activer la sauvegarde du cluster pour enregistrer les données à une heure spécifiée à l'aide du paramètre backup_interval. La désactivation de la sauvegarde du cluster entraînera une perte de données créée entre la dernière exécution planifiée et le moment où vous avez désactivé la sauvegarde.

Pour désactiver la sauvegarde, exécutez les commandes suivantes dans cet ordre :

1. Désactivez la sauvegarde sur le nœud principal du cluster.

   ./install-uipath.sh -i backup.json -o output.json -b --disable-backup --accept-license-agreement
   

2. Désactivez la sauvegarde sur les nœuds secondaires du cluster.

   ./install-uipath.sh -i backup.json -o output.json -b -j server --disable-backup --accept-license-agreement
   

3. Désactivez la sauvegarde sur les nœuds d'agent du cluster.

   ./install-uipath.sh -i backup.json -o output.json -b -j agent --disable-backup --accept-license-agreement
   

Additional Configurations

Mise à jour du serveur NFS

Important :

Make sure the backup is disabled before updating the NFS server. See Disabling the cluster backup for details.

Pour mettre à jour le serveur NFS, procédez comme suit :

1. Réexécutez les étapes suivantes :
   1. Étape 1 : Configuration du serveur NFS externe
   2. Étape 2 : Configuration du cluster de restauration
   3. Étape 3 : Configuration du cluster de restauration
2. Mettez à jour les informations du serveur NFS, puis incluez le nouveau nfs.endpoint dans les fichiers backup.json et restore.json.

Ajout d'un nouveau nœud au cluster

Pour ajouter un nouveau nœud au cluster, réexécutez les étapes suivantes :

1. Étape 1 : Configuration du serveur NFS externe
2. Étape 2 : Configuration du cluster de restauration

Problèmes connus

Restauration Redis

La restauration Redis échoue lors de l'exécution de la restauration, vous devez donc exécuter quelques étapes supplémentaires.

Follow the steps in the Troubleshooting section.

Important :

Une fois Redis restauré, assurez-vous de redémarrer les pods orchestrator.

Le pod Insights Looker ne démarre pas après la restauration

Vous pouvez résoudre ce problème en supprimant le pod Looker de l'application Insights dans l'interface utilisateur d'ArgoCD. Le déploiement créera un nouveau pod qui devrait démarrer avec succès.