Sauvegarder et restaurer le cluster

Pour utiliser la fonctionnalité de sauvegarde et de restauration, vous devez activer un serveur NFS, le cluster de sauvegarde et le cluster de restauration. Tous les trois sont définis ci-dessous.

Terminologie

Le serveur NFS est le serveur qui stocke les données de sauvegarde et facilite la restauration. Vous pouvez configurer le serveur NFS sur n'importe quelle machine ou un service PaaS proposé par les fournisseurs Cloud. Notez que nous ne prenons pas en charge NFS basé sur Windows et NFS basé sur blob Azure.

Le cluster de sauvegarde est l'endroit où Automation Suite est installé. Il s'agit du cluster que vous avez configuré lors de l'installation.

Le cluster de restauration est le cluster dans lequel vous souhaitez restaurer toutes les données du cluster de sauvegarde. Ce cluster devient le nouveau cluster dans lequel vous exécutez Automation Suite une fois la restauration terminée.

Les étapes suivantes montrent comment configurer les trois.

Prérequis de l'environnement

Important :

• Cette étape n'activera pas une sauvegarde pour une sauvegarde de source de données externe (SQL Server). Vous devez activer la sauvegarde de la source de données externe séparément.
• Nous ne prenons pas en charge la sauvegarde et la restauration entre différentes zones.

Téléchargement des packages d’installation

• Le serveur NFS doit être accessible à partir de tous les nœuds de cluster (clusters de sauvegarde et de restauration).
• Le cluster que vous souhaitez sauvegarder et le serveur NFS doivent se trouver dans la même région.
• Avant la restauration du cluster, assurez-vous de désactiver la sauvegarde comme décrit dans Désactivation de la sauvegarde du cluster

• Assurez-vous d'activer les ports suivants :

  Port	Protocole	Source	Destination	Objectif	Prérequis
  2049, 111	TCP	Serveur NFS	Tous les nœuds du cluster de sauvegarde	Synchronisation des données entre le cluster de sauvegarde et le serveur NFS	Cette communication doit être autorisée depuis le serveur NFS vers le nœud de cluster de sauvegarde avant d'exécuter Étape 2 : activation de la sauvegarde du cluster.
  2049, 111	TCP	Tous les nœuds du cluster de sauvegarde	Serveur NFS	Synchronisation des données entre le cluster de sauvegarde et le serveur NFS	Cette communication doit être autorisée depuis le nœud du cluster de sauvegarde vers le serveur NFS avant d'exécuter l'Étape 2 : Activation de la sauvegarde du cluster.
  2049, 111	TCP	Serveur NFS	Tous les nœuds du cluster de restauration	Synchronisation des données entre le serveur NFS et le cluster de restauration	Cette communication doit être autorisée à partir du serveur NFS pour restaurer le nœud du cluster avant d'exécuter l'Étape 3 : Configuration du cluster de restauration.
  2049, 111	TCP	Tous les nœuds du cluster de restauration	Serveur NFS	Synchronisation des données entre le cluster de sauvegarde et le serveur NFS	Cette communication doit être autorisée depuis le serveur NFS vers le nœud de cluster de sauvegarde avant l'exécution de l'Étape 3 : Configuration du cluster de restauration.

Étape 1 : Configuration du serveur NFS externe

Prérequis

Le serveur NFS doit répondre aux exigences suivantes :

• Vous pouvez configurer le serveur NFS sur n'importe quelle machine et sur n'importe quel système d'exploitation de votre choix, ou bien utiliser n'importe quel service PaaS proposé par les fournisseurs Cloud. Notez que nous ne prenons pas en charge NFS basé sur Windows et NFS basé sur blob Azure.

• La version du serveur NFS doit être NFSv4 sous Linux.

• Le serveur NFS doit s'exécuter en dehors du cluster de sauvegarde et du cluster de restauration.

• La taille du disque du serveur NFS doit être supérieure à la taille du disque de données du nœud de serveur principal.

Consultez la configuration matérielle requise pour plus de détails.

Étape 1.1 : Installation des bibliothèques NFS

Important : ignorez l'étape 1.1 si vous disposez déjà d'un serveur NFS.

Installez la bibliothèque nfs-utils sur le nœud que vous prévoyez d'utiliser comme serveur NFS.

dnf install nfs-utils -y
systemctl start nfs-server.service
systemctl enable nfs-server.service

Étape 1.2 : Configurer le chemin de montage

Configurez le chemin de montage que vous souhaitez exposer à partir du serveur NFS.

chown -R nobody: "/datadisk"
chmod -R 777 "/datadisk"
systemctl restart nfs-utils.service

Étape 1.3 : Désactivation du pare-feu

Firewalld est une bibliothèque de sécurité qui gère les règles de mise en réseau et de pare-feu.

Consultez la documentation officielle de Firewalld pour plus de détails.

Pour désactiver Firewalld, exécutez la commande suivante.

systemctl stop firewalld
systemctl disable firewalld

Étape 1.4 : Autoriser l'accès du chemin de montage NFS à tous les nœuds de sauvegarde et de restauration

Tous les nœuds doivent pouvoir accéder au chemin de montage NFS. Sur le serveur NFS, accédez au fichier /etc/exports et ajoutez une entrée pour le nom de domaine complet de chaque nœud (serveur et agent) à la fois pour le cluster de sauvegarde et le cluster de restauration.

Vous trouverez ci-dessous un exemple d'ajout d'une entrée, où l'entrée ci-dessous spécifie le nom de domaine complet d'une machine et les autorisations correspondantes sur cette machine :

echo "/datadisk sfdev1868610-d053997f-node.eastus.cloudapp.azure.com(rw,sync,no_all_squash,root_squash)" >> /etc/exports

Exécutez ensuite la commande suivante pour exporter le chemin d'installation :

exportfs -arv
exportfs -s

Étape 2 : Activer la sauvegarde du cluster

Important :

• Assurez-vous d'avoir suivi l'étape Prérequis de l'environnement.
• Assurez-vous de sauvegarder le fichier cluster_config.json utilisé pour l'installation.
• Cette étape n'activera pas la sauvegarde pour une sauvegarde de source de données externe (telle que SQL Server). Vous devez activer la sauvegarde de la source de données externe séparément.
• Il n'est pas recommandé de réduire l'intervalle de sauvegarde à moins de 15 minutes.
• Automation Suite ne sauvegarde pas tous les volumes persistants, tels que les volumes attachés au pipeline d'entraînement dans AI Center. Une sauvegarde est créée uniquement pour quelques volumes persistants tels que Alert Manager , Prometheus , Docker Registry , MongoDB , RabbitMQ , Ceph Objectstore et Insights .

Créez un fichier et nommez-le backup.json. Assurez-vous de le remplir en fonction des définitions de champs ci-dessous.

Backup.json

{
  "backup": {
    "etcdBackupPath": "PLACEHOLDER",
    "nfs": {
      "endpoint": "PLACEHOLDER",
      "mountpath": "PLACEHOLDER"
    }
  },
  "backup_interval": "15"
}

• backup.etcdBackupPath : le chemin d’accès relatif où les données de sauvegarde seront stockées sur le serveur NFS
• backup.nfs.endpoint : le point de terminaison du serveur NFS (adresse IP ou nom DNS)
• backup.nfs.mountpath : le chemin d’accès sur le serveur NFS (point de terminaison)
• backup_interval — L'intervalle de temps de sauvegarde en minutes.

Dans l'exemple suivant, les données de sauvegarde seront stockées sous /datadisk/backup/cluster0 sur le serveur NFS :

{
  "backup": {
    "etcdBackupPath": "cluster0",
    "nfs": {
      "endpoint": "20.224.01.66",
      "mountpath": "/datadisk"
    }
  }
}

Étape 2.1 : Activer la sauvegarde sur le nœud principal du cluster

Pour activer la sauvegarde sur le nœud principal du cluster, exécutez la commande suivante :

./install-uipath.sh -i backup.json -o output.json -b --accept-license-agreement

Étape 2.2 : Activer la sauvegarde sur les nœuds secondaires du cluster

Pour activer la sauvegarde sur les nœuds secondaires du cluster, exécutez la commande suivante sur le nœud de l'agent :

./install-uipath.sh -i backup.json -o output.json -b -j server --accept-license-agreement

Étape 2.3 : Activation de la sauvegarde sur les nœuds de l'agent du cluster

Pour activer la sauvegarde sur les nœuds d'agent du cluster, exécutez la commande suivante :

./install-uipath.sh -i backup.json -o output.json -b -j agent --accept-license-agreement

Étape 3 : Configuration du cluster de restauration

Important :

• Assurez-vous que la sauvegarde est désactivée avant de restaurer le cluster. Voir Désactivation de la sauvegarde du cluster.
• Assurez-vous que les packages wget, unzip, jq sont disponibles sur tous les nœuds de restauration.
• Assurez-vous d'avoir suivi l'étape Prérequis de l'environnement.
• Toutes les sources de sources de données externes doivent être identiques (SQL Server).
• Redémarrez le serveur NFS avant la restauration du cluster. Exécutez la commande suivante sur le nœud du serveur NFS : systemctl restart nfs-server.

Configuration requise pour le cluster de restauration

• Le cluster de restauration doit avoir le même fqdn que le cluster de sauvegarde.
• Le cluster de restauration doit avoir le même nombre de nœuds server et agent que celui du cluster de sauvegarde.
• Le cluster de restauration doit avoir les mêmes ressources de nœuds server et agent que le cluster de sauvegarde, comme indiqué ci-dessous :
  • Configuration matérielle pour le CPU
  • Configuration matérielle pour la mémoire
  • Configuration matérielle pour l'espace disque

  • Nom d'hôte du nœud

    Type d'installation	Instructions d'installation	Prérequis
    Mode d'évaluation à nœud unique en ligne	Configuration des machines Configuration du DNS Installation d'évaluation à nœud unique hors ligne	Téléchargez uniquement le zip sf-installer et fournissez chmod -R 755 <sf_installer_folder> au dossier extrait. chmod -R 755 <sf_installer_folder> vers le dossier extrait.
    Mode d'évaluation à nœud unique hors ligne	Configuration des machines Configuration du DNS Installation d'évaluation à nœud unique hors ligne	Téléchargez uniquement le zip sf-installer et sf-infra-bundle.tar.gz. chmod -R 755 <sf_installer_folder> vers le dossier extrait.
    Mode de production en ligne multi-nœuds compatible haute disponibilité	Configuration des machines Installation de production hors ligne multi-nœuds compatible haute disponibilité	Téléchargez uniquement le zip sf-installer et fournissez chmod -R 755 <sf_installer_folder> au dossier extrait.
    Mode de production hors ligne multi-nœuds compatible haute disponibilité	Configuration des machines Installation de production hors ligne multi-nœuds compatible haute disponibilité	Téléchargez uniquement le zip sf-installer et sf-infra-bundle.tar.gz. chmod -R 755 <sf_installer_folder> vers le dossier extrait.

    Créez un fichier et nommez-le restore.json. Assurez-vous de le remplir en fonction des définitions de champs suivantes.

Restore.json

{
  "fixed_rke_address": "PLACEHOLDER",
  "gpu_support": false,
  "fqdn": "PLACEHOLDER",
  "rke_token": "PLACEHOLDER",
  "restore": {
    "etcdRestorePath": "PLACEHOLDER",
    "nfs": {
      "endpoint": "PLACEHOLDER",
      "mountpath": "PLACEHOLDER"
    }
  },
  "infra": {
    "docker_registry": {
      "username": "PLACEHOLDER",
      "password": "PLACEHOLDER"
    }
  }
}

• fqdn – Le nom de domaine complet de l'équilibreur de charge pour le mode de production multi-nœuds compatible haute disponibilité ou le nom de domaine complet de la machine pour le mode d'évaluation à nœud unique
• fixed_rke_address — Le nom de domaine complet de l'équilibreur de charge s'il en existe un, sinon le nom de domaine complet du premier nœud du serveur de restauration. Utilisé pour équilibrer la charge de l'enregistrement des nœuds et de la requête de l'API kube. Reportez-vous à Adresse fixe et Configuration de l'équilibreur de charge pour plus d'informations.
• gpu_support — Utilisez true ou false pour activer ou désactiver la prise en charge du GPU pour le cluster (à utiliser si vous avez des nœuds d'agent avec des GPU).
• rke_token — Il s'agit d'une clé secrète pré-partagée, spécifique au cluster. Elle devrait être la même que le cluster de sauvegarde et peut être trouvée dans le fichier cluster_config.json. Elle est nécessaire pour tous les nœuds rejoignant le cluster.
• restore.etcdRestorePath — Chemin d'accès où les données de sauvegarde sont stockées pour le cluster dans le serveur NFS. Configuré à la sauvegarde avec etcdBackupPath.
• restore.nfs.endpoint – Point de terminaison du serveur NFS.
• restore.nfs.mountpath — Chemin de montage du serveur NFS.
• infra.docker_registry.username — Nom d'utilisateur que vous avez défini dans le cluster de sauvegarde. Il se trouve dans le fichier cluster_config.json et est nécessaire pour le registre docker.
• infra.docker_registry.password — Le mot de passe que vous avez défini dans le cluster de sauvegarde. Il se trouve dans le fichier cluster_config.json et est nécessaire pour l'installation du registre docker.

Installation en ligne

Étape 3.1 : Restauration de etcd sur le nœud principal du cluster

Pour restaurer etcd sur le nœud principal du cluster, exécutez la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r --accept-license-agreement --install-type online

Étape 3.2 : Restauration de etcd sur les nœuds secondaires du cluster

Pour restaurer etcd sur les nœuds secondaires du cluster, exécutez la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r -j server --accept-license-agreement --install-type online

Attention : Le rôle de nœud est obligatoire pour tous les nœuds de serveur secondaires.

Étape 3.3 : Restauration de etcd sur les nœuds d'agent du cluster

Pour restaurer etcd sur les nœuds d'agent du cluster, exécutez la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r -j agent --accept-license-agreement --install-type online

Étape 3.4 : Désactivation du mode maintenance

Remarque : cette étape n'est requise que si la restauration fait partie de l'opération de restauration lors de la mise à niveau.

Une fois la restauration etcd terminée, assurez-vous de désactiver le mode de maintenance :

/path/to/old-installer/configureUiPathAS.sh disable-maintenance-mode

Pour vérifier que le mode maintenance est désactivé, exécutez la commande suivante :

/path/to/old-installer/configureUiPathAS.sh is-maintenance-enabled

Étape 3.5 : Exécution de la restauration de volume sur le nœud principal

Une fois la restauration etcd terminée, exécutez la restauration du volume sur le nœud principal à l'aide de la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r --volume-restore --accept-license-agreement --install-type online

Étape 3.6 : installation du certificat de cluster Automation Suite sur le nœud principal de restauration

sudo ./configureUiPathAS.sh tls-cert get --outpath /opt/
cp /opt/ca.crt /etc/pki/ca-trust/source/anchors/
update-ca-trust

Activation d'AI Center sur le cluster restauré

Après avoir restauré un cluster Automation Suite avec AI Center™ activé, suivez les étapes de la procédure Activation d'AI Center sur le cluster restauré .

Installation hors ligne

Étape 3.1 : Restauration de etcd sur le nœud principal du cluster

Pour restaurer etcd sur le nœud principal du cluster, exécutez la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

Étape 3.2 : Restauration de etcd sur les nœuds secondaires du cluster

./install-uipath.sh -i restore.json -o output.json -r -j server --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

Étape 3.3 : Restauration de etcd sur les nœuds d'agent du cluster

Pour restaurer etcd sur les nœuds d'agent du cluster, exécutez la commande suivante :

./install-uipath.sh -i restore.json -o output.json -r -j agent --offline-bundle "/uipath/sf-infra-bundle.tar.gz" --offline-tmp-folder /uipath --install-offline-prereqs --accept-license-agreement --install-type offline

Étape 3.4 : Désactivation du mode maintenance

Remarque : cette étape n'est requise que si la restauration fait partie de l'opération de restauration lors de la mise à niveau.

Une fois la restauration etcd terminée, assurez-vous de désactiver le mode de maintenance :

/path/to/old-installer/configureUiPathAS.sh disable-maintenance-mode

Pour vérifier que le mode maintenance est désactivé, exécutez la commande suivante :

/path/to/old-installer/configureUiPathAS.sh is-maintenance-enabled

Étape 3.5 : Exécution de la restauration de volume sur le nœud principal

Une fois la restauration etcd terminée, exécutez la restauration du volume sur le nœud principal à l'aide de la commande suivante :

./install-uipath.sh -i restore.json -o ./output.json -r --volume-restore --accept-license-agreement --install-type offline

Étape 3.6 : installation du certificat de cluster Automation Suite sur le nœud principal de restauration

sudo ./configureUiPathAS.sh tls-cert get --outpath /opt/
cp /opt/ca.crt /etc/pki/ca-trust/source/anchors/
update-ca-trust

Activation d'AI Center sur le cluster restauré

Après avoir restauré un cluster Automation Suite avec AI Center™ activé, suivez les étapes de la procédure Activation d'AI Center sur le cluster restauré .

Désactivation de la sauvegarde du cluster

Attention : Vous pouvez activer la sauvegarde du cluster pour enregistrer les données à une heure spécifiée à l'aide du paramètre backup_interval. La désactivation de la sauvegarde du cluster entraînera une perte de données créée entre la dernière exécution planifiée et le moment où vous avez désactivé la sauvegarde.

Pour désactiver la sauvegarde, exécutez les commandes suivantes dans cet ordre :

1. Désactivez la sauvegarde sur le nœud principal du cluster.

   ./install-uipath.sh -i backup.json -o output.json -b --disable-backup --accept-license-agreement

2. Désactivez la sauvegarde sur les nœuds secondaires du cluster.

   ./install-uipath.sh -i backup.json -o output.json -b -j server --disable-backup --accept-license-agreement

3. Désactivez la sauvegarde sur les nœuds d'agent du cluster.

   ./install-uipath.sh -i backup.json -o output.json -b -j agent --disable-backup --accept-license-agreement

Configurations supplémentaires

Mise à jour du serveur NFS

Attention : Assurez-vous que la sauvegarde est désactivée avant de mettre à jour le serveur NFS. Voir Désactivation de la sauvegarde du cluster pour plus de détails.

Pour mettre à jour le serveur NFS, procédez comme suit :

1. Réexécutez les étapes suivantes :
   1. Étape 1 : Configuration du serveur NFS externe
   2. Étape 2 : Configuration du cluster de restauration
   3. Étape 3 : Configuration du cluster de restauration
2. Mettez à jour les informations du serveur NFS, puis incluez le nouveau nfs.endpoint dans les fichiers backup.json et restore.json.

Ajout d'un nouveau nœud au cluster

Pour ajouter un nouveau nœud au cluster, réexécutez les étapes suivantes :

1. Étape 1 : Configuration du serveur NFS externe
2. Étape 2 : Configuration du cluster de restauration

Problèmes connus

Restauration Redis

La restauration Redis échoue lors de l'exécution de la restauration, vous devez donc exécuter quelques étapes supplémentaires.

Suivez les étapes de la section Résolution des problèmes.

Important : une fois Redis restauré, assurez-vous de redémarrer orchestratorpods.

Le pod Insights Looker ne démarre pas après la restauration

Vous pouvez résoudre ce problème en supprimant le pod Looker de l'application Insights dans l'interface utilisateur d'ArgoCD. Le déploiement créera un nouveau pod qui devrait démarrer avec succès.