Los datos del clúster parecen perdidos después de un reinicio debido a un orden incorrecto de montaje del disco de Rancher y etcd

Restaure los datos ocultos de etcd y corrija el orden de montaje del disco Rancher y etcd después de reiniciar en Automation Suite en Linux.

Descripción

En instalaciones multidisco, el disco etcd dedicado, montado en /var/lib/rancher/rke2/server/db, debe montarse después de su directorio principal, /var/lib/rancher. Si el orden de montaje se invierte, de modo que /var/lib/rancher se monta sobre un disco etcd ya montado, los datos de etcd se ocultan debajo del montaje /var/lib/rancher.

Un reinicio que vuelve a desencadenar este orden de montaje incorrecto hace que el nodo del servidor RKE2 parezca perder todos los volúmenes persistentes, las reclamaciones de volumen persistentes y las aplicaciones, aunque los datos etcd subyacentes sigan presentes en el disco.

A partir de Automation Suite 2.2510.4, el comando uipathctl rke2 prereq run comprueba esta condición. Para ejecutar la comprobación, utiliza el siguiente comando:

./bin/uipathctl rke2 prereq run cluster_config.json --versions ./versions/helm-charts.json --log-level=debug --included disk --node-type server -v

Si el orden de montaje es incorrecto, la comprobación falla con el siguiente error:

❌ [RKE2_DISK]
   ❌ [Rancher_Etcd_Mount_Order] '/var/lib/rancher/rke2/server/db' is not mounted. Configure the cluster disk (--cluster-disk-name) before continuing, or if both disks are already mounted, do the data migration if required, unmount and remount (or reboot) so '/var/lib/rancher' is mounted before '/var/lib/rancher/rke2/server/db'.

En versiones anteriores, o si prefieres no ejecutar la comprobación completa de requisitos previos, verifica el orden de montaje directamente:

stat -c '%n -> %D' /var/lib/rancher/ /var/lib/rancher/rke2/server/db /

Si los ID de dispositivo no son todos diferentes, el disco etcd no se monta en su ruta esperada.

Solución

Importante:

Para un clúster multinodo, aplica los siguientes pasos a un nodo del servidor a la vez y confirma que el nodo está en buen estado antes de pasar al siguiente nodo. Haz una copia de seguridad del clúster y ponlo en modo de mantenimiento antes de comenzar. Ejecuta todos los comandos como raíz (sudo -i).

Para corregir el orden de montaje y restaurar los datos etcd ocultos, realiza los siguientes pasos:

1. Detén el drenaje de nodos y los servicios del servidor RKE2 y, a continuación, desmonta ambas rutas:

   systemctl stop node-drain.service
   systemctl stop rke2-server
   rke2-killall.sh
   umount /var/lib/rancher
   umount /var/lib/rancher/rke2/server/db
   

2. Monta solo el volumen /var/lib/rancher principal:

   RANCHER_UUID=$(blkid -o value -s UUID /dev/uipathvg/rancherlv)
   mount -t xfs -o defaults,nofail UUID="$RANCHER_UUID" /var/lib/rancher
   

3. Monta el disco etcd en una ubicación temporal, para que los datos ocultos queden expuestos en lugar de volver a cubrirse:

   mkdir -p /mnt/tmp_db
   ETCD_UUID=$(blkid -o value -s UUID /dev/uipathetcdvg/etcdlv)
   mount -t xfs -o defaults,nofail UUID="$ETCD_UUID" /mnt/tmp_db
   

4. Copia los datos ocultos de etcd en el disco de etcd:

   cp -ax /var/lib/rancher/rke2/server/db/. /mnt/tmp_db/
   

5. Desmonta la ubicación temporal, borra los datos obsoletos del disco principal y monta el disco etcd en su ruta anidada correcta:

   umount /mnt/tmp_db
   rmdir /mnt/tmp_db
   find /var/lib/rancher/rke2/server/db -mindepth 1 -delete
   mount -t xfs -o defaults,nofail UUID="$ETCD_UUID" /var/lib/rancher/rke2/server/db
   

6. Actualiza /etc/fstab para que el orden de montaje persista en los reinicios. El montaje principal (/var/lib/rancher) debe declararse antes del montaje anidado (/var/lib/rancher/rke2/server/db):

   # uipath-rancher
   UUID=<rancher-disk-uuid>    /var/lib/rancher    xfs    defaults,nofail    0    0
   # uipath-etcd
   UUID=<etcd-disk-uuid>    /var/lib/rancher/rke2/server/db    xfs    defaults,nofail    0    0
   

   Antes de reiniciar, verifica que ambas rutas se monten correctamente:

   mountpoint /var/lib/rancher
   mountpoint /var/lib/rancher/rke2/server/db
   

7. Verifica el orden de montaje y reinicia los servicios del clúster:

   df -h | grep rancher
   systemctl start rke2-server
   systemctl start node-uncordon