Pods hängen im Init-Status fest, da ein Fehler bei der Bereitstellung des XFS-Volumes auf RHEL 8.x-Knoten fehlgeschlagen ist

Beheben Sie Pods, die aufgrund einer TopoLVM XFS-Formatierungsinkompatibilität mit RHEL 8.x in der Automation Suite im Init-Status stecken sind.

Beschreibung

Wenn ein Pod, der ein neues persistentes Volume erfordert (z. B. eine AI Center-Trainingspipeline), auf einem RHEL 8.x-Knoten gestartet wird, bleibt der Pod im Status Init mit folgendem Fehler:

Warning  FailedMount  36s (x11 over 8m50s)  kubelet  MountVolume.SetUp failed for volume "pvc-82575d2d-2269-4cef-ace8-fa1602f3dd44" : rpc error: code = Internal desc = mount failed: volume=6d81061d-79c4-46b3-9471-478c6c739b25, error=mount failed: exit status 32

Mounting command: mount
Mounting arguments: -t xfs -o nouuid /dev/uipathstorevg/6d81061d-79c4-46b3-9471-478c6c739b25 /var/lib/kubelet/pods/547bdf64-173b-4df1-ad7a-449f6796ca09/volumes/kubernetes.io~csi/pvc-82575d2d-2269-4cef-ace8-fa1602f3dd44/mount

Output: mount: /var/lib/kubelet/pods/547bdf64-173b-4df1-ad7a-449f6796ca09/volumes/kubernetes.io~csi/pvc-82575d2d-2269-4cef-ace8-fa1602f3dd44/mount: wrong fs type, bad option, bad superblock on /dev/mapper/uipathstorevg-6d81061d--79c4--46b3--9471--478c6c739b25, missing codepage or helper program, or other error.

Der PVC ist Bound, das PV sieht fehlerfrei aus und das zugrunde liegende Blockgerät ist mit lsblk auf dem Knoten sichtbar.

Ursache: TopoLVM formatiert neue Volumes mit mkfs.xfs mithilfe von On-Drop-Funktionen (bigtime, inobtcount, nrext64), die in neueren xfsprogs/Kernel-Versionen eingeführt wurden. Der Kernel und die xfsprogs, die mit RHEL 8.x geliefert werden, können ein XFS-Volume, das mit diesen Funktionen erstellt wurde, nicht bereitstellen, sodass die Bereitstellung mit wrong fs type, bad option, bad superblock fehlschlägt.

Dieses Problem betrifft nur die Automation Suite unter Linux (RKE2), die auf RHEL 8.x-Knoten ausgeführt wird; RHEL 9.x und 10.x sind nicht betroffen.

Lösung

Um das Problem zu beheben,patch das DaemonSet topolvm-node, um neue Volumes mit einem mkfs.xfs -Wrapper zu formatieren, der die inkompatiblen Funktionen deaktiviert:

1. Sichern Sie die aktuelle TopoLVM-Konfiguration:

   kubectl -n topolvm-system get ds topolvm-node -o yaml > /opt/UiPathAutomationSuite/topolvm-node-ds.yaml
   kubectl -n topolvm-system get all -o yaml > /opt/UiPathAutomationSuite/topolvm-system-all.yaml
   kubectl get storageclass local-volume-provisioner -o yaml > /opt/UiPathAutomationSuite/local-volume-provisioner-sc.yaml
   kubectl -n topolvm-system get configmap -o yaml > /opt/UiPathAutomationSuite/topolvm-system-configmaps.yaml
   

2. Erstellen Sie eine Wrapper-ConfigMap, die mkfs.xfs mit RHEL 8.x-kompatiblen Optionen aufruft:

   cat <<'EOF' | kubectl apply -f -
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: mkfs-xfs-wrapper
     namespace: topolvm-system
   data:
     mkfs.xfs: |
       #!/bin/sh
       exec /usr/sbin/mkfs.xfs -m crc=1,rmapbt=0,bigtime=0,inobtcount=0 -i nrext64=0 "$@"
   EOF
   

3. Überprüfen Sie, ob die ConfigMap erstellt wurde:

   kubectl -n topolvm-system get configmap mkfs-xfs-wrapper
   

4. Patchen Sie das DaemonSet topolvm-node, um den Wrapper über den standardmäßigen mkfs.xfs -Binärpfad bereitzustellen:

   kubectl -n topolvm-system patch ds topolvm-node --type=strategic -p '
   spec:
     template:
       spec:
         containers:
         - name: topolvm-node
           volumeMounts:
           - mountPath: /usr/local/sbin/mkfs.xfs
             name: mkfs-xfs-wrapper
             readOnly: true
             subPath: mkfs.xfs
         volumes:
         - name: mkfs-xfs-wrapper
           configMap:
             name: mkfs-xfs-wrapper
             defaultMode: 493
             items:
             - key: mkfs.xfs
               mode: 493
               path: mkfs.xfs
   '
   

5. Führen Sie das DaemonSet aus und bestätigen Sie, dass die Einführung abgeschlossen ist:

   kubectl -n topolvm-system rollout status ds/topolvm-node