RHEL 8.x ノードでの XFS ボリュームマウントの失敗により、Pod が Init 状態でスタックする

TopoLVM XFS 形式が Automation Suite の RHEL 8.x に対応していないためにポッドが Init ステートでスタックする問題を解決します。

説明

新しい永続ボリュームを必要とするポッド (AI Center のトレーニング パイプラインなど) を RHEL 8.x ノードで起動すると、ポッドは Init ステートのままになり、次のエラーが表示されます。

Warning  FailedMount  36s (x11 over 8m50s)  kubelet  MountVolume.SetUp failed for volume "pvc-82575d2d-2269-4cef-ace8-fa1602f3dd44" : rpc error: code = Internal desc = mount failed: volume=6d81061d-79c4-46b3-9471-478c6c739b25, error=mount failed: exit status 32

Mounting command: mount
Mounting arguments: -t xfs -o nouuid /dev/uipathstorevg/6d81061d-79c4-46b3-9471-478c6c739b25 /var/lib/kubelet/pods/547bdf64-173b-4df1-ad7a-449f6796ca09/volumes/kubernetes.io~csi/pvc-82575d2d-2269-4cef-ace8-fa1602f3dd44/mount

Output: mount: /var/lib/kubelet/pods/547bdf64-173b-4df1-ad7a-449f6796ca09/volumes/kubernetes.io~csi/pvc-82575d2d-2269-4cef-ace8-fa1602f3dd44/mount: wrong fs type, bad option, bad superblock on /dev/mapper/uipathstorevg-6d81061d--79c4--46b3--9471--478c6c739b25, missing codepage or helper program, or other error.

PVC は Boundされ、PV は正常に見え、基盤となるブロック デバイスはノード上で lsblk で表示されます。

原因:TopoLVM は、新しい xfsprogs/kernel バージョンで導入されたディスク上の機能 (bigtime、 inobtcount、 nrext64) を使用して、mkfs.xfsで新しいボリュームをフォーマットします。RHEL 8.x に同梱されているカーネルと xfsprogs は、これらの機能で作成された XFS ボリュームをマウントできないため、マウントは wrong fs type, bad option, bad superblockで失敗します。

この問題は、RHEL 8.x ノードで実行される Linux の Automation Suite (RKE2) にのみ影響します。RHEL 9.x および 10.x は影響を受けません。

解決策

この問題に対処するには、 topolvm-node DaemonSet にパッチを適用して、互換性のない機能を無効にする mkfs.xfs ラッパーを使用して新しいボリュームをフォーマットします。

1. 現在の TopoLVM 構成をバックアップします。

   kubectl -n topolvm-system get ds topolvm-node -o yaml > /opt/UiPathAutomationSuite/topolvm-node-ds.yaml
   kubectl -n topolvm-system get all -o yaml > /opt/UiPathAutomationSuite/topolvm-system-all.yaml
   kubectl get storageclass local-volume-provisioner -o yaml > /opt/UiPathAutomationSuite/local-volume-provisioner-sc.yaml
   kubectl -n topolvm-system get configmap -o yaml > /opt/UiPathAutomationSuite/topolvm-system-configmaps.yaml
   

2. RHEL 8.x 互換オプションを使用して mkfs.xfs を呼び出すラッパー ConfigMap を作成します。

   cat <<'EOF' | kubectl apply -f -
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: mkfs-xfs-wrapper
     namespace: topolvm-system
   data:
     mkfs.xfs: |
       #!/bin/sh
       exec /usr/sbin/mkfs.xfs -m crc=1,rmapbt=0,bigtime=0,inobtcount=0 -i nrext64=0 "$@"
   EOF
   

3. ConfigMap が作成されたことを確認します。

   kubectl -n topolvm-system get configmap mkfs-xfs-wrapper
   

4. topolvm-node DaemonSet にパッチを適用して、デフォルトの mkfs.xfs バイナリパスにラッパーをマウントします。

   kubectl -n topolvm-system patch ds topolvm-node --type=strategic -p '
   spec:
     template:
       spec:
         containers:
         - name: topolvm-node
           volumeMounts:
           - mountPath: /usr/local/sbin/mkfs.xfs
             name: mkfs-xfs-wrapper
             readOnly: true
             subPath: mkfs.xfs
         volumes:
         - name: mkfs-xfs-wrapper
           configMap:
             name: mkfs-xfs-wrapper
             defaultMode: 493
             items:
             - key: mkfs.xfs
               mode: 493
               path: mkfs.xfs
   '
   

5. DaemonSet をロールアウトし、ロールアウトが完了することを確認します。

   kubectl -n topolvm-system rollout status ds/topolvm-node