Cluster Ceph trouvé dans un état dégradé après une mise à niveau côte à côte

Description

Parfois, après une mise à niveau côte à côte, l'application Rook-ceph passe à l'état « Échec de la synchronisation » (Sync failed) dans le portail ArgoCD. Cela est dû à un problème en amont avec Ceph.

Pour identifier la raison de cet état dégradé, exécutez la commande suivante :

kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph -s

Si vous recevez une sortie ressemblant à l'exemple suivant, le problème est lié à l'intégrité de Rook-Ceph :

cluster:
    id:     936b2e58-1014-4237-b2a5-6e95449a9ce8
    health: HEALTH_ERR
            Module 'devicehealth' has failed: disk I/O error

  services:
    mon: 3 daemons, quorum a,b,c (age 11h)
    mgr: b(active, since 37h), standbys: a
    osd: 3 osds: 3 up (since 37h), 3 in (since 37h)
    rgw: 2 daemons active (2 hosts, 1 zones)

  data:
    pools:   8 pools, 225 pgs
    objects: 53.57k objects, 26 GiB
    usage:   80 GiB used, 688 GiB / 768 GiB avail
    pgs:     225 active+clean

  io:
    client:   561 KiB/s rd, 61 KiB/s wr, 316 op/s rd, 123 op/s wr

Solution

Pour résoudre le problème, procédez comme suit :

1. Dans l'extrait de sortie, identifiez le service mgr gestionnaire avec un état actif. Dans l'exemple fourni, mgr: b est marqué comme actif.

2. Pour identifier le nom exact du pod, exécutez la commande suivante :

   kubectl -n rook-ceph get pods | grep "rook-ceph-mgr-<active-manager-name>"

   La commande doit renvoyer une sortie similaire à l'exemple suivant, où rook-ceph-mgr-b-6d7bdb4b54-zz47v est le nom du pod gestionnaire :

   rook-ceph-mgr-b-6d7bdb4b54-zz47v 0/1 Init:0/1 0 3h55m

3. Supprimez le gestionnaire actif en exécutant la commande suivante :

   kubectl -n rook-ceph delete pod <active-manager-pod-name>
   
   // for example: kubectl -n rook-ceph delete pod rook-ceph-mgr-b-6d7bdb4b54-zz47v

La suppression du gestionnaire actif l'oblige à redémarrer, passant l'état du cluster Ceph sur sain.