Fehler beim Hoch- oder Herunterladen von Daten im Objektspeicher

Beschreibung

Dieses Problem kann auftreten, wenn sich der Objektspeicherstatus aufgrund einer Inkonsistenz der Platzierungsgruppe (PG) in einem schlechten Zustand befindet.

Überprüfen Sie, ob das Problem tatsächlich mit der Inkonsistenz von rook-ceph PG zusammenhängt, indem Sie die folgenden Befehle ausführen:

export KUBECONFIG=/etc/rancher/rke2/rke2.yaml PATH=$PATH:/var/lib/rancher/rke2/bin
ROOK_CEPH_TOOLS=$(kubectl -n rook-ceph get pods | grep rook-ceph-tools)
kubectl -n rook-ceph exec -it $ROOK_CEPH_TOOLS -- ceph status

Wenn das Problem mit einer Inkonsistenz von rook-ceph PG zusammenhängt, sollte die Ausgabe die folgenden Meldungen enthalten:

....
....
Possible data damage: X pgs inconsistent
....
....
X active+clean+inconsistent
....
....

Lösung

Führen Sie die folgenden Schritte aus, um das inkonsistente PG zu reparieren:

1. Exec zu rook-ceph-Tools:

   kubectl -n rook-ceph exec -it $ROOK_CEPH_TOOLS -- sh
   

2. Triggern Sie den Garbage-Collector-Prozess von rook-ceph. Warten Sie, bis der Prozess abgeschlossen ist.

   radosgw-admin gc process
   

3. Suchen Sie eine Liste von active+clean+inconsistent-PGs:

   ceph health detail
   # output of this command be like
   # ....
   # pg <pg-id> is active+clean+inconsistent, acting ..
   # pg <pg-id> is active+clean+inconsistent, acting ..
   # ....
   #
   

4. Lösen Sie nacheinander eine umfassende Bereinigung auf den PGs aus. Die Ausführung dieses Befehls dauert je nach PG-Größe einige Minuten.

   ceph pg deep-scrub <pg-id>
   

5. Beobachten Sie den Bereinigungsstatus:

   ceph -w | grep <pg-id>
   

6. Überprüfen Sie den Status der PG-Bereinigung. Wenn die PG-Bereinigung erfolgreich ist, sollte der PG-Status active+clean+inconsistent sein.

   ceph health detail | grep <pg-id>
   

7. Reparieren Sie das PG:

   ceph pg repair <pg-id>
   

8. Überprüfen Sie den PG-Reparaturstatus. Die PG-ID sollte aus der Liste active+clean+inconsistent entfernt werden, wenn das PG erfolgreich repariert wurde.

   ceph health detail | grep <pg-id>
   

9. Wiederholen Sie die Schritte 3 bis 8 für den Rest des inkonsistenten PGs.