ObjectStore にデータをアップロードまたはダウンロードできない

説明

この問題は、配置グループ (PG) の不整合のために、object-store のステートが degraded ステートになっている場合に発生する可能性があります。

次のコマンドを実行して、問題が本当に rook-ceph の PG の不整合に関連しているかを確認します。

export KUBECONFIG=/etc/rancher/rke2/rke2.yaml PATH=$PATH:/var/lib/rancher/rke2/bin
ROOK_CEPH_TOOLS=$(kubectl -n rook-ceph get pods | grep rook-ceph-tools)
kubectl -n rook-ceph exec -it $ROOK_CEPH_TOOLS -- ceph status

問題が rook-ceph の PG の不整合に関連している場合は、出力に次のメッセージが含まれます。

....
....
Possible data damage: X pgs inconsistent
....
....
X active+clean+inconsistent
....
....

解決策

不整合な PG を修復するには、次の手順を実行します。

1. rook-ceph ツールを実行します。

   kubectl -n rook-ceph exec -it $ROOK_CEPH_TOOLS -- sh

2. rook-ceph のガベージ コレクター プロセスをトリガーします。プロセスが完了するまで待ちます。

   radosgw-admin gc process

3. active+clean+inconsistent PG のリストを見つけます。

   ceph health detail
   # output of this command be like
   # ....
   # pg <pg-id> is active+clean+inconsistent, acting ..
   # pg <pg-id> is active+clean+inconsistent, acting ..
   # ....
   #

4. 詳細スクラブを一度に 1 つの PG でトリガーします。PG のサイズによっては、このコマンドの実行に数分かかります。

   ceph pg deep-scrub <pg-id>

5. スクラブのステータスを確認します。

   ceph -w | grep <pg-id>

6. PG のスクラブのステータスを確認します。PG のスクラブに成功すると、PG のステータスは active+clean+inconsistent になります。

   ceph health detail | grep <pg-id>

7. PG を修復します。

   ceph pg repair <pg-id>

8. PG の修復ステータスを確認します。PG が正常に修復された場合、その PG の ID は active+clean+inconsistent リストから削除されます。

   ceph health detail | grep <pg-id>

9. 残りの不整合な PG で手順 3 から 8 を繰り返します。