ログを手動でクリーンアップする方法

Ceph ログをクリーンアップする

Ceph の読み取り専用モードから移行する

AI Center をインストールして Ceph ストレージを使用している場合は、次の手順を実行して Ceph の読み取り専用モードを解除します。

1. Ceph がフル キャパシティかどうかを確認します。

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status

   Ceph がフル キャパシティの場合は、読み取り専用のしきい値を調整して rgw ゲートウェイを起動する必要があります。
2. ML スキルを縮小します。

   kubectl -n uipath scale deployment <skill> --replicas=0

3. クラスターを書き込みモードにします。

   ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
   incrementall>

4. ガベージ コレクションを実行します。

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all

5. ストレージがダウンしたら、次のコマンドを実行します。

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

   この時点で、ストレージは小さくなり、クラスターは正常になります。

ストリーミング ログを無効化する

すべてが正常な状態であることを確認するには、次の手順を実行してストリーミング ログを無効化します。

1. UiPath および AI Center で自動同期を無効化します。
2. AI Center のストリーミング ログを無効化します。
3. 既にデプロイされている ML スキルがある場合は、次のコマンドを実行します。

   kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false

4. どのバケットが最も多くのスペースを使用しているかを調べます。

   kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'

5. s3cmd をインストールして、sf-logs をクリーンアップする準備をします。

   pip3 install awscli s3cmd
   export PATH=/usr/local/bin:$PATH

6. sf-logs ログをクリーンアップします。詳しくは、「sf-logs バンドルに保存されている古いログをクリーンアップする方法」をご覧ください。
7. クリーンアップ操作を完了します。

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all

8. 前の手順で問題が解決しない場合は、AI Center のデータをクリーンアップします。
9. ストレージが縮小されたかどうかを確認します。

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

10. ストレージがいっぱいでなくなったら、バックフィルの設定を減らします。

    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95

11. ML スキルがマルチパート アップロードの問題の影響を受けていないかを確認します。

    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i

    ユーザーがこの問題の影響を受けていて、戻り値が高い場合は、バックアップと復元を実行する必要があります。