ログを手動でクリーンアップする方法

Automation Suite で AI Center のディスクがいっぱいになったら、Ceph ストレージを手動でクリーンアップし、読み取り専用モードから移行します。

Ceph ログをクリーンアップする

Ceph の読み取り専用モードから移行する

AI Center をインストールして Ceph ストレージを使用している場合は、次の手順を実行して Ceph の読み取り専用モードを解除します。

1. Ceph がフル キャパシティかどうかを確認します。

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   

   Ceph がフル キャパシティの場合は、読み取り専用のしきい値を調整して rgw ゲートウェイを起動する必要があります。

2. ML スキルを縮小します。

   kubectl -n uipath scale deployment <skill> --replicas=0
   

3. クラスターを書き込みモードにします。

   ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
   incrementall>
   

4. ガベージ コレクションを実行します。

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
   

5. ストレージがダウンしたら、次のコマンドを実行します。

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df
   

この時点で、ストレージは小さくなり、クラスターは正常になります。

ストリーミング ログを無効化する

すべてが正常な状態であることを確認するには、次の手順を実行してストリーミング ログを無効化します。

1. UiPath および AI Center で自動同期を無効化します。
2. AI Center のストリーミング ログを無効化します。
3. 既にデプロイされている ML スキルがある場合は、次のコマンドを実行します。

   kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false
   

4. どのバケットが最も多くのスペースを使用しているかを調べます。

   kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'
   

5. s3cmd をインストールして、sf-logs をクリーンアップする準備をします。

   pip3 install awscli s3cmd
   export PATH=/usr/local/bin:$PATH
   

6. sf-logsログをクリーンアップします。詳しくは、「 sf-logs バンドルに保存されている古いログをクリーンアップする方法」をご覧ください。
7. クリーンアップ操作を完了します。

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
   

8. 前の手順で問題が解決しない場合は、AI Center のデータをクリーンアップします。
9. ストレージが縮小されたかどうかを確認します。

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df
   

10. ストレージがいっぱいでなくなったら、バックフィルの設定を減らします。

    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95
    

11. ML スキルがマルチパート アップロードの問題の影響を受けていないかを確認します。

    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i
    

ユーザーがこの問題の影響を受けていて、戻り値が高い場合は、バックアップと復元を実行する必要があります。

S3 ログをクリーンアップする

S3 互換ストレージ プロバイダーを使用している場合は、次の手順を実行してログをクリーンアップします。

1. ストレージ アクセス用のキーを取得します。
2. 大きなアイテムを見つけます。

   export PATH=/usr/local/bin:$PATH
   kubectl  get secret -n logging  logging-secrets -o json |jq -r .data
    
   # Then base64 decode the "S3_ACCESSKEY" and "S3_SECRETKEY"
   

3. 前のステップでデコードされた認証情報を使用して AWS CLI を設定します。AWS を構成するには、次のコマンドを実行します。

   aws configure
   
   --
   Once aws cli is configured, you can run below commands to check content of sf logs
   

4. sf-logs を削除します。詳しくは、AWS のドキュメントをご覧ください。

   aws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
   
   # You can craft an include and exclude command to help with this. use --dryrun first
   

5. train-data を削除します。

ログを自動的にクリーンアップするには、外部 ObjectStore にクリーンアップ ポリシーを設定することもできます。

注:

CORS とバケットの保持ポリシーは、ObjectStore プロバイダーに基づいて変更される場合があります。同じことについては、ObjectStore プロバイダーのドキュメントをご覧ください。Automation Suite プラットフォームによって生成されたログは 15 日間保持することをお勧めします。これらのログ オブジェクトは、プラットフォーム バケットの automation-suite-logs フォルダーにあります。

次の例は、AWS で必要な手順を示しています。

1. 次の内容で policy.json を作成します。

   {
       "Rules": [
           {
               "Filter": {
                   "Prefix": "automation-suite-logs/"
               },
               "Status": "Enabled",
               "Expiration": {
                   "Days": 15
               },
               "ID": "DeleteOldLogs"
           }
       ]
   }
   

2. バケットに policy.json を適用するには、次のコマンドを実行します。

   aws s3api put-bucket-lifecycle-configuration --bucket BUCKET_NAME --lifecycle-configuration file://policy.json