如何手动清理日志

清理 Ceph 日志

将 Ceph 退出只读模式

如果您安装了 AI Center 并使用 Ceph 存储，请执行以下步骤将 Ceph 退出只读模式：

1. 检查 Ceph 是否已满：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   

   如果 Ceph 已满，则必须调整只读阈值才能启动 rgw 网关。

2. 缩小 ML 技能规模：

   kubectl -n uipath scale deployment <skill> --replicas=0
   

3. 将集群置于维护模式：

   ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up
   incrementall>
   

4. 运行垃圾收集：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
   

5. 当存储出现故障时，请运行以下命令：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df
   

   此时，存储空间占用率应该较低，并且集群应该运行良好。

禁用流日志

为确保一切都处于良好状态，请通过以下步骤禁用流日志。

1. 在 UiPath 和 AI Center 上禁用自动同步。

2. 禁用 AI Center 的流日志。

3. 如果您已经部署了 ML 技能，请运行以下命令：

   kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false
   

4. 找出使用空间最多的存储桶：

   kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'
   

5. 安装 s3cmd 以准备清理 sf-logs：

   pip3 install awscli s3cmd
   export PATH=/usr/local/bin:$PATH
   

6. Clean up the sf-logs logs. For details, see How to clean up old logs stored in the sf-logs bundle.

7. 完成清理操作：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
   

8. 如果前面的步骤不能解决问题，请清理 AI Center 数据。

9. 检查存储空间是否减少：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df
   

10. 存储空间有多余空间后，调低“回填”设置：

    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95
    

11. 检查 ML 技能是否受分段上传问题的影响：

    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i
    

    如果它们受此问题的影响，并且返回的值很高，则您可能需要执行备份和还原。