如何手动清理日志

清理 Ceph 日志

将 Ceph 退出只读模式

如果您安装了 AI Center 并使用 Ceph 存储，请执行以下步骤将 Ceph 退出只读模式：

1. 检查 Ceph 是否已满：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status

   如果 Ceph 已满，则必须调整只读阈值才能启动 rgw 网关。
2. 缩小 ML 技能规模：

   kubectl -n uipath scale deployment <skill> --replicas=0

3. 将集群置于维护模式：

   ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
   incrementall>

4. 运行垃圾收集：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all

5. 当存储出现故障时，请运行以下命令：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

   此时，存储空间占用率应该较低，并且集群应该运行良好。

禁用流日志

为确保一切都处于良好状态，请通过以下步骤禁用流日志。

1. 在 UiPath 和 AI Center 上禁用自动同步。
2. 禁用 AI Center 的流日志。
3. 如果您已经部署了 ML 技能，请运行以下命令：

   kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false

4. 找出使用空间最多的存储桶：

   kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'

5. 安装 s3cmd 以准备清理 sf-logs：

   pip3 install awscli s3cmd
   export PATH=/usr/local/bin:$PATH

6. 清理 sf-logs 日志。有关详细信息，请参阅如何清理 sf-logs 捆绑包中存储的旧日志。
7. 完成清理操作：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all

8. 如果前面的步骤不能解决问题，请清理 AI Center 数据。
9. 检查存储空间是否减少：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

10. 存储空间有多余空间后，调低“回填”设置：

    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95

11. 检查 ML 技能是否受分段上传问题的影响：

    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i

    如果它们受此问题的影响，并且返回的值很高，则您可能需要执行备份和还原。

清理 s3 日志

如果您使用与 s3 兼容的存储提供程序，请执行以下步以骤清理日志：

1. 获取存储访问密钥。
2. 查找大项目：

   export PATH=/usr/local/bin:$PATH
   
   kubectl -n rook-ceph get secrets ceph-object-store-secret -o yaml
    
    base64 decode the OBJECT_STORAGE_ACCESSKEY and OBJECT_STORAGE_SECRETKEY and OBJECT_STORAGE_EXTERNAL_HOST
   
   run: aws configure

   aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://<bucket name>
   
   So for sf-logs
   
   aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs
   
   aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --recursive --human-readable --sumarize

3. 删除此 sf-logs。有关更多详细信息，请参阅 AWS 文档。

   aws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
   
   So craft an include and exclude command to help with this. use --dryrun first

4. 删除此 train-data。