如何手动清理日志

清理 Ceph 日志

将 Ceph 退出只读模式

如果您安装了 AI Center 并使用 Ceph 存储，请执行以下步骤将 Ceph 退出只读模式：

1. 检查 Ceph 是否已满：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   

   如果 Ceph 已满，则必须调整只读阈值才能启动 rgw 网关。

2. 缩小 ML 技能规模：

   kubectl -n uipath scale deployment <skill> --replicas=0
   

3. 将集群置于维护模式：

   ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up
   incrementall>
   

4. 运行垃圾收集：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
   

5. 当存储出现故障时，请运行以下命令：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df
   

   此时，存储空间占用率应该较低，并且集群应该运行良好。

禁用流日志

为确保一切都处于良好状态，请通过以下步骤禁用流日志。

1. 在 UiPath 和 AI Center 上禁用自动同步。

2. 禁用 AI Center 的流日志。

3. 如果您已经部署了 ML 技能，请运行以下命令：

   kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false
   

4. 找出使用空间最多的存储桶：

   kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'
   

5. 安装 s3cmd 以准备清理 sf-logs：

   pip3 install awscli s3cmd
   export PATH=/usr/local/bin:$PATH
   

6. Clean up the sf-logs logs. For details, see How to clean up old logs stored in the sf-logs bundle.

7. 完成清理操作：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
   

8. 如果前面的步骤不能解决问题，请清理 AI Center 数据。

9. 检查存储空间是否减少：

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df
   

10. 存储空间有多余空间后，调低“回填”设置：

    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95
    

11. 检查 ML 技能是否受分段上传问题的影响：

    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i
    

    如果它们受此问题的影响，并且返回的值很高，则您可能需要执行备份和还原。

清理 s3 日志

如果您使用与 s3 兼容的存储提供程序，请执行以下步以骤清理日志：

1. 获取存储访问密钥。

2. 查找大项目：

   export PATH=/usr/local/bin:$PATH
   kubectl  get secret -n logging  logging-secrets -o json |jq -r .data
   
   # Then base64 decode the "S3_ACCESSKEY" and "S3_SECRETKEY"
   

3. 使用上一步中解码的凭据配置 AWS CLI。要配置 AWS，请运行以下命令：

   aws configure
   
   --
   Once aws cli is configured, you can run below commands to check content of sf logs
   

4. 删除此 sf-logs。有关更多详细信息，请参阅 AWS 文档。

   aws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
   
   # You can craft an include and exclude command to help with this. use --dryrun first
   

5. 删除此 train-data。

要自动清理日志，您还可以对外部对象存储配置清理策略。

备注：

CORS 和存储桶保留策略可能会因对象存储提供程序而发生变化。有关相关信息，请参阅对象存储提供程序文档。

我们建议将 Automation Suite 平台生成的日志保留 15 天。这些日志对象位于平台存储桶的automation-suite-logs文件夹中。

以下示例显示了 AWS 所需的步骤：

1. 创建包含以下内容的policy.json ：

   {
       "Rules": [
           {
               "Filter": {
                   "Prefix": "automation-suite-logs/"
               },
               "Status": "Enabled",
               "Expiration": {
                   "Days": 15
               },
               "ID": "DeleteOldLogs"
           }
       ]
   }
   

2. 要将policy.json应用于存储桶，请运行以下命令：

   aws s3api put-bucket-lifecycle-configuration --bucket BUCKET_NAME --lifecycle-configuration file://policy.json