automation-suite
2023.10
false
UiPath logo, featuring letters U and I in white
Linux 版 Automation Suite 安装指南
Last updated 2024年12月3日

如何手动清理日志

清理 Ceph 日志

将 Ceph 退出只读模式

如果您安装了 AI Center 并使用 Ceph 存储,请执行以下步骤将 Ceph 退出只读模式:

  1. 检查 Ceph 是否已满:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph statuskubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
    如果 Ceph 已满,则必须调整只读阈值才能启动 rgw 网关。
  2. 缩小 ML 技能规模:
    kubectl -n uipath scale deployment <skill> --replicas=0kubectl -n uipath scale deployment <skill> --replicas=0
  3. 将集群置于维护模式:
    ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
    incrementall>ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
    incrementall>
  4. 运行垃圾收集:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-allkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
  5. 当存储出现故障时,请运行以下命令:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph dfkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

    此时,存储空间占用率应该较低,并且集群应该运行良好。

禁用流日志

为确保一切都处于良好状态,请通过以下步骤禁用流日志。

  1. 在 UiPath 和 AI Center 上禁用自动同步。
  2. 禁用 AI Center 的流日志。
  3. 如果您已经部署了 ML 技能,请运行以下命令:
    kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=falsekubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false
  4. 找出使用空间最多的存储桶:
    kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'
  5. 安装 s3cmd 以准备清理 sf-logs
    pip3 install awscli s3cmd
    export PATH=/usr/local/bin:$PATHpip3 install awscli s3cmd
    export PATH=/usr/local/bin:$PATH
  6. 清理 sf-logs 日志。有关详细信息,请参阅如何清理 sf-logs 捆绑包中存储的旧日志
  7. 完成清理操作:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-allkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
  8. 如果前面的步骤不能解决问题,请清理 AI Center 数据。
  9. 检查存储空间是否减少:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph dfkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df
  10. 存储空间有多余空间后,调低“回填”设置:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95
  11. 检查 ML 技能是否受分段上传问题的影响:
    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-iecho $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i

    如果它们受此问题的影响,并且返回的值很高,则您可能需要执行备份和还原。

清理 s3 日志

如果您使用与 s3 兼容的存储提供程序,请执行以下步以骤清理日志:

  1. 获取存储访问密钥。
  2. 查找大项目:
    export PATH=/usr/local/bin:$PATH
    kubectl -n rook-ceph get secrets ceph-object-store-secret -o yaml
     
    # Then base64 decode the OBJECT_STORAGE_ACCESSKEY and OBJECT_STORAGE_SECRETKEY and OBJECT_STORAGE_EXTERNAL_HOSTexport PATH=/usr/local/bin:$PATH
    kubectl -n rook-ceph get secrets ceph-object-store-secret -o yaml
     
    # Then base64 decode the OBJECT_STORAGE_ACCESSKEY and OBJECT_STORAGE_SECRETKEY and OBJECT_STORAGE_EXTERNAL_HOST
    run: aws configure
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --recursive --human-readable --sumarizerun: aws configure
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --recursive --human-readable --sumarize
  3. 删除此 sf-logs。有关更多详细信息,请参阅 AWS 文档
    aws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
    
    # You can craft an include and exclude command to help with this. use --dryrun firstaws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
    
    # You can craft an include and exclude command to help with this. use --dryrun first
  4. 删除此 train-data
  • 清理 Ceph 日志
  • 将 Ceph 退出只读模式
  • 禁用流日志
  • 清理 s3 日志

此页面有帮助吗?

获取您需要的帮助
了解 RPA - 自动化课程
UiPath Community 论坛
Uipath Logo White
信任与安全
© 2005-2024 UiPath。保留所有权利。