automation-suite
2023.10
true
Guia de instalação do Automation Suite no Linux
Last updated 11 de nov de 2024

Como limpar logs manualmente

Limpeza de logs do Ceph

Alterando o modo somente leitura do Ceph

Se você instalou o AI Center e usa o armazenamento do Ceph, siga as seguintes etapas para retirar o Ceph do modo somente leitura:

  1. Verifique se o Ceph está em plena capacidade:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph statuskubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
    Se o Ceph estiver em plena capacidade, você deve ajustar o limiar somente leitura para iniciar os gateways rgw.
  2. Reduza as habilidades de ML:
    kubectl -n uipath scale deployment <skill> --replicas=0kubectl -n uipath scale deployment <skill> --replicas=0
  3. Coloque o cluster no modo de gravação:
    ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
    incrementall>ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
    incrementall>
  4. Execute a coleta de lixo:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-allkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
  5. Quando o armazenamento diminuir, execute os seguintes comandos:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph dfkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

    Neste ponto, o armazenamento deve ser menor, e o cluster deve estar íntegro.

Desativando registros de streaming

Para garantir que tudo esteja em um bom estado, desabilite os logs de streaming seguindo as seguintes etapas.

  1. Desabilite a sincronização automática no UiPath e no AI Center.
  2. Desabilite logs de streaming para o AI Center.
  3. Se você tiver habilidades de ML que já foram implantadas, execute os seguintes comandos:
    kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=falsekubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false
  4. Descubra quais buckets usam mais espaço:
    kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'
  5. Instale o s3cmd para se preparar para limpar o sf-logs:
    pip3 install awscli s3cmd
    export PATH=/usr/local/bin:$PATHpip3 install awscli s3cmd
    export PATH=/usr/local/bin:$PATH
  6. Limpe os logs sf-logs. Para obter detalhes, consulte Como limpar logs antigos armazenados no pacote sf-logs.
  7. Conclua a operação de limpeza:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-allkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
  8. Se as etapas anteriores não resolverem o problema, limpe os dados do AI Center.
  9. Verifique se o armazenamento foi reduzido:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph dfkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df
  10. Quando o armazenamento não estiver mais cheio, reduza a configuração do preenchimento:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95
  11. Verifique se as habilidades de ML são afetadas pelo problema de upload de várias partes:
    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-iecho $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i

    Se forem afetados por esse problema e o valor retornado for alto, você pode precisar fazer um backup e restaurar.

Limpeza de logs do s3

Se você usar um provedor de armazenamento compatível com s3, siga as seguintes etapas para limpar seus logs:

  1. Obtenha a chave para acesso ao armazenamento.
  2. Encontre os itens grandes:
    export PATH=/usr/local/bin:$PATH
    kubectl -n rook-ceph get secrets ceph-object-store-secret -o yaml
     
    # Then base64 decode the OBJECT_STORAGE_ACCESSKEY and OBJECT_STORAGE_SECRETKEY and OBJECT_STORAGE_EXTERNAL_HOSTexport PATH=/usr/local/bin:$PATH
    kubectl -n rook-ceph get secrets ceph-object-store-secret -o yaml
     
    # Then base64 decode the OBJECT_STORAGE_ACCESSKEY and OBJECT_STORAGE_SECRETKEY and OBJECT_STORAGE_EXTERNAL_HOST
    run: aws configure
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --recursive --human-readable --sumarizerun: aws configure
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --recursive --human-readable --sumarize
  3. Exclua o sf-logs. Para obter mais detalhes, consulte a documentação da AWS.
    aws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
    
    # You can craft an include and exclude command to help with this. use --dryrun firstaws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
    
    # You can craft an include and exclude command to help with this. use --dryrun first
  4. Exclua o train-data.
  • Limpeza de logs do Ceph
  • Alterando o modo somente leitura do Ceph
  • Desativando registros de streaming
  • Limpeza de logs do s3

Esta página foi útil?

Obtenha a ajuda que você precisa
Aprendendo RPA - Cursos de automação
Fórum da comunidade da Uipath
Uipath Logo White
Confiança e segurança
© 2005-2024 UiPath. Todos os direitos reservados.