automation-suite
2023.10
true
Automation Suite unter Linux – Installationsanleitung
Last updated 4. Okt. 2024

So werden Protokolle manuell bereinigt

Bereinigen von Ceph-Protokollen

Verschieben von Ceph aus dem schreibgeschützten Modus

Wenn Sie das AI Center installiert haben und den Ceph-Speicher verwenden, führen Sie die folgenden Schritte aus, um Ceph aus dem schreibgeschützten Modus zu entfernen:

  1. Überprüfen Sie, ob Ceph die volle Kapazität ausgeschöpft hat:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph statuskubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
    Wenn Ceph ausgelastet ist, müssen Sie den schreibgeschützten Schwellenwert anpassen, um die rgw-Gateways zu starten.
  2. Verringern Sie die ML-Fähigkeiten:
    kubectl -n uipath scale deployment <skill> --replicas=0kubectl -n uipath scale deployment <skill> --replicas=0
  3. Versetzen Sie den Cluster in den Schreibmodus:
    ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
    incrementall>ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
    incrementall>
  4. Führen Sie die automatische Speicherbereinigung aus:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-allkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
  5. Wenn der Speicher knapp wird, führen Sie die folgenden Befehle aus:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph dfkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

    Zu diesem Zeitpunkt sollte der Speicherplatz reduziert und der Cluster intakt sein.

Deaktivieren von Streaming-Protokollen

Um sicherzustellen, dass das System in einem guten Zustand ist, deaktivieren Sie die Streamingprotokolle, indem Sie die folgenden Schritte ausführen.

  1. Deaktivieren Sie die automatische Synchronisierung in UiPath und im AI Center.
  2. Deaktivieren Sie Streaming-Protokolle für das AI Center.
  3. Wenn Sie über ML-Fähigkeiten verfügen, die bereits bereitgestellt wurden, führen Sie die folgenden Befehle aus:
    kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=falsekubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false
  4. Finden Sie heraus, welche Buckets den meisten Speicherplatz verbrauchen:
    kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'
  5. Installieren Sie s3cmd, um sich auf die Bereinigung von sf-logs vorzubereiten:
    pip3 install awscli s3cmd
    export PATH=/usr/local/bin:$PATHpip3 install awscli s3cmd
    export PATH=/usr/local/bin:$PATH
  6. Bereinigen Sie die sf-logs-Protokolle. Weitere Informationen finden Sie unter So löschen Sie alte Protokolle, die im sf-logs-Paket gespeichert sind.
  7. Schließen Sie den Bereinigungsvorgang ab:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-allkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
  8. Wenn die vorherigen Schritte das Problem nicht lösen, bereinigen Sie die AI Center-Daten.
  9. Überprüfen Sie, ob der Speicher reduziert wurde:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph dfkubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df
  10. Sobald der Speicher nicht mehr voll ist, reduzieren Sie die Abgleicheinstellung:
    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95
  11. Prüfen Sie, ob die ML-Fähigkeiten vom Problem des mehrteiligen Uploads betroffen sind:
    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-iecho $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i

    Wenn sie von diesem Problem betroffen sind und der zurückgegebene Wert hoch ist, müssen Sie möglicherweise eine Sicherung und Wiederherstellung durchführen.

Bereinigen von S3-Protokollen

Wenn Sie einen S3-kompatiblen Speicheranbieter verwenden, führen Sie die folgenden Schritte aus, um Ihre Protokolle zu bereinigen:

  1. Rufen Sie den Schlüssel für den Speicherzugriff ab.
  2. Suchen Sie die großen Elemente:
    export PATH=/usr/local/bin:$PATH
    
    kubectl -n rook-ceph get secrets ceph-object-store-secret -o yaml
     
     base64 decode the OBJECT_STORAGE_ACCESSKEY and OBJECT_STORAGE_SECRETKEY and OBJECT_STORAGE_EXTERNAL_HOST
    
    run: aws configureexport PATH=/usr/local/bin:$PATH
    
    kubectl -n rook-ceph get secrets ceph-object-store-secret -o yaml
     
     base64 decode the OBJECT_STORAGE_ACCESSKEY and OBJECT_STORAGE_SECRETKEY and OBJECT_STORAGE_EXTERNAL_HOST
    
    run: aws configure
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://<bucket name>
    
    So for sf-logs
    
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs
    
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --recursive --human-readable --sumarizeaws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://<bucket name>
    
    So for sf-logs
    
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs
    
    aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --recursive --human-readable --sumarize
    
    
  3. Löschen Sie sf-logs. Weitere Informationen finden Sie in der AWS-Dokumentation.
    aws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
    
    So craft an include and exclude command to help with this. use --dryrun firstaws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
    
    So craft an include and exclude command to help with this. use --dryrun first
  4. Löschen Sie train-data.

War diese Seite hilfreich?

Hilfe erhalten
RPA lernen – Automatisierungskurse
UiPath Community-Forum
Uipath Logo White
Vertrauen und Sicherheit
© 2005–2024 UiPath. Alle Rechte vorbehalten