So werden Protokolle manuell bereinigt

Bereinigen von Ceph-Protokollen

Verschieben von Ceph aus dem schreibgeschützten Modus

Wenn Sie das AI Center installiert haben und den Ceph-Speicher verwenden, führen Sie die folgenden Schritte aus, um Ceph aus dem schreibgeschützten Modus zu entfernen:

1. Überprüfen Sie, ob Ceph die volle Kapazität ausgeschöpft hat:

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status

   Wenn Ceph ausgelastet ist, müssen Sie den schreibgeschützten Schwellenwert anpassen, um die rgw-Gateways zu starten.
2. Verringern Sie die ML-Fähigkeiten:

   kubectl -n uipath scale deployment <skill> --replicas=0

3. Versetzen Sie den Cluster in den Schreibmodus:

   ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
   incrementall>

4. Führen Sie die automatische Speicherbereinigung aus:

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all

5. Wenn der Speicher knapp wird, führen Sie die folgenden Befehle aus:

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

   Zu diesem Zeitpunkt sollte der Speicherplatz reduziert und der Cluster intakt sein.

Deaktivieren von Streaming-Protokollen

Um sicherzustellen, dass das System in einem guten Zustand ist, deaktivieren Sie die Streamingprotokolle, indem Sie die folgenden Schritte ausführen.

1. Deaktivieren Sie die automatische Synchronisierung in UiPath und im AI Center.
2. Deaktivieren Sie Streaming-Protokolle für das AI Center.
3. Wenn Sie über ML-Fähigkeiten verfügen, die bereits bereitgestellt wurden, führen Sie die folgenden Befehle aus:

   kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false

4. Finden Sie heraus, welche Buckets den meisten Speicherplatz verbrauchen:

   kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'

5. Installieren Sie s3cmd, um sich auf die Bereinigung von sf-logs vorzubereiten:

   pip3 install awscli s3cmd
   export PATH=/usr/local/bin:$PATH

6. Bereinigen Sie die sf-logs-Protokolle. Weitere Informationen finden Sie unter So löschen Sie alte Protokolle, die im sf-logs-Paket gespeichert sind.
7. Schließen Sie den Bereinigungsvorgang ab:

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all

8. Wenn die vorherigen Schritte das Problem nicht lösen, bereinigen Sie die AI Center-Daten.
9. Überprüfen Sie, ob der Speicher reduziert wurde:

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

10. Sobald der Speicher nicht mehr voll ist, reduzieren Sie die Abgleicheinstellung:

    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95

11. Prüfen Sie, ob die ML-Fähigkeiten vom Problem des mehrteiligen Uploads betroffen sind:

    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i

    Wenn sie von diesem Problem betroffen sind und der zurückgegebene Wert hoch ist, müssen Sie möglicherweise eine Sicherung und Wiederherstellung durchführen.

Bereinigen von S3-Protokollen

Wenn Sie einen S3-kompatiblen Speicheranbieter verwenden, führen Sie die folgenden Schritte aus, um Ihre Protokolle zu bereinigen:

1. Rufen Sie den Schlüssel für den Speicherzugriff ab.
2. Suchen Sie die großen Elemente:

   export PATH=/usr/local/bin:$PATH
   
   kubectl -n rook-ceph get secrets ceph-object-store-secret -o yaml
    
    base64 decode the OBJECT_STORAGE_ACCESSKEY and OBJECT_STORAGE_SECRETKEY and OBJECT_STORAGE_EXTERNAL_HOST
   
   run: aws configure

   aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://<bucket name>
   
   So for sf-logs
   
   aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs
   
   aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --recursive --human-readable --sumarize

3. Löschen Sie sf-logs. Weitere Informationen finden Sie in der AWS-Dokumentation.

   aws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
   
   So craft an include and exclude command to help with this. use --dryrun first

4. Löschen Sie train-data.