So werden Protokolle manuell bereinigt

Bereinigen von Ceph-Protokollen

Verschieben von Ceph aus dem schreibgeschützten Modus

Wenn Sie das AI Center installiert haben und den Ceph-Speicher verwenden, führen Sie die folgenden Schritte aus, um Ceph aus dem schreibgeschützten Modus zu entfernen:

1. Überprüfen Sie, ob Ceph die volle Kapazität ausgeschöpft hat:

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status

   Wenn Ceph ausgelastet ist, müssen Sie den schreibgeschützten Schwellenwert anpassen, um die rgw-Gateways zu starten.
2. Verringern Sie die ML-Fähigkeiten:

   kubectl -n uipath scale deployment <skill> --replicas=0

3. Versetzen Sie den Cluster in den Schreibmodus:

   ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
   incrementall>

4. Führen Sie die automatische Speicherbereinigung aus:

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all

5. Wenn der Speicher knapp wird, führen Sie die folgenden Befehle aus:

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

   Zu diesem Zeitpunkt sollte der Speicherplatz reduziert und der Cluster intakt sein.

Deaktivieren von Streaming-Protokollen

Um sicherzustellen, dass das System in einem guten Zustand ist, deaktivieren Sie die Streamingprotokolle, indem Sie die folgenden Schritte ausführen.

1. Deaktivieren Sie die automatische Synchronisierung in UiPath und im AI Center.
2. Deaktivieren Sie Streaming-Protokolle für das AI Center.
3. Wenn Sie über ML-Fähigkeiten verfügen, die bereits bereitgestellt wurden, führen Sie die folgenden Befehle aus:

   kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false

4. Finden Sie heraus, welche Buckets den meisten Speicherplatz verbrauchen:

   kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'

5. Installieren Sie s3cmd, um sich auf die Bereinigung von sf-logs vorzubereiten:

   pip3 install awscli s3cmd
   export PATH=/usr/local/bin:$PATH

6. Bereinigen Sie die sf-logs-Protokolle. Weitere Informationen finden Sie unter So löschen Sie alte Protokolle, die im sf-logs-Paket gespeichert sind.
7. Schließen Sie den Bereinigungsvorgang ab:

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all

8. Wenn die vorherigen Schritte das Problem nicht lösen, bereinigen Sie die AI Center-Daten.
9. Überprüfen Sie, ob der Speicher reduziert wurde:

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

10. Sobald der Speicher nicht mehr voll ist, reduzieren Sie die Abgleicheinstellung:

    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95

11. Prüfen Sie, ob die ML-Fähigkeiten vom Problem des mehrteiligen Uploads betroffen sind:

    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i

    Wenn sie von diesem Problem betroffen sind und der zurückgegebene Wert hoch ist, müssen Sie möglicherweise eine Sicherung und Wiederherstellung durchführen.

Bereinigen von S3-Protokollen

Wenn Sie einen S3-kompatiblen Speicheranbieter verwenden, führen Sie die folgenden Schritte aus, um Ihre Protokolle zu bereinigen:

1. Rufen Sie den Schlüssel für den Speicherzugriff ab.
2. Suchen Sie die großen Elemente:

   export PATH=/usr/local/bin:$PATH
   kubectl  get secret -n logging  logging-secrets -o json |jq -r .data
    
   # Then base64 decode the "S3_ACCESSKEY" and "S3_SECRETKEY"

3. Konfigurieren Sie die AWS CLI mithilfe der Anmeldeinformationen, die im vorherigen Schritt entschlüsselt wurden. Um AWS zu konfigurieren, führen Sie den folgenden Befehl aus:

   aws configure
   
   --
   Once aws cli is configured, you can run below commands to check content of sf logs

4. Löschen Sie sf-logs. Weitere Informationen finden Sie in der AWS-Dokumentation.

   aws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
   
   # You can craft an include and exclude command to help with this. use --dryrun first

5. Löschen Sie train-data.

Um Protokolle automatisch zu bereinigen, können Sie auch eine Bereinigungsrichtlinie in Ihrem externen Objektspeicher konfigurieren.

Hinweis:

CORS und die Richtlinie zur Bucket-Aufbewahrung können je nach ObjectStore-Anbieter geändert werden. Weitere Informationen finden Sie in der Dokumentation Ihres ObjectStore-Anbieters.

Wir empfehlen eine Aufbewahrung von 15 Tagen für die von der Automation Suite-Plattform generierten Protokolle. Diese Protokollobjekte befinden sich im Ordner automation-suite-logs des Plattform-Buckets.

Das folgende Beispiel zeigt die für AWS erforderlichen Schritte:

1. Erstellen Sie policy.json mit dem folgenden Inhalt:

   {
       "Rules": [
           {
               "Filter": {
                   "Prefix": "automation-suite-logs/"
               },
               "Status": "Enabled",
               "Expiration": {
                   "Days": 15
               },
               "ID": "DeleteOldLogs"
           }
       ]
   }

2. Um policy.json auf das Bucket anzuwenden, führen Sie den folgenden Befehl aus:

   aws s3api put-bucket-lifecycle-configuration --bucket BUCKET_NAME --lifecycle-configuration file://policy.json