Comment nettoyer manuellement les journaux

Nettoyage des journaux Ceph

Sortie de Ceph du mode lecture seule

Si vous avez installé AI Center et que vous utilisez le stockage Ceph, suivez les étapes suivantes pour sortir Ceph du mode lecture seule :

1. Vérifiez si Ceph est à pleine capacité :

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   

   Si Ceph est à pleine capacité, vous devez ajuster le seuil en lecture seule pour démarrer les passerelles rgw.

2. Réduire les compétences ML :

   kubectl -n uipath scale deployment <skill> --replicas=0
   

3. Passez le cluster en mode maintenance :

   ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up
   incrementall>
   

4. Exécuter la collecte de données indésirables :

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
   

5. Lorsque le stockage tombe en panne, exécutez les commandes suivantes :

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df
   

   À ce stade, le stockage doit être inférieur et le cluster doit être sain.

Désactiver les journaux de diffusion

Pour vous assurer que tout est en bon état, désactivez les journaux de diffusion en procédant comme suit.

1. Désactivez la synchronisation automatique sur UiPath et AI Center.

2. Désactivez les journaux de diffusion pour AI Center.

3. Si vous avez des compétences ML qui ont déjà été déployées, exécutez les commandes suivantes :

   kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false
   

4. Découvrez quels compartiments utilisent le plus d’espace :

   kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'
   

5. Installez s3cmd pour préparer le nettoyage de sf-logs :

   pip3 install awscli s3cmd
   export PATH=/usr/local/bin:$PATH
   

6. Clean up the sf-logs logs. For details, see How to clean up old logs stored in the sf-logs bundle.

7. Terminez l’opération de nettoyage :

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all
   

8. Si les étapes précédentes ne résolvent pas le problème, nettoyez les données AI Center.

9. Vérifiez si le stockage a été réduit :

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df
   

10. Une fois que le stockage n’est plus plein, réduisez le paramètre de renvoi :

    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95
    

11. Vérifiez si les compétences ML sont affectées par le problème de téléchargement multipart :

    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i
    

    S’ils sont affectés par ce problème et que la valeur renvoyée est élevée, vous devrez peut-être effectuer une sauvegarde et une restauration.

Nettoyage des journaux s3

Si vous utilisez un fournisseur de stockage compatible s3, suivez ces étapes pour nettoyer vos journaux :

1. Obtenez la clé d’accès au stockage.

2. Recherchez les éléments volumineux :

   export PATH=/usr/local/bin:$PATH
   kubectl  get secret -n logging  logging-secrets -o json |jq -r .data
   
   # Then base64 decode the "S3_ACCESSKEY" and "S3_SECRETKEY"
   

3. Configurez la CLI AWS à l'aide des informations d'identification codées à l'étape précédente. Pour configurer AWS, exécutez la commande suivante :

   aws configure
   
   --
   Once aws cli is configured, you can run below commands to check content of sf logs
   

4. Supprimer sf-logs. Pour plus de détails, consultez la documentation AWS.

   aws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
   
   # You can craft an include and exclude command to help with this. use --dryrun first
   

5. Supprimer train-data.

Pour nettoyer automatiquement les journaux, vous pouvez également configurer une politique de nettoyage sur votre magasin d’objets externe.

Remarque :

La politique CORS et de rétention des compartiments est susceptible d'être modifiée en fonction du fournisseur ObjectStore. Reportez-vous à la documentation de votre fournisseur ObjectStore pour plus d'informations.

Nous recommandons de conserver une période de 15 jours pour les journaux générés par la plate-forme Automation Suite. Ces objets journaux se trouvent dans le dossier automation-suite-logs du compartiment de la plate-forme.

L'exemple suivant montre les étapes nécessaires pour AWS :

1. Créez policy.json avec le contenu suivant :

   {
       "Rules": [
           {
               "Filter": {
                   "Prefix": "automation-suite-logs/"
               },
               "Status": "Enabled",
               "Expiration": {
                   "Days": 15
               },
               "ID": "DeleteOldLogs"
           }
       ]
   }
   

2. Pour appliquer policy.json au compartiment, exécutez la commande suivante :

   aws s3api put-bucket-lifecycle-configuration --bucket BUCKET_NAME --lifecycle-configuration file://policy.json