Comment nettoyer manuellement les journaux

Nettoyage des journaux Ceph

Sortie de Ceph du mode lecture seule

Si vous avez installé AI Center et que vous utilisez le stockage Ceph, suivez les étapes suivantes pour sortir Ceph du mode lecture seule :

1. Vérifiez si Ceph est à pleine capacité :

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status

   Si Ceph est à pleine capacité, vous devez ajuster le seuil en lecture seule pour démarrer les passerelles rgw.
2. Réduire les compétences ML :

   kubectl -n uipath scale deployment <skill> --replicas=0

3. Passez le cluster en mode maintenance :

   ceph osd set-full-ratio 0.95 <95 is the default value so you could increase to 96 and go up 
   incrementall>

4. Exécuter la collecte de données indésirables :

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all

5. Lorsque le stockage tombe en panne, exécutez les commandes suivantes :

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph status
   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

   À ce stade, le stockage doit être inférieur et le cluster doit être sain.

Désactiver les journaux de diffusion

Pour vous assurer que tout est en bon état, désactivez les journaux de diffusion en procédant comme suit.

1. Désactivez la synchronisation automatique sur UiPath et AI Center.
2. Désactivez les journaux de diffusion pour AI Center.
3. Si vous avez des compétences ML qui ont déjà été déployées, exécutez les commandes suivantes :

   kubectl set env deployment [REPLICASET_NAME] LOGS_STREAMING_ENABLED=false

4. Découvrez quels compartiments utilisent le plus d’espace :

   kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket stats | jq -r '["BucketName","NoOfObjects","SizeInKB"], ["--------------------","------","------"], (.[] | [.bucket, .usage."rgw.main"."num_objects", .usage."rgw.main".size_kb_actual]) | @tsv' | column -ts $'\t'

5. Installez s3cmd pour préparer le nettoyage de sf-logs :

   pip3 install awscli s3cmd
   export PATH=/usr/local/bin:$PATH

6. Nettoyez les journaux sf-logs. Pour plus de détails, consultez la section Comment nettoyer les anciens journaux stockés dans le bundle sf-logs.
7. Terminez l’opération de nettoyage :

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- radosgw-admin gc process --include-all

8. Si les étapes précédentes ne résolvent pas le problème, nettoyez les données AI Center.
9. Vérifiez si le stockage a été réduit :

   kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph df

10. Une fois que le stockage n’est plus plein, réduisez le paramètre de renvoi :

    kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- ceph osd set-full-ratio 0.95

11. Vérifiez si les compétences ML sont affectées par le problème de téléchargement multipart :

    echo $(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- radosgw-admin bucket list --max-entries 10000000 --bucket train-data | jq '[.[] | select (.name | contains("_multipart")) | .meta.size] | add') | numfmt --to=iec-i

    S’ils sont affectés par ce problème et que la valeur renvoyée est élevée, vous devrez peut-être effectuer une sauvegarde et une restauration.

Nettoyage des journaux s3

Si vous utilisez un fournisseur de stockage compatible s3, suivez ces étapes pour nettoyer vos journaux :

1. Obtenez la clé d’accès au stockage.
2. Recherchez les éléments volumineux :

   export PATH=/usr/local/bin:$PATH
   
   kubectl -n rook-ceph get secrets ceph-object-store-secret -o yaml
    
    base64 decode the OBJECT_STORAGE_ACCESSKEY and OBJECT_STORAGE_SECRETKEY and OBJECT_STORAGE_EXTERNAL_HOST
   
   run: aws configure

   aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://<bucket name>
   
   So for sf-logs
   
   aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs
   
   aws s3 ls --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --recursive --human-readable --sumarize

3. Supprimer sf-logs. Pour plus de détails, consultez la documentation AWS.

   aws s3 rm --endpoint-url <AWS-ENDPOINT> --no-verify-ssl --recursive s3://sf-logs --include="2022* --exclude="2022_12_8"
   
   So craft an include and exclude command to help with this. use --dryrun first

4. Supprimer train-data.