Tâches Cron déclenchant des centaines de tâches provoquant une charge élevée sur les nœuds

Description

Avant les versions 2023.10.6, 2023.4.9 et 2022.10.14, certaines tâches Cron Automation Suite ne définissaient pas la Politique de simultanéité (Concurrence Policy) sur Interdire (Forbid). Lors des événements de maintenance du nœud, ce problème peut déclencher des centaines de tâches CRON en même temps, ce qui entraîne une charge élevée sur le nœud. Pour savoir comment résoudre ce problème, consultez la section Solution 1.

Le problème peut également entraîner des échecs dans la planification des pods en raison d’une erreur Cilium : Key allocation attempt failed attempt=0 error="no more available IDs in configured space". Pour savoir comment résoudre ce problème, consultez la section Solution 2.

Solution 1

Identifiez les tâches Cron qui déclenchent le nombre élevé d'instances et supprimez ces tâches Cron.

CRONJOB_NAME="<cronjob-name>"
NAMESPACE="<namespace>"

# Delete all jobs associated with the CronJob
kubectl get jobs -n "$NAMESPACE" | grep "$CRONJOB_NAME" | awk '{print $1}' | xargs -I{} kubectl delete job -n "$NAMESPACE" {}

Solution 2

Vous pouvez vérifier les échecs de la planification des pods en exécutant cette commande : kubectl get ciliumid | wc -l.

Si la commande renvoie plus de 10 000 ID, vous devez nettoyer les ID Cilium inutilisés et redémarrer les déploiements Cilium.

# Step 1: Get all CiliumIDs
ALL_CILIUMIDS=$(kubectl get ciliumid --no-headers -o custom-columns=":metadata.name")

# Step 2: Get active pod UIDs 
ACTIVE_POD_UIDS=$(kubectl get pods -A -o jsonpath='{.items[*].metadata.uid}') 

# Step 3: Compare and delete stale CiliumIDs 
for CID in $ALL_CILIUMIDS; do
 if [[ ! "$ACTIVE_POD_UIDS" =~ "$CID" ]]; then
  echo "Deleting stale CiliumID: $CID"
  kubectl delete ciliumid "$CID"
 fi
done

# Step 4: Restart cilium operator and daemonset
kubectl rollout restart deployment/cilium-operator -n kube-system
kubectl rollout restart daemonset/cilium -n kube-system