Trabajos cron que desencadenan cientos de trabajos que causan una alta carga en los nodos

Descripción

Antes de 2023.10.6, 2023.4.9 y 2022.10.14, algunos trabajos cron de Automation Suite no establecían la Política de concurrencia en Prohibir. Durante los eventos de mantenimiento de nodos, este problema puede desencadenar cientos de trabajos cron al mismo tiempo, lo que provoca una alta carga en el nodo. Para saber cómo resolver este problema, consulta la Solución 1.

El problema también puede causar fallos en la programación de pods debido a un error de Cilium: Key allocation attempt failed attempt=0 error="no more available IDs in configured space". Para saber cómo resolver este problema, consulta la Solución 2.

Solución 1

Identifica qué trabajos cron están desencadenando el elevado número de instancias y elimina esos trabajos cron.

CRONJOB_NAME="<cronjob-name>"
NAMESPACE="<namespace>"

# Delete all jobs associated with the CronJob
kubectl get jobs -n "$NAMESPACE" | grep "$CRONJOB_NAME" | awk '{print $1}' | xargs -I{} kubectl delete job -n "$NAMESPACE" {}

Solución 2

Puedes verificar los fallos en la programación de pods ejecutando este comando: kubectl get ciliumid | wc -l.

Si el comando devuelve más de 10 000 ID, debes limpiar los ID de Cilium no utilizados y reiniciar las implementaciones de Cilium.

# Step 1: Get all CiliumIDs
ALL_CILIUMIDS=$(kubectl get ciliumid --no-headers -o custom-columns=":metadata.name")

# Step 2: Get active pod UIDs 
ACTIVE_POD_UIDS=$(kubectl get pods -A -o jsonpath='{.items[*].metadata.uid}') 

# Step 3: Compare and delete stale CiliumIDs 
for CID in $ALL_CILIUMIDS; do
 if [[ ! "$ACTIVE_POD_UIDS" =~ "$CID" ]]; then
  echo "Deleting stale CiliumID: $CID"
  kubectl delete ciliumid "$CID"
 fi
done

# Step 4: Restart cilium operator and daemonset
kubectl rollout restart deployment/cilium-operator -n kube-system
kubectl rollout restart daemonset/cilium -n kube-system