Trabalhos Cron disparando centenas de trabalhos causando alta carga nos nós

Description

Antes de 2023.10.6, 2023.4.9 e 2022.10.14, alguns trabalhos cron do Automation Suite não definiam a Política de concorrência como Proibir. Durante os eventos de manutenção do nó, esse problema pode disparar centenas de trabalhos cron ao mesmo tempo, levando a uma carga alta no nó. Para saber como resolver esse problema, consulte a Solução 1.

O problema também pode causar falhas no agendamento dos pods devido a um erro do Cilium: Key allocation attempt failed attempt=0 error="no more available IDs in configured space". Para saber como resolver esse problema, consulte a Solução 2.

Solução 1

Identifique quais trabalhos cron estão disparando o alto número de instâncias e exclua esses trabalhos.

CRONJOB_NAME="<cronjob-name>"
NAMESPACE="<namespace>"

# Delete all jobs associated with the CronJob
kubectl get jobs -n "$NAMESPACE" | grep "$CRONJOB_NAME" | awk '{print $1}' | xargs -I{} kubectl delete job -n "$NAMESPACE" {}

Solução 2

Você pode verificar as falhas no agendamento de pods executando esse comando: kubectl get ciliumid | wc -l.

Se o comando retornar mais de 10000 IDs, você precisa limpar os IDs do Cilium não utilizados e reiniciar as implantações do Cilium.

# Step 1: Get all CiliumIDs
ALL_CILIUMIDS=$(kubectl get ciliumid --no-headers -o custom-columns=":metadata.name")

# Step 2: Get active pod UIDs 
ACTIVE_POD_UIDS=$(kubectl get pods -A -o jsonpath='{.items[*].metadata.uid}') 

# Step 3: Compare and delete stale CiliumIDs 
for CID in $ALL_CILIUMIDS; do
 if [[ ! "$ACTIVE_POD_UIDS" =~ "$CID" ]]; then
  echo "Deleting stale CiliumID: $CID"
  kubectl delete ciliumid "$CID"
 fi
done

# Step 4: Restart cilium operator and daemonset
kubectl rollout restart deployment/cilium-operator -n kube-system
kubectl rollout restart daemonset/cilium -n kube-system