cron ジョブによって数百のジョブがトリガーされ、ノードに高い負荷がかかる

同時実行ポリシーが [禁止] に設定されていない cron ジョブによって、ノードのメンテナンス中に数百個のジョブが同時にトリガーされ、高負荷が発生する、Automation Suite の既知の問題があります。

説明

2023.10.6、2023.4.9、2022.10.14 より前のバージョンでは、Automation Suite の一部の cron ジョブで [同時実行ポリシー] が [禁止] に設定されていませんでした。 ノード メンテナンス イベント中に、この問題によって数百の cron ジョブが同時にトリガーされ、ノードの負荷が高くなる可能性があります。 この問題の解決方法については、解決策 1 をご覧ください。

また、この問題により、Cilium エラー Key allocation attempt failed attempt=0 error="no more available IDs in configured space"が原因でポッドのスケジュール設定が失敗する可能性もあります。 この問題を解決する方法については、解決策 2 をご覧ください。

解決策 1

多数のインスタンスをトリガーしている cron ジョブを特定し、それらの cron ジョブを削除します。

CRONJOB_NAME="<cronjob-name>"
NAMESPACE="<namespace>"

# Delete all jobs associated with the CronJob
kubectl get jobs -n "$NAMESPACE" | grep "$CRONJOB_NAME" | awk '{print $1}' | xargs -I{} kubectl delete job -n "$NAMESPACE" {}

解決策 2

ポッドのスケジュール設定の失敗を確認するには、 コマンド kubectl get ciliumid | wc -lを実行します。

コマンドで返される ID が 10,000 を超える場合は、未使用の Cilium ID をクリーンアップして Cilium のデプロイを再実行する必要があります。

# Step 1: Get all CiliumIDs
ALL_CILIUMIDS=$(kubectl get ciliumid --no-headers -o custom-columns=":metadata.name")

# Step 2: Get active pod UIDs 
ACTIVE_POD_UIDS=$(kubectl get pods -A -o jsonpath='{.items[*].metadata.uid}') 

# Step 3: Compare and delete stale CiliumIDs 
for CID in $ALL_CILIUMIDS; do
 if [[ ! "$ACTIVE_POD_UIDS" =~ "$CID" ]]; then
  echo "Deleting stale CiliumID: $CID"
  kubectl delete ciliumid "$CID"
 fi
done

# Step 4: Restart cilium operator and daemonset
kubectl rollout restart deployment/cilium-operator -n kube-system
kubectl rollout restart daemonset/cilium -n kube-system