RabbitMQ Pod 卡在 CrashLoopBackOff 中

描述

此问题会导致 RabbitMQ Pod 卡在 CrashLoopBackOff 中，故障 Pod 的日志中显示 wal_checksum_validation_failure 是一个原因。

要获取所有 Pod 的列表，请运行以下命令：

kubectl -n rabbitmq get pods

要获取 Pod 的日志，请运行以下命令：

kubectl -n rabbitmq logs <CrashLoopBackOff-Pod-Name>

解决方案

要解决此问题，请执行以下步骤：

1. 查找 RabbitMQ 副本的数量：

   rabbitmqReplicas=$(kubectl -n rabbitmq get rabbitmqcluster rabbitmq -o json | jq -r '.spec.replicas')
   

2. 缩减 RabbitMQ 副本：

   kubectl -n rabbitmq patch rabbitmqcluster rabbitmq -p "{\"spec\":{\"replicas\": 0}}" --type=merge
   

   kubectl -n rabbitmq scale sts rabbitmq-server --replicas=0
   

3. 等待所有 RabbitMQ Pod 终止：

   kubectl -n rabbitmq get pod
   

4. 检查待处理的卷快照：

   kubectl get volumesnapshot -n rabbitmq  <crashloopbackupoff_pod_pvc_name> | grep false
   

5. 如果存在任何待处理的卷快照，请将其删除：

   kubectl delete volumesnapshot -n rabbitmq <pending_volume_snapshot_name>
   

6. 查找并删除卡在 CrashLoopBackOff 状态的 RabbitMQ Pod 的 PVC：

   kubectl -n rabbitmq get pvc
   

   kubectl -n rabbitmq delete pvc <crashloopbackupoff_pod_pvc_name>
   

7. 扩展 RabbitMQ 副本：

   kubectl -n rabbitmq patch rabbitmqcluster rabbitmq -p "{\"spec\":{\"replicas\": $rabbitmqReplicas}}" --type=merge
   

8. 检查所有 RabbitMQ Pod 是否运行状况良好：

   kubectl -n rabbitmq get pod