Redis 探测器失败

Redis 企业版探测器失败的解决方案，包括 Linux 版 Automation Suite 中的分片限制。

描述

在以下情况下，可能会发生 Redis 探测器失败。

缺少 Redis 节点 ID 文件

如果节点 ID 文件不存在，则 Redis 探测器可能会失败。如果 Pod 尚未启动，则可能会发生这种情况。

有一个恢复作业可以自动修复此问题，并且不应在作业运行时执行以下步骤。

当 Redis 企业版集群与其半数以上的节点失去联系时（由于节点故障或网络拆分），集群将停止响应客户端连接。Pod 也无法重新加入集群。

超出 Redis 企业版分片限制

Redis 企业版可以创建多个超过许可证配额的分片。这会产生多米诺骨牌效果，即service-rigger无法为redis-cluster-db创建所需的 Kubernetes 服务，从而导致所有依赖于 Redis 的服务都发生故障。

解决方案

1. 使用以下命令禁用 argo 同步，删除 Redis 数据库和 Redis 集群资源，重新启用 argo 同步并启动恢复作业：

   kubectl -n argocd patch application redis-cluster --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":false}]'
   kubectl -n argocd patch application redis-operator --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":false}]'
   kubectl delete redb -n redis-system redis-cluster-db --force --grace-period=0 &
   kubectl delete rec -n redis-system redis-cluster --force --grace-period=0 &
   kubectl patch redb -n redis-system redis-cluster-db --type=json -p '[{"op":"remove","path":"/metadata/finalizers","value":"finalizer.redisenterprisedatabases.app.redislabs.com"}]'
   kubectl patch rec redis-cluster -n redis-system --type=json -p '[{"op":"remove","path":"/metadata/finalizers","value":"redbfinalizer.redisenterpriseclusters.app.redislabs.com"}]'
   kubectl -n redis-system get pods | grep services-rigger | awk '{print $1}' | xargs kubectl -n redis-system delete pod --force
   kubectl -n redis-system get pods | grep -E "redis-cluster-[0-2]" | awk '{print $1}' | xargs kubectl -n redis-system delete pod --force
   kubectl -n argocd patch application redis-cluster --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":true}]'
   kubectl -n argocd patch application redis-operator --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":true}]'
   kubectl -n redis-system create job --from=cronjob/redis-cluster-recovery-job cronjob-manual-run
   

2. 如果错误仍然存在，请检查 Kubernetes 节点之间是否存在时钟偏差。 即使任何节点提前或滞后了几秒钟，Redis Pod 都将无法在其上运行。 要修复此问题，您必须确保所有节点的时钟同步。