Redis プローブの障害

Linux の Automation Suite における、シャードの制限を含む Redis Enterprise プローブの障害に対する解決策

説明

Redis プローブの障害は、次のシナリオで発生する可能性があります。

Redis ノード ID ファイルが見つからない

ノード ID ファイルが存在しない場合、Redis プローブは失敗することがあります。これは、ポッドがまだブートストラップされていない場合に発生する可能性があります。

この問題を自動的に修正するリカバリー ジョブがあります。このジョブの実行時には、以下の手順を実行しないでください。

Redis Enterprise クラスターが半数以上のノードとの接続を失うと (ノードのエラーまたはネットワーク分断により)、クラスターはクライアント接続への応答を停止します。ポッドも、クラスターへの再参加に失敗します。

Redis Enterprise シャードの制限を超えた

Redis Enterprise では、ライセンスクォータを超える複数のシャードが作成される場合があります。これにより、ドミノ効果が発生し、service-riggerredis-cluster-dbに必要な Kubernetes サービスを作成できず、Redis に依存するすべてのサービスが失敗します。

解決策

1. 次のコマンドを使用して、Argo Sync を無効化し、Redis データベースと Redis クラスター リソースを削除し、Argo Sync を再度有効にしてリカバリ ジョブを開始します。

   kubectl -n argocd patch application redis-cluster --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":false}]'
   kubectl -n argocd patch application redis-operator --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":false}]'
   kubectl delete redb -n redis-system redis-cluster-db --force --grace-period=0 &
   kubectl delete rec -n redis-system redis-cluster --force --grace-period=0 &
   kubectl patch redb -n redis-system redis-cluster-db --type=json -p '[{"op":"remove","path":"/metadata/finalizers","value":"finalizer.redisenterprisedatabases.app.redislabs.com"}]'
   kubectl patch rec redis-cluster -n redis-system --type=json -p '[{"op":"remove","path":"/metadata/finalizers","value":"redbfinalizer.redisenterpriseclusters.app.redislabs.com"}]'
   kubectl -n redis-system get pods | grep services-rigger | awk '{print $1}' | xargs kubectl -n redis-system delete pod --force
   kubectl -n redis-system get pods | grep -E "redis-cluster-[0-2]" | awk '{print $1}' | xargs kubectl -n redis-system delete pod --force
   kubectl -n argocd patch application redis-cluster --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":true}]'
   kubectl -n argocd patch application redis-operator --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":true}]'
   kubectl -n redis-system create job --from=cronjob/redis-cluster-recovery-job cronjob-manual-run
   

2. それでもエラーが解決しない場合は、Kubernetes ノード間で時刻がずれているかどうかを確認してください。いずれかのノードが数秒進んでいるか遅れている場合、そのノードでは Redis ポッドの実行に失敗します。この問題を修正するには、すべてのノードでクロックが同期されていることを確認する必要があります。