Prometheus が CrashloopBackoff ステートにあり、メモリ不足 (OOM) エラーを伴う

説明

特定の状況下では、メモリ不足 (OOM) エラーが原因で Prometheus ポッドの起動に失敗することがあります。影響を受ける Prometheus ポッドを特定するには、特に OOM エラーに関連する最後の終了ステートを検索します。

解決策

この問題を修正するには、次の手順に従います。

1. resource.exclusions を更新し、service-monitors を無視するように argocd configmap を更新します。

   1. 古い configmap のバックアップを作成します。

      kubectl get  configmap argocd-cm -n argocd -o yaml >> argocd-cm-old.yaml
      

   2. argocd-cm を編集します。

      kubectl edit configmap argocd-cm -n argocd
      

   3. resource.exclusions に新しいデータ エントリを追加します。

      data:
        resource.exclusions: |
          - apiGroups:
              - monitoring.coreos.com
            kinds:
              - ServiceMonitor
            clusters:
              - "*"
      

2. istio-system 名前空間で envoy-stats-monitor サービス モニターを削除します。

   kubectl -n istio-system  delete servicemonitor  envoy-stats-monitor
   

3. Prometheus ポッドを強制的に削除します。

   kubectl delete pod  prometheus-rancher-monitoring-prometheus-0  -n cattle-monitoring-system
   kubectl delete pod  prometheus-rancher-monitoring-prometheus-1  -n cattle-monitoring-system
   

4. Prometheus ポッドが cattle-monitoring-system で正常に再起動するまで待ちます。

重要:

Deleting the the wal and chunks_head directories results in a loss of all monitoring data gathered during the days these files were accumulated. However, once Prometheus is up and running again, any new alerts and metrics data will be accessible.