Prometheus en état CrashloopBackoff avec erreur de mémoire insuffisante (OOM)

Description

Dans certaines situations, les pods Prometheus peuvent ne pas démarrer en raison d’une erreur de mémoire insuffisante (OOM). Pour identifier les pods Prometheus concernés, recherchez le dernier état de terminaison spécifiquement associé aux erreurs OOM.

Solution

Pour résoudre le problème, procédez comme suit :

1. Mettez à jour argocd configmap pour ignorer service-monitors en mettant à jour resource.exclusions.

   1. Créez une sauvegarde de l’ancienne configmap :

      kubectl get  configmap argocd-cm -n argocd -o yaml >> argocd-cm-old.yaml
      

   2. Modifier argocd-cm :

      kubectl edit configmap argocd-cm -n argocd
      

   3. Ajoutez une nouvelle entrée de données pour resource.exclusions :

      data:
        resource.exclusions: |
          - apiGroups:
              - monitoring.coreos.com
            kinds:
              - ServiceMonitor
            clusters:
              - "*"
      

2. Supprimez le moniteur de service envoy-stats-monitorsous l’espace de nomsistio-system :

   kubectl -n istio-system  delete servicemonitor  envoy-stats-monitor
   

3. Forcez la suppression des pods Prometheus :

   kubectl delete pod  prometheus-rancher-monitoring-prometheus-0  -n cattle-monitoring-system
   kubectl delete pod  prometheus-rancher-monitoring-prometheus-1  -n cattle-monitoring-system
   

4. Attendez que les pods Prometheus sous cattle-monitoring-system aient redémarré avec succès.

Important :

Deleting the the wal and chunks_head directories results in a loss of all monitoring data gathered during the days these files were accumulated. However, once Prometheus is up and running again, any new alerts and metrics data will be accessible.