Prometheus en estado CrashloopBackoff con error de falta de memoria (OOM)

Descripción

En ciertas situaciones, los pods de Prometheus pueden no iniciarse debido a un error de falta de memoria (OOM). Para identificar los pods de Prometheus afectados, busca el último estado de terminación que se refiera específicamente a los errores de OOM.

Solución

Para solucionar el problema, realiza los siguientes pasos:

1. Actualiza argocd configmap para ignorar service-monitors actualizando resource.exclusions.

   1. Crea una copia de seguridad de la antigua configmap:

      kubectl get  configmap argocd-cm -n argocd -o yaml >> argocd-cm-old.yaml
      

   2. Edita argocd-cm:

      kubectl edit configmap argocd-cm -n argocd
      

   3. Añade una nueva entrada de datos para resource.exclusions:

      data:
        resource.exclusions: |
          - apiGroups:
              - monitoring.coreos.com
            kinds:
              - ServiceMonitor
            clusters:
              - "*"
      

2. Elimina el envoy-stats-monitormonitor de servicio en elistio-system espacio de nombres:

   kubectl -n istio-system  delete servicemonitor  envoy-stats-monitor
   

3. Elimina a la fuerza los pods de Prometheus:

   kubectl delete pod  prometheus-rancher-monitoring-prometheus-0  -n cattle-monitoring-system
   kubectl delete pod  prometheus-rancher-monitoring-prometheus-1  -n cattle-monitoring-system
   

4. Espera a que los pods de Prometheus bajo cattle-monitoring-system se reinicien correctamente.

Importante:

Deleting the the wal and chunks_head directories results in a loss of all monitoring data gathered during the days these files were accumulated. However, once Prometheus is up and running again, any new alerts and metrics data will be accessible.