Alertas de almacenamiento

kubernetes-system

KubernetesDiskPressure

Esta alerta indica que el uso de disco es muy elevado en el nodo Kubernetes.

Si se activa esta alerta, intenta ver qué pod está consumiendo más disco:

• Confirma si el nodo está bajo DiskPressure utilizando el siguiente comando:

  kubectl describe node <node-name>

  Identifique la condición DiskPressure en la salida.

• Comprueba el uso del espacio en disco en el nodo afectado:

  df -h

  Esto muestra el uso del disco en todos los sistemas de archivos montados. Identifique dónde está el alto uso.

• Si el disco está lleno y la limpieza es insuficiente, considera cambiar el tamaño del disco para el nodo (especialmente en entornos en la nube como AWS o GCP). Este proceso puede implicar la expansión de volúmenes, dependiendo de tu infraestructura.

KubernetesMemoryPressure

Esta alerta indica que el uso de memoria es muy alto en el nodo de Kubernetes.

Los nodos de Kubernetes con el tipo de incidente MemoryPressure se producen cuando un nodo del clúster de Kubernetes se está quedando sin memoria, lo que puede deberse a una pérdida de memoria en una aplicación. Este tipo de incidente requiere atención inmediata para evitar cualquier tiempo de inactividad y garantizar el correcto funcionamiento del clúster de Kubernetes.

Si se activa esta alerta, intenta identificar el pod en el nodo que está consumiendo más memoria, siguiendo estos pasos:

1. Recupera las estadísticas de CPU y memoria de los nodos:

   kubectl top node

2. Recupera los pods que se ejecutan en el nodo:

   kubectl get pods --all-namespaces -o wide --field-selector spec.nodeName=${NODE_NAME}

3. Comprueba el uso de memoria para los pods en un espacio de nombres utilizando:

   kubectl top pod --namespace <namespace>
   kubectl logs -f <pod-name> -n <ns>

Si puedes identificar cualquier pod con un uso elevado de memoria, comprueba los registros del pod y busca errores de pérdida de memoria.

Para solucionar el problema, aumenta la especificación de memoria para los nodos si es posible.

Si el problema persiste, genera el paquete de soporte y ponte en contacto con el soporte de UiPath®.

KubePersistentVolumeFillingUp

Si la gravedad de la alerta es advertencia: el espacio disponible es inferior al 30 % y es probable que se agote en cuatro días.

Si gravedad de la alerta es crucial: el espacio disponible es inferior al 10 %.

En cualquier servicio que se quede sin espacio, puede resultar difícil recuperar los datos, por lo que el tamaño de los volúmenes debe cambiarse antes de llegar al 0 % de espacio disponible.

Para obtener instrucciones, consulta Configurar el clúster.

Para alertas específicas de Prometheus, consulta Uso deAlmacenamiento de Prometheus para obtener más detalles e instrucciones.

KubePersistentVolumeErrors

PersistentVolume no puede aprovisionarse. Esto significa que no se iniciará ningún servicio que requiera el volumen. Compruebe si hay otros errores con Longhorn y/o el almacenamiento Ceph y póngase en contacto con el soporte de UiPath®.

node-exporter

NodeFilesystemSpaceFillingUp

El sistema de archivos en un nodo en particular se está llenando.

Si se activa esta alerta, considera los siguientes pasos:

• Confirma si el nodo está bajo DiskPressure utilizando el siguiente comando:

  kubectl describe node <node-name>

  Identifique la condición DiskPressure en la salida.

• Borra los registros y los archivos temporales. Comprueba si hay archivos de registro grandes en /var/log/ y límpialos, si es posible.

• Comprueba el uso del espacio en disco en el nodo afectado:

  df -h

  Esto muestra el uso del disco en todos los sistemas de archivos montados. Identifique dónde está el alto uso.

• Si el disco está lleno y la limpieza es insuficiente, considera cambiar el tamaño del disco para el nodo (especialmente en entornos en la nube como AWS o GCP). Este proceso puede implicar la expansión de volúmenes, dependiendo de tu infraestructura.

NodeFilesystemAlmostOutOfSpace

El sistema de archivos de un nodo concreto se está quedando sin espacio. Aprovisione más espacio añadiendo un disco o instalando discos no utilizados.

NodeFilesystemFilesFillingUp

El sistema de archivos de un nodo concreto se está quedando sin espacio. Aprovisione más espacio añadiendo un disco o instalando discos no utilizados.

NodeFilesystemAlmostOutOfFiles

El sistema de archivos de un nodo concreto se está quedando sin espacio. Aprovisione más espacio añadiendo un disco o instalando discos no utilizados.

NodeNetworkReceiveErrs

Estos errores indican que el controlador de red informa de un gran número de fallos. Esto puede deberse a fallos físicos del hardware o a una mala configuración de la red física. Este problema afecta al sistema operativo y no está controlado por la aplicación UiPath®.

La alerta se desencadena al supervisar el contador/proc/net/dev que proporciona el kernel de Linux.

Ponte en contacto con el administrador de tu red y el equipo que gestiona la infraestructura física.

NodeNetworkTransmitErrs

Estos errores indican que el controlador de red informa de un gran número de fallos. Esto puede deberse a fallos físicos del hardware o a una mala configuración de la red física. Este problema afecta al sistema operativo y no está controlado por la aplicación UiPath®.

La alerta se desencadena al supervisar el contador/proc/net/dev que proporciona el kernel de Linux.

Ponte en contacto con el administrador de tu red y el equipo que gestiona la infraestructura física.

ceph.rules, cluster-state-alertas.rules

CephClusterErrorState

Esta alerta indica que el clúster de almacenamiento Ceph ha estado en estado de error durante más de 10 minutos.

Esta alerta refleja que el trabajo rook-ceph-mgr ha estado en estado de error durante un tiempo inaceptable. Compruebe si hay otras alertas que puedan haberse activado antes de esta y solucione los problemas primero.

kubectl describe cephcluster -n rook-ceph

CephMonQuorumAtRisk

Esta alerta indica que el quórum del clúster de almacenamiento es bajo.

Varios monos trabajan juntos para proporcionar redundancia; esto es posible porque cada uno guarda una copia de los metadatos. El clúster se implementa con 3 mons y requiere que 2 o más estén en funcionamiento para tener quórum y para que se ejecuten las operaciones de almacenamiento. Si se pierde el quórum, el acceso a los datos está en riesgo.

Si se activa esta alerta, comprueba si algún OSD está en estado de terminación, si hay alguno, fuerza a eliminar esos pods y espera un tiempo a que el operador se reconcilie. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

CephMgrEstáAusente

Esta alerta indica que Ceph Manager ha desaparecido del descubrimiento de destino de Prometheus.

Si se activa esta alerta, comprueba y asegúrate de que el pod de Ceph Manager está en funcionamiento y en buen estado. Si el pod está en buen estado, comprueba los registros y comprueba si el pod está habilitado para emitir métricas de Prometheus.

NodoCephDown

Esta alerta indica que un nodo que ejecuta pods de Ceph está inactivo. Aunque las operaciones de almacenamiento siguen funcionando, ya que Ceph está diseñado para hacer frente a un fallo de nodo, se recomienda resolver el problema para minimizar el riesgo de que otro nodo se caiga y afecte a las funciones de almacenamiento.

Si se activa esta alerta, en el caso de un clúster multinodo, el pod debe programarse en otro nodo. Asegúrate de que los nuevos pods osd en el espacio de nombres rook-ceph se están ejecutando y en buen estado en el nuevo nodo.

Puedes comprobar el fallo del nodo describiendo el nodo utilizando el siguiente comando:

kubectl get nodes

Comprueba el nodo para identificar la causa raíz del problema y ponte en contacto con el soporte de UiPath®.

cluster-utilization-alert.rules

CephClusterNearFull

Esta alerta indica que la utilización del clúster de almacenamiento Ceph ha cruzado el 75% y pasará a ser de solo lectura al alcanzar el 85%.

Si se activa esta alerta, libera algo de espacio en Ceph eliminando algunos conjuntos de datos no utilizados en AI Center o amplía el almacenamiento disponible para Ceph PVC.

Antes de cambiar el tamaño del PVC, asegúrate de cumplir los requisitos de almacenamiento. Para obtener más información, consulta Evaluar tus necesidades de almacenamiento.

CephClusterCriticallyFull

Esta alerta indica que la utilización del clúster de almacenamiento Ceph ha superado el 80 % y pasará a ser de solo lectura al 85 %.

Si se activa esta alerta, libera algo de espacio en Ceph eliminando algunos conjuntos de datos no utilizados en AI Center o amplía el almacenamiento disponible para Ceph PVC.

Antes de cambiar el tamaño del PVC, asegúrate de cumplir los requisitos de almacenamiento. Para obtener más información, consulta Evaluar tus necesidades de almacenamiento.

CephClusterReadOnly

Esta alerta indica que la utilización del clúster de almacenamiento Ceph ha cruzado el 85% y ahora pasará a ser de solo lectura. Libere espacio o expanda el clúster de almacenamiento inmediatamente.

Si se activa esta alerta, libera algo de espacio en Ceph eliminando algunos conjuntos de datos no utilizados en AI Center o amplía el almacenamiento disponible para Ceph PVC.

Antes de cambiar el tamaño del PVC, asegúrate de cumplir los requisitos de almacenamiento. Para obtener más información, consulta Evaluar tus necesidades de almacenamiento.

osd-alert.rules

CephOSDCriticallyFull

Si la gravedad de la alerta es crucial, el espacio disponible es inferior al 20 %.

Para cualquier servicio que se quede sin espacio, puede resultar difícil recuperar los datos, por lo que el tamaño de los volúmenes debe cambiarse antes de llegar al 10 % de espacio disponible. Consulta las siguientes instrucciones: Configurar el clúster.

CephOSDNearFull

Esta alerta indica que la utilización del clúster de almacenamiento Ceph ha cruzado el 75% y pasará a ser de solo lectura al alcanzar el 85%.

Si se activa esta alerta, libera algo de espacio en Ceph eliminando algunos conjuntos de datos no utilizados en AI Center o amplía el almacenamiento disponible para Ceph PVC.

Antes de cambiar el tamaño del PVC, asegúrate de cumplir los requisitos de almacenamiento. Para obtener más información, consulta Evaluar tus necesidades de almacenamiento.

PersistentVolumeUsageNearFull

Esta alerta indica que la utilización del clúster de almacenamiento Ceph ha cruzado el 75% y pasará a ser de solo lectura al alcanzar el 85%.

Si se activa esta alerta, libera algo de espacio en Ceph eliminando algunos conjuntos de datos no utilizados en AI Center o amplía el almacenamiento disponible para Ceph PVC.

Antes de cambiar el tamaño del PVC, asegúrate de cumplir los requisitos de almacenamiento. Para obtener más información, consulta Evaluar tus necesidades de almacenamiento.

Aleteo de CephOSD

Esta alerta indica que el daemon de almacenamiento se ha reiniciado más de 5 veces en los últimos 5 minutos.

Si se activa esta alerta, sigue los siguientes pasos:

1. Comprueba el estado del clúster de Ceph. Debes ejecutar ceph status en la caja de herramientas de Ceph para identificar los OSD oscilantes:

   kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status

   Puedes identificar el pod de herramientas de Ceph enumerando los pods en el espacio de nombres:

   kubectl -n rook-ceph get pod | grep tools

2. Comprueba los registros de OSD del pod de OSD para identificar problemas:

   kubectl -n rook-ceph logs <osd-pod>

3. Identificar problemas a nivel de nodo:

   • Comprueba el uso de recursos:

     kubectl top node <node-name>

   • Comprueba el estado del disco. Necesitas SSH en el nodo y ejecutardf -h y dmesg para comprobar los errores de disco.

4. Reinicia el pod OSD. Si el problema es transitorio, debes reiniciar el pod OSD:

   kubectl -n rook-ceph delete pod <osd-pod>

5. Asegúrese de que no haya problemas de conectividad de red entre los OSD y los monitores Ceph.

6. Si es necesario, marca temporalmente el OSD flotante como out:

   ceph osd out <osd-id>

7. Continúa supervisando el clúster para asegurarte de que el problema no se repite.

CephOSDDiskNotResponding

Esta alerta indica que el dispositivo de disco del host no responde.

Si se activa esta alerta, sigue los siguientes pasos:

1. Comprueba el estado del clúster de Ceph. Debes confirmar el estado general del clúster de Ceph y obtener más detalles sobre el estado de OSD:

   • Ejecuta el siguiente comando dentro del pod de la caja de herramientas de Ceph:

     kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status

   • Identifica el pod de herramientas de Ceph enumerando los pods en el espacio de nombres:

     kubectl -n rook-ceph get pod | grep tools

2. Comprueba el estado del pod OSD. Debes comprobar si los pods OSD se están ejecutando. Ejecuta el siguiente comando para comprobar todos los estados del pod OSD:

   kubectl -n rook-ceph get pods | grep osd

   Si algún pod OSD está en un estado CrashLoopBackOff o Pending, eso podría indicar un problema con el disco OSD o el nodo subyacente.
3. Reinicia el pod OSD afectado. Si un pod OSD está en mal estado (CrashLoopBackOff, Error, etc.), debes reiniciar el pod para ver si el problema se resuelve por sí solo. Kubernetes intenta reprogramar automáticamente el pod.

   kubectl -n rook-ceph delete pod <osd-pod>

   El pod OSD se reiniciará y, si se trata de un problema transitorio, esto puede resolverlo.

4. Comprueba los registros OSD. Si el reinicio no resolvió el problema, consulta los registros del pod OSD para obtener más detalles sobre por qué el disco no responde:

   kubectl -n rook-ceph logs <osd-pod>

   Busque errores relacionados con el disco u otros problemas (por ejemplo, errores de E/S, montajes fallidos).

5. Identificar problemas a nivel de nodo. Si el disco OSD no está montado correctamente o se ha desconectado, puedes iniciar sesión en el nodo afectado y comprobar el estado de montaje del disco:

   ssh <node> df -h

   Busca discos faltantes o desmontados que Ceph está esperando. Si es necesario, vuelve a montar el disco o reemplázalo si ha fallado.

CephOSDDisk no disponible

Esta alerta indica que el disco Ceph OSD no es accesible en el host.

Si se activa esta alerta, sigue los siguientes pasos:

1. Comprueba el estado del clúster de Ceph. Debes confirmar el estado general del clúster de Ceph y obtener más detalles sobre el estado de OSD:

   • Ejecuta el siguiente comando dentro del pod de la caja de herramientas de Ceph:

     kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status

   • Identifica el pod de herramientas de Ceph enumerando los pods en el espacio de nombres:

     kubectl -n rook-ceph get pod | grep tools

2. Comprueba el estado del pod OSD. Debes comprobar si los pods OSD se están ejecutando. Ejecuta el siguiente comando para comprobar todos los estados del pod OSD:

   kubectl -n rook-ceph get pods | grep osd

   Si algún pod OSD está en un estado CrashLoopBackOff o Pending, eso podría indicar un problema con el disco OSD o el nodo subyacente.
3. Reinicia el pod OSD afectado. Si un pod OSD está en mal estado (CrashLoopBackOff, Error, etc.), debes reiniciar el pod para ver si el problema se resuelve por sí solo. Kubernetes intenta reprogramar automáticamente el pod.

   kubectl -n rook-ceph delete pod <osd-pod>

   El pod OSD se reiniciará y, si se trata de un problema transitorio, esto puede resolverlo.

4. Comprueba los registros OSD. Si el reinicio no resolvió el problema, consulta los registros del pod OSD para obtener más detalles sobre por qué el disco no responde:

   kubectl -n rook-ceph logs <osd-pod>

   Busque errores relacionados con el disco u otros problemas (por ejemplo, errores de E/S, montajes fallidos).

persistent-volume-alert.rules

PersistentVolumeUsageCritical

Si se activa esta alerta, libera algo de espacio en Ceph eliminando algunos conjuntos de datos no utilizados en AI Center o amplía el almacenamiento disponible para Ceph PVC.

Antes de cambiar el tamaño de PVC, asegúrate de cumplir los requisitos de almacenamiento. Para obtener más detalles, consulta Evaluar tus necesidades de almacenamiento.

pool-quota.rules

CephPoolQuotaBytesCriticallyExhausted

Esta alerta indica que el uso del grupo de almacenamiento Ceph ha cruzado el 90%.

Si se activa esta alerta, libera algo de espacio en CEPH eliminando algunos conjuntos de datos no utilizados en AI Center o amplía el almacenamiento disponible para Ceph PVC.

Antes de cambiar el tamaño del PVC, asegúrate de cumplir los requisitos de almacenamiento. Para obtener más información, consulta Evaluar tus necesidades de almacenamiento.

host-disk

LowDiskForRancherPartition

Esta alerta indica que el espacio libre para la partición /var/lib/rancher es menor que:

• 25%: la gravedad de la alerta es fundamental

Debe iniciar sesión en el servidor host y verificar el uso del disco. Puedes utilizar comandos como df -h /var/lib/rancher para comprobar el espacio disponible en el disco. Si te estás quedando sin espacio, considera las siguientes opciones:

• Borre los archivos innecesarios. Con el tiempo, los archivos de registro, los archivos temporales, los datos huérfanos y las copias de seguridad pueden consumir una cantidad significativa de espacio. La limpieza regular de estos archivos puede ayudar a mantener el espacio en disco.

• Cambia el tamaño de la partición. Si tu sistema de archivos lo admite, y si hay espacio disponible sin utilizar en tu disco, puedes cambiar el tamaño de la partición para darle más espacio en disco.

• Añade más espacio en disco. Si las opciones anteriores no son suficientes, y si tu infraestructura lo permite, aumenta el tamaño del disco para el correcto funcionamiento de Rancher.

• Comprueba el uso de almacenamiento para cualquier archivo anormalmente grande:

  find /var/lib/rancher -type f -exec du -h {} + | sort -rh | head -n 10

• Comprueba si hay contenedores que estén escribiendo archivos grandes en el disco.

LowDiskForKubeletPartition

Esta alerta indica que el espacio libre para la partición /var/lib/kubelet es menor que:

• 25%: la gravedad de la alerta es fundamental

Si se activa esta alerta, aumente el tamaño del disco.

LowDiskForVarPartition

Esta alerta indica que el espacio libre para la partición /var es menor que:

• 25%: la gravedad de la alerta es fundamental

Nota:

Esto puede ocurrir debido a la acumulación de registros del sistema del contenedor.

Si se activa esta alerta, sigue los siguientes pasos:

1. Comprueba el uso de almacenamiento:

   find /var/ -type f -exec du -h {} + | sort -rh | head -n 10

2. Aumenta el tamaño del disco.

LowDiskForVarLogPartition

Esta alerta indica que el espacio libre para la partición /var/lib/var es menor que:

• 25%: la gravedad de la alerta es fundamental

Si se activa esta alerta, aumente el tamaño del disco.