Runbooks de alerta

Nota:

• For general instructions on using the available tools for alerts, metrics, and visualizations, see Using the monitoring stack.
• For more on how to fix issues and how to create a support bundle for UiPath® Support engineers, see Troubleshooting.
• Cuando se ponga en contacto con el servicio de soporte de UiPath®, indique las alertas activas en ese momento.

Indicador de gravedad de la alerta

Gravedad de las alertas	Descripción
Info	No previsto pero inofensivo. Se puede silenciar pero puede resultar útil durante el diagnóstico.
Advertencia	Indicación de degradación puntual de funcionalidad o probabilidad de degradación en un futuro próximo, que puede afectar a todo el clúster. Se recomienda una acción rápida (normalmente en unos días) para mantener el clúster en buen estado.
Critical	Tiene como consecuencia una grave degradación de la funcionalidad que suele ser generalizada en el clúster. Requiere una acción inmediata (en el mismo día) para reparar el clúster.

reglas. general

TargetDown

Prometheus no puede recopilar métricas procedentes del objetivo que figura en la alerta, lo que significa que los paneles de control de Grafana y otras alertas basadas en las métricas de ese objetivo no están disponibles. Consulte otras alertas relacionadas con ese objetivo.

Watchdog

Se trata de una alerta destinada a garantizar el funcionamiento de todo el proceso de alerta. Esta alerta se activa siempre. Por lo tanto, siempre debe activarse en AlertManager y respecto a un receptor. Existen integraciones con diversos mecanismos de notificación que avisan cuando esta alerta no se activa. Por ejemplo, la integración DeadMansSnitch en PagerDuty.

kubernetes-apps

KubePodCrashLooping

Un pod que no deja de reiniciarse de manera imprevista. Esto puede ocurrir debido a un error de falta de memoria (OOM), en cuyo caso es posible ajustar los límites. Compruebe los eventos del pod con kubectl describe y los registros con kubectl logs para ver los detalles de los posibles fallos. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

KubePodNotReady

Un pod se ha iniciado, pero no responde correctamente a la sonda de estado. Esto puede significar que está bloqueado y no es capaz de atender al tráfico. Puede comprobar los registros de los pods con kubectl logs para ver si hay alguna indicación de progreso. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

KubeDeploymentGenerationMismatch, KubeStatefulSetGenerationMismatch

Se ha intentado actualizar una implementación o un statefulset, pero ha habido un error y aún no se ha producido una reversión. Ponte en contacto con el soporte de UiPath®.

KubeDeploymentReplicasMismatch, KubeStatefulSetReplicasMismatch

En los clústeres de alta disponibilidad con múltiples réplicas, esta alerta se activa cuando el número de réplicas no es óptimo. Esto puede ocurrir cuando no hay suficientes recursos en el clúster que programar. Compruebe la utilización de los recursos y añada capacidad, si es necesario. De lo contrario, póngase en contacto con el servicio de soporte de UiPath®.

KubeStatefulSetUpdateNotRolledOut

Ha fallado la actualización de un statefulset. Ponte en contacto con el soporte de UiPath®.

Consulte también: StatefulSets.

KubeDaemonSetRolloutStuck

El lanzamiento de Daemonset ha fallado. Ponte en contacto con el soporte de UiPath®.

Consulte también: DaemonSet.

KubeContainerWaiting

Un contenedor en estado de espera está bloqueado. Se ha programado en un nodo operativo, pero no puede ejecutarse en esa máquina. Para más información, consulta kubectl describe del pod. La causa más común de los contenedores en espera es un fallo en la extracción de la imagen. En el caso de los clústeres aislados, esto podría significar que el registro local no está disponible. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

KubeDaemonSetNotScheduled, KubeDaemonSetMisScheduled

Esto puede indicar un problema con uno de los nodos. Compruebe el estado de cada nodo y solucione cualquier problema conocido. De lo contrario, póngase en contacto con el servicio de soporte de UiPath®.

KubeJobCompletion

Un trabajo lleva más de 12 horas en completarse. No es algo previsible. Ponte en contacto con el soporte de UiPath®.

KubeJobFailed

Un trabajo ha fallado; sin embargo, la mayoría de los trabajos se reintentan automáticamente. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

KubeHpaReplicasMismatch

El autoescalado no puede ampliar el recurso de destino tal y como está configurado. Si las expectativas son mayores que la realidad, es posible que haya una falta de recursos. Si las expectativas son inferiores a la realidad, es posible que los pods se bloqueen al apagarse. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

Consulte también: Autoescalado de pod horizontal.

KubeHpaMaxedOut

El número de réplicas de un servicio determinado ha alcanzado su valor máximo. Esto ocurre cuando la cantidad de peticiones que se hacen al clúster es muy alta. Si se prevé un tráfico elevado y temporal, puede silenciarse esta alerta. Sin embargo, esta alerta es una señal de que el clúster está al límite de su capacidad y no puede gestionar mucho más tráfico. Si se dispone de más capacidad de recursos en el clúster, puede aumentarse el número de réplicas máximas para el servicio siguiendo estas instrucciones:

# Find the horizontal autoscaler that controls the replicas of the desired resource
kubectl get hpa -A
# Increase the number of max replicas of the desired resource, replacing <namespace> <resource> and <maxReplicas>
kubectl -n <namespace> patch hpa <resource> --patch '{"spec":{"maxReplicas":<maxReplicas>}}'

Consulte también: Autoescalado de pod horizontal.

kubernetes-resources

KubeCPUOvercommit, KubeMemoryOvercommit

Estas advertencias indican que el clúster no puede tolerar el fallo de un nodo. Este hecho se ha constatado en clústeres de evaluación de nodo único, por lo que estas alertas pueden silenciarse. En el caso de configuraciones de producción multinodo preparadas para alta disponibilidad, estas alertas se activan cuando hay demasiados nodos que no son capaces de soportar una alta disponibilidad e indican que los nodos deben recuperarse o reemplazarse.

KubeCPUQuotaOvercommit, KubeMemoryQuotaOvercommit, KubeQuotaAlmostFull, KubeQuotaFullyUsed, KubeQuotaExceeded

Estas alertas pertenecen a cuotas de recursos de espacios de nombres que solo existen en el clúster si se añaden a través de la personalización. Las cuotas de recursos de espacio de nombres no se añaden como parte de la instalación de Automation Suite.

Consulte también: Cuotas de recursos.

CPUThrottlingHigh

La utilización de la CPU de un contenedor se ha acelerado según los límites configurados. Esto forma parte del funcionamiento normal de Kubernetes y puede proporcionar información útil cuando se activan otras alertas. Esta alerta se puede silenciar.

Kubernetes-storage

KubePersistentVolumeFillingUp

When Warning: The available space is less than 30% and is likely to fill up within four days.

When Critical: The available space is less than 10%.

En cualquier servicio que se quede sin espacio, puede resultar difícil recuperar los datos, por lo que el tamaño de los volúmenes debe cambiarse antes de llegar al 0 % de espacio disponible.

For instructions, see Configuring the cluster.

For Prometheus-specific alerts, see PrometheusStorageUsage for more details and instructions.

KubePersistentVolumeErrors

PersistentVolume no puede aprovisionarse. Esto significa que no se iniciará ningún servicio que requiera el volumen. Compruebe si hay otros errores con Longhorn y/o el almacenamiento Ceph y póngase en contacto con el soporte de UiPath®.

kube-state-metrics

KubeStateMetricsListErrors, KubeStateMetricsWatchErrors

El recopilador de métricas de estado de Kubernetes no es capaz de recopilar métricas del clúster sin errores. Esto significa que las alertas importantes pueden no activarse. Ponte en contacto con el soporte de UiPath®.

Consulte también: Métricas del estado de Kubernetes en el momento del lanzamiento.

kubernetes-system-apiserver

KubeClientCertificateExpiration

Si gravedad de la alerta es una advertencia: un certificado de cliente utilizado para autenticarse en el servidor de la API de Kubernetes caduca en menos de siete días.

Si la gravedad de la alerta es crucial: un certificado de cliente utilizado para autenticarse en el servidor de la API de Kubernetes caduca en menos de 1 día.

Debe renovar el certificado.

AggregatedAPIErrors, AggregatedAPIDown, KubeAPIDown, KubeAPITerminatedRequests

Indica problemas con el plano de control de Kubernetes. Compruebe el estado de los nodos maestros, solucione los problemas pendientes y póngase en contacto con el servicio de soporte de UiPath® si los problemas persisten.

Consulte también:

API de Kubernetes

Capa de agregación de API de Kubernetes

KubernetesApiServerErrors

Esta alerta indica que el servidor de la API de Kubernetes está experimentando una alta tasa de errores. Este problema podría provocar otros errores, por lo que se recomienda investigar el problema de forma proactiva.

Compruebe los registros del pod api-server para descubrir la causa raíz del problema utilizando el comando kubectl logs <pod-name> -n kube-system .

kubernetes-system-kubelet

KubeNodeNotReady, KubeNodeUnreachable, KubeNodeReadinessFlapping, KubeletPlegDurationHigh, KubeletPodStartUpLatencyHigh, KubeletDown

Estas alertas indican un problema con un nodo. En los clústeres de producción multinodo preparada para alta disponibilidad, los pods probablemente se reprogramarán en otros nodos. Si el problema persiste, conviene eliminar y vaciar el nodo para mantener el clúster en buen estado. En clústeres sin capacidad adicional, primero debe unirse otro nodo al clúster.

Si los problemas persisten, póngase en contacto con el soporte de UiPath®.

KubeletTooManyPods

Hay demasiados pods ejecutándose en el nodo especificado.

Join another node to the cluster.

KubeletClientCertificateExpiration, KubeletServerCertificateExpiration

Si la gravedad de la alerta es una advertencia: un certificado de cliente o servidor para Kubelet caduca en menos de siete días.

Si la gravedad de la alerta es crucial: un certificado de cliente o servidor para Kubelet caduca en menos de un día.

Debe renovar el certificado.

KubeletClientCertificateRenewalErrors, KubeletServerCertificateRenewalErrors

Kubelet no ha podido renovar su certificado de cliente o servidor. Ponte en contacto con el soporte de UiPath®.

kubernetes-system

KubeVersionMismatch

Hay diferentes versiones semánticas de los componentes de Kubernetes en ejecución. Esto puede suceder como resultado de una actualización sin éxito de Kubernetes.

KubeClientErrors

El cliente del servidor de la API de Kubernetes presenta un porcentaje de errores superior al 1 %. Puede haber un problema con el nodo en el que se ejecuta este cliente o con el propio servidor de la API de Kubernetes.

KubernetesMemoryPressure

Esta alerta indica que el uso de memoria es muy alto en el nodo de Kubernetes.

Si se activa esta alerta, intente ver qué pod está consumiendo más memoria.

KubernetesDiskPressure

Esta alerta indica que el uso de disco es muy elevado en el nodo Kubernetes.

Si se activa esta alerta, intenta ver qué pod está utilizando un mayor volumen del disco.

Kube-apiserver-slos

KubeAPIErrorBudgetBurn

El servidor de la API de Kubernetes está acumulando una gran cantidad de errores.

node-exporter

NodeFilesystemSpaceFillingUp, NodeFilesystemAlmostOutOfSpace, NodeFilesystemFilesFillingUp

El sistema de archivos de un nodo concreto se está quedando sin espacio. Aprovisione más espacio añadiendo un disco o instalando discos no utilizados.

NodeRAIDDegraded

La matriz RAID presenta un estado degradado debido a uno o varios fallos de disco. El número de unidades de repuesto

es insuficiente para solucionar el problema automáticamente.

NodeRAIDDiskFailure

La matriz RAID precisa atención y posiblemente un intercambio de discos.

NodeNetworkReceiveErrs, NodeNetworkTransmitErrs, NodeHighNumberConntrackEntriesUsed

Hay un problema con la interfaz de red física del nodo. Si los problemas persisten, puede ser necesario sustituirla.

NodeClockSkewDetected, NodeClockNotSynchronising

Hay un problema con el reloj del nodo. Asegúrese de que NTP está correctamente configurado.

node-network

NodeNetworkInterfaceFlapping

Hay un problema con la interfaz de red física del nodo. Si los problemas persisten, puede ser necesario sustituirla.

InternodeCommunicationBroken

El nodo ha dejado de responder debido a un problema que ha provocado la interrupción de la comunicación entre los nodos del clúster.

Para solucionar este problema, reinicia el nodo afectado. Si el problema persiste, ponte en contacto con UiPath® Support con la herramienta de paquete de soporte.

uipath.prometheus.resource.provisioning.alerts

PrometheusMemoryUsage, PrometheusStorageUsage

Estas alertas avisan cuando el clúster se aproxima a los límites configurados para la memoria y almacenamiento. Esta situación suele producirse en clústeres con un reciente aumento sustancial del uso (normalmente de robots y no de usuarios), o cuando se añaden nodos al clúster sin ajustar los recursos de Prometheus. La razón es el aumento de la cantidad de métricas que se recopilan.

La tasa de aumento de la utilización del almacenamiento se puede ver en el panel Kubernetes/Persistent Volumes (Kubernetes/Volúmenes persistentes):

You can adjust it by resizing the PVC as instructed here: Configuring the cluster.

La tasa de aumento de la utilización de la memoria se puede ver en el panel Kubernetes/Compute Resources/Pod (Kubernetes/Calcular recursos/Pod).

Puedes ajustarlo editando los límites de recursos de memoria de Prometheus en la aplicación de supervisión de Rancher desde ArgoCD. La aplicación rancher-monitoring se vuelve a sincronizar automáticamente después de hacer clic en Guardar.

Tenga en cuenta que Prometheus tarda un tiempo en reiniciarse y volver a mostrar las métricas en Grafana. Suele necesitar menos de 10 minutos, incluso con clústeres grandes.

alertmanager.rules

AlertmanagerConfigInconsistent

Se trata de errores internos de AlertManager para clústeres de alta disponibilidad con varias réplicas de AlertManager. Las alertas pueden aparecer y desaparecer de forma intermitente. Reducir temporalmente y luego aumentar las réplicas de AlertManager podría solucionar la incidencia.

Para solucionar el problema, realiza los siguientes pasos:

1. Escalar a cero. Ten en cuenta que los pods tardarán un momento en apagarse:

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0
   

2. Escalar de vuelta a dos:

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2
   

3. Comprueba si los pods de AlertManager se iniciaron y están en estado de ejecución:

   kubectl get po -n cattle-monitoring-system
   

Si el problema persiste, póngase en contacto con el soporte de UiPath®.

AlertmanagerFailedReload

Se ha producido un error al cargar o volver a cargar la configuración de AlertManager. Comprueba si las configuraciones personalizadas de AlertManager contienen errores de entrada y, en caso contrario, ponte en contacto con el servicio de asistencia de UiPath®.

prometheus-operator

PrometheusOperatorListErrors, PrometheusOperatorWatchErrors, PrometheusOperatorSyncFailed, PrometheusOperatorReconcileErrors, PrometheusOperatorNodeLookupErrors, PrometheusOperatorNotReady, PrometheusOperatorRejectedResources

Errores internos del operador de Prometheus, que controla sus recursos. El propio Prometheus puede funcionar bien incluso cuando estos errores están presentes; sin embargo, este error indica que la configuración de la supervisión está degradada. Ponte en contacto con el soporte de UiPath®.

Prometheus

PrometheusBadConfig

Se ha producido un fallo a la hora de cargar o volver a cargar la configuración de Prometheus. Compruebe cualquier configuración personalizada de Prometheus para comprobar si hay errores de entrada. De lo contrario, póngase en contacto con el servicio de soporte de UiPath®.

PrometheusErrorSendingAlertsToSomeAlertmanagers, PrometheusErrorSendingAlertsToAnyAlertmanager, PrometheusNotConnectedToAlertmanagers

La conexión de Prometheus a AlertManager no es buena. Las métricas pueden consultarse y mostrarse en los paneles de control de Grafana, pero las alertas no se activarán. Compruebe cualquier configuración personalizada de AlertManager para ver si hay errores de entrada y, si no es así, póngase en contacto con el servicio de soporte de UiPath®.

PrometheusNotificationQueueRunningFull, PrometheusTSDBReloadsFailing, PrometheusTSDBCompactionsFailing, PrometheusNotIngestingSamples, PrometheusDuplicateTimestamps, PrometheusOutOfOrderTimestamps, PrometheusRemoteStorageFailures, PrometheusRemoteWriteBehind, PrometheusRemoteWriteDesiredShards

Errores internos de Prometheus que indican que las métricas no pueden recopilarse como se espera. Póngase en contacto con el servicio de soporte de UiPath®.

PrometheusRuleFailures

Este hecho puede ocurrir si hay alertas incorrectas basadas en métricas inexistentes o en una sintaxis PromQL incorrecta. Póngase en contacto con el servicio de soporte de UiPath si no se han añadido alertas personalizadas.

PrometheusMissingRuleEvaluations

Prometheus no es capaz de evaluar si las alertas deben activarse. Este problema puede producirse si hay demasiadas alertas. Elimina las evaluaciones de alertas personalizadas costosas y/o consulta la documentación sobre el aumento del límite de la CPU para Prometheus. Póngase en contacto con el servicio de soporte de UiPath si no se han añadido alertas personalizadas.

PrometheusTargetLimitHit

El número de objetivos de los que Prometheus puede recopilar datos es excesivo. Si se han añadido ServiceMonitors adicionales (consulte la consola de supervisión), puede eliminarlos.

uipath.availability.alerts

UiPathAvailabilityHighTrafficUserFacing, UiPathAvailabilityHighTrafficBackend, UiPathAvailabilityMediumTrafficUserFacing, UiPathAvailabilityMediumTrafficBackend, UiPathAvailabilityLowTrafficUserFacing, UiPathAvailabilityLowTrafficBackend

El número de respuestas http 500 de los servicios de UiPath® supera un umbral determinado.

Nivel de tráfico	Número de solicitudes en 20 minutos	Umbral de error (para http 500)
Alto	>100 000	0,1 %
Medio	Entre 10 000 y 100 000	1 %
Bajo	< 10 000	5 %

Los errores en los servicios dirigidos al usuario probablemente supongan una degradación de la funcionalidad que se puede observar directamente en la interfaz de usuario de Automation Suite, mientras que los errores en los servicios de backend tendrían consecuencias menos obvias.

La alerta indica qué servicio está experimentando una alta tasa de errores. Para entender qué problemas continuos puede haber en otros servicios de los que depende el servicio de informes, puede utilizar el panel de carga de trabajo de Istio, que muestra los errores entre servicios.

Vuelve a comprobar cualquier producto de Automation Suite que haya sido reconfigurado recientemente. También se pueden obtener registros detallados con el comando kubectl logs. Si el error persiste, póngase en contacto con el soporte de UiPath®.

uipath.cronjob.alerts.rules

CronJobSuspended

El trabajo cron uipath-infra/istio-configure-script-cronjob está en estado suspendido.

Para solucionar este problema, habilita el trabajo cron siguiendo los siguientes pasos:

export KUBECONFIG="/etc/rancher/rke2/rke2.yaml" && export PATH="$PATH:/usr/local/bin:/var/lib/rancher/rke2/bin"
kubectl -n uipath-infra patch cronjob istio-configure-script-cronjob -p '{"spec":{"suspend":false}}'
epoch=$(date +"%s")
kubectl -n uipath-infra create job istio-configure-script-cronjob-manual-$epoch --from=cronjob/istio-configure-script-cronjob
kubectl -n uipath-infra wait --for=condition=complete --timeout=300s job/istio-configure-script-cronjob-manual-$epoch
kubectl get node -o wide
#Verify if all the IP's listed by the previous command are part of output of the following command
kubectl -n istio-system get svc istio-ingressgateway -o json | jq '.spec.externalIPs'

Error de CronJob "Kerberos-tgt-actualizar" de la UIPath

Este trabajo obtiene el último ticket Kerberos del servidor AD para la autenticación integrada en SQL. Cualquier fallo en este trabajo provocaría el fallo de la autenticación del servidor SQL. Póngase en contacto con el servicio de soporte de UiPath®.

IdentityKerberosTgtUpdateFailed

Este trabajo actualiza el último ticket de Kerberos en todos los servicios de UiPath®. Cualquier fallo en este trabajo provocaría el fallo de la autenticación del servidor SQL. Póngase en contacto con el servicio de soporte de UiPath®.

Alertas de Ceph

CephClusterNearFull

Esta alerta indica que la utilización del clúster de almacenamiento Ceph ha cruzado el 75% y pasará a ser de solo lectura al alcanzar el 85%.

If this alert fires, free up some space in Ceph by deleting some unused datasets in AI Center or Task Mining or expand the storage available for Ceph PVC by following the instructions in Resizing PVC.

Before resizing PVC, make sure you meet the storage requirements. For details, see Evaluating your storage needs.

CephClusterCriticallyFull

Esta alerta indica que la utilización del clúster de almacenamiento Ceph ha superado el 80 % y pasará a ser de solo lectura al 85 %.

If this alert fires, free up some space in Ceph by deleting some unused datasets in AI Center or Task Mining or expand the storage available for Ceph PVC by following the instructions in Resizing PVC.

Before resizing PVC, make sure you meet the storage requirements. For details, see Evaluating your storage needs.

CephClusterReadOnly

Esta alerta indica que la utilización del clúster de almacenamiento Ceph ha cruzado el 85% y ahora pasará a ser de solo lectura. Libere espacio o expanda el clúster de almacenamiento inmediatamente.

If this alert fires, free up some space in Ceph by deleting some unused datasets in AI Center or Task Mining or expand the storage available for Ceph PVC by following the instructions in Resizing PVC.

Before resizing PVC, make sure you meet the storage requirements. For details, see Evaluating your storage needs.

CephPoolQuotaBytesCriticallyExhausted

Esta alerta indica que el uso del grupo de almacenamiento Ceph ha cruzado el 90%.

If this alert fires, free up some space in CEPH by deleting some unused datasets in AI Center or Task Mining or expand the storage available for Ceph PVC by following the instructions in Resizing PVC.

Before resizing PVC, make sure you meet the storage requirements. For details, see Evaluating your storage needs.

CephClusterErrorState

Esta alerta indica que el clúster de almacenamiento Ceph ha estado en estado de error durante más de 10 minutos.

Esta alerta refleja que el trabajo rook-ceph-mgr ha estado en estado de error durante un tiempo inaceptable. Compruebe si hay otras alertas que puedan haberse activado antes de esta y solucione los problemas primero.

CephMonQuorumAtRisk

Esta alerta indica que el quórum del clúster de almacenamiento es bajo.

Varios monos trabajan juntos para proporcionar redundancia; esto es posible porque cada uno guarda una copia de los metadatos. El clúster se implementa con 3 mons y requiere que 2 o más estén en funcionamiento para tener quórum y para que se ejecuten las operaciones de almacenamiento. Si se pierde el quórum, el acceso a los datos está en riesgo.

Si se activa esta alerta, comprueba si algún OSD está en estado de terminación, si hay alguno, fuerza a eliminar esos pods y espera un tiempo a que el operador se reconcilie. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

CephOSDCriticallyFull

Si la gravedad de la alerta es crucial, el espacio disponible es inferior al 20 %.

Para cualquier servicio que se quede sin espacio, los datos pueden ser difíciles de recuperar, por lo que debes cambiar el tamaño de los volúmenes antes de alcanzar el 10 % de espacio disponible. Consulta las siguientes instrucciones: Configurar el clúster.

uipath.requestrouting.alerts

UiPathRequestRouting

Los errores en la capa de enrutamiento de solicitudes darían lugar a una funcionalidad degradada que se puede observar directamente en la interfaz de usuario de Automation Suite. Las solicitudes no se enrutarán a los servicios de backend.

Puedes encontrar el registro de errores detallado del enrutamiento de solicitudes ejecutando el comando kubectl logs en el pod de puerta de enlace de entrada de Istio. Si el error persiste, póngase en contacto con el soporte de UiPath®.

RabbitmqNodeDown

Esta alerta indica que se están ejecutando menos de 3 nodos en el clúster de RabbitMQ.

Compruebe qué pod de RabbitMQ está inactivo con el comando kubectl logs <pod-name> -n <namespace> Para solucionar el problema, elimine el pod usando el comando kubectl delete pod <pod-name> -n <namespace> y compruébelo de nuevo una vez que aparezca el nuevo.

Alertas de certificado TLS del servidor

SecretCertificateExpiry30Days

Esta alerta indica que el certificado TLS del servidor expirará en los próximos 30 días.

To fix this issue, update the server TLS certificate. For instructions, see Managing server certificates.

SecretCertificateExpiry7Days

Esta alerta indica que el certificado TLS del servidor expirará en los próximos 7 días.

To fix this issue, update the TLS certificate. For instructions, see Managing server certificates.

Alertas de certificado de firma de token de identidad

IdentityCertificateExpiry30Days

Esta alerta indica que el certificado de firma del token de identidad caducará en los siguientes 30 días.

To fix this issue, update the Identity token signing certificate. For instructions, see Managing server certificates.

IdentityCertificateExpiry7Days

Esta alerta indica que el certificado de firma de token de identidad expirará en los próximos 7 días.

To fix this issue, update the Identity token signing certificate. For instructions, see Managing server certificates.

Alertas de etdc

EtcdInsufficientMembers

Esta alerta indica que el clúster etcd no tiene suficientes miembros. Tenga en cuenta que el clúster debe tener un número impar de miembros. La gravedad de esta alerta es fundamental.

Asegúrese de que haya un número impar de nodos de servidor en el clúster y que todos estén activos y en buen estado.

EtcdNoLeader

Esta alerta muestra que el clúster etcd no tiene líder. La gravedad de esta alerta es fundamental.

EtcdHighNumberOfLeaderChanges

Esta alerta indica que el líder etcd cambia más de dos veces en 10 minutos. Esta es una advertencia.

EtcdHighNumberOfFailedGrpcRequests

Esta alerta indica que se detectó un cierto porcentaje de errores de solicitudes de GRPC en etcd.

EtcdGrpcRequestsSlow

Esta alerta indica que las solicitudes etcd GRPC son lentas. Esta es una advertencia.

EtcdHighNumberOfFailedHttpRequests

Esta alerta indica que se ha detectado un determinado porcentaje de fallos HTTP en etcd.

EtcdHttpRequestsSlow

Esta alerta indica que las solicitudes HTTP se están ralentizando. Esta es una advertencia.

EtcdMemberCommunicationSlow

Esta alerta indica que la comunicación de los miembros etcd se está ralentizando. Esta es una advertencia.

EtcdHighNumberOfFailedProposals

Esta alerta indica que el servidor etcd recibió más de 5 propuestas fallidas en la última hora. Esta es una advertencia.

EtcdHighFsyncDurations

Esta alerta indica que la duración de etcd WAL fsync está aumentando. Esta es una advertencia.

EtcdHighCommitDurations

Esta alerta indica que está aumentando la duración de la confirmación en etcd.Esto es una advertencia.

Alertas de tamaño de disco

LowDiskForRancherPartition

Esta alerta indica que el espacio libre para la partición /var/lib/rancher es menor que:

• 35%: la gravedad de la alerta es una advertencia
• 25%: la gravedad de la alerta es fundamental

Si se activa esta alerta, aumente el tamaño del disco.

LowDiskForKubeletPartition

Esta alerta indica que el espacio libre para la partición /var/lib/kubelet es menor que:

• 35%: la gravedad de la alerta es una advertencia

• 25%: la gravedad de la alerta es fundamental

  Si se activa esta alerta, aumente el tamaño del disco.

LowDiskForLonghornPartition

Esta alerta indica que el espacio libre para el disco Longhorn es menor que:

• 35%: la gravedad de la alerta es una advertencia
• 25%: la gravedad de la alerta es fundamental

Si se activa esta alerta, aumente el tamaño del disco.

LowDiskForVarPartition

Esta alerta indica que el espacio libre para la partición /var es menor que:

• 35%: la gravedad de la alerta es una advertencia
• 25%: la gravedad de la alerta es fundamental

Nota:

Los requisitos de almacenamiento para las habilidades ML pueden aumentar sustancialmente el uso del disco.

Si se activa esta alerta, aumente el tamaño del disco.

Alertas de copias de seguridad

NFSServerDisconnected

Esta alerta indica que se perdió la conexión del servidor NFS.

Debe verificar la conexión del servidor NFS y la ruta de montaje.

VolumeBackupFailed

Esta alerta indica que la copia de seguridad falló para un PVC.

BackupDisabled

Esta alerta indica que la copia de seguridad está deshabilitada.

Debe comprobar si el clúster no está en buen estado.

longhorn-snapshot-alert

Si el número de copias de seguridad o instantáneas creadas por Longhorn es demasiado alto, puedes encontrar una de las siguientes alertas:

• LonghornBackupObjectThresholdExceededWarn
• LonghornBackupObjectThresholdExceededCritical
• LonghornSnapshotObjectThresholdExceededWarn
• LonghornSnapshotObjectThresholdExceededCritical

Para solucionar la incidencia que provocaba que se desencadenaran estas alertas, ejecuta el siguiente script:

#!/bin/bash
set -e

# longhorn backend URL
url=
# By default, snapshot older than 10 days will be deleted
days=-1

function display_usage() {
	echo "usage: $(basename "$0") [-h] -u longhorn-url -d days"
	echo "  -u	Longhorn URL"
	echo "  -d 	Number of days(should be >0). By default, script will delete snapshot older than 10 days."
	echo "  -h	Print help"
}

while getopts 'hd:u:' flag "$@"; do
	case "${flag}" in
		u)
			url=${OPTARG}
			;;
		d)
			days=${OPTARG}
			[ "$days" ] && [ -z "${days//[0-9]}" ] || { echo "Invalid number of days=$days"; exit 1; }
			;;
		h)
			display_usage
			exit 0
			;;
		:)
			echo "Invalid option: ${OPTARG} requires an argument."
			exit 1
			;;
		*)
			echo "Unexpected option ${flag}"
			exit 1
			;;
	esac
done

[[ -z "$url" ]] && echo "Missing longhorn URL" && exit 1

# check if URL is valid
curl -s --connect-timeout 30 ${url}/v1 >> /dev/null || { echo "Unable to connect to longhorn backend"; exit 1; }

echo "Deleting snapshots older than $days days"

# Fetch list of longhorn volumes
vols=$( (curl -s -X GET ${url}/v1/volumes |jq -r '.data[].name') )

#delete given snapshot for given volume
function delete_snapshot() {
	local vol=$1
	local snap=$2

	[[ -z "$vol" || -z "$snap" ]] && echo "Error: delete_snapshot: Empty argument" && return 1
	curl -s -X POST ${url}/v1/volumes/${vol}?action=snapshotDelete -d '{"name": "'$snap'"}' >> /dev/null
	echo "Snapshot=$snap deleted for volume=$vol"
}

#perform cleanup for given volume
function cleanup_volume() {
	local vol=$1
	local deleted_snap=0

	[[ -z "$vol" ]] && echo "Error: cleanup_volume: Empty argument" && return 1

	# fetch list of snapshot
	snaps=$( (curl -s -X POST ${url}/v1/volumes/${vol}?action=snapshotList | jq  -r '.data[] | select(.usercreated==true) | .name' ) )
	for i in ${snaps[@]}; do
		echo $i
		if [[ $i == "volume-head" ]]; then
			continue
		fi

		# calculate date difference for snapshot
		snapTime=$(curl -s -X POST ${url}/v1/volumes/${vol}?action=snapshotGet -d '{"name":"'$i'"}' |jq -r '.created')
		currentTime=$(date "+%s")
		timeDiff=$((($(date -d $snapTime "+%s") - $currentTime) / 86400))
		if [[ $timeDiff -lt $days ]]; then
			echo "Ignoring snapshot $i, since it is older than $timeDiff days"
			continue
		fi

		#trigger deletion for snapshot
		delete_snapshot $vol $i
		deleted_snap=$((deleted_snap+1))
	done

	if [[ "$deleted_snap" -gt 0 ]]; then
		#trigger purge for volume
		curl -s -X POST ${url}/v1/volumes/${vol}?action=snapshotPurge >> /dev/null
	fi

}

for i in ${vols[@]}; do
	cleanup_volume $i
done

LonghornBackupObjectThresholdExceededWarn

Esta alerta indica que el número de copias de seguridad creadas por Longhorn en el sistema está aumentando, lo que puede provocar un posible tiempo de inactividad. Esto es una advertencia.

Esta alerta se activa cuando el recuento de copias de seguridad de Longhorn es mayor o igual a 150 y menor de 200.

LonghornBackupObjectThresholdExceededCritical

Esta alerta indica que el número de copias de seguridad creadas por Longhorn en el sistema está aumentando, lo que puede provocar un posible tiempo de inactividad. Se trata de una alerta crítica.

Esta alerta se activa cuando el recuento de copias de seguridad de Longhorn es mayor o igual a 200 y menor de 240.

LonghornSnapshotObjectThresholdExceededWarn

Esta alerta indica que el número de copias de instantáneas creadas por Longhorn en el sistema está aumentando, lo que puede provocar un posible tiempo de inactividad. Esto es una advertencia.

Esta alerta se activa si el recuento de instantáneas es mayor o igual a 150 y menor de 200.

LonghornSnapshotObjectThresholdExceededCritical

Esta alerta indica que el número de copias de instantáneas creadas por Longhorn en el sistema está aumentando, lo que puede provocar un posible tiempo de inactividad. Se trata de una alerta crítica.

Esta alerta se activa si el recuento de instantáneas es mayor o igual a 200 y menor de 240.