Runbooks de alerta

Referencia de runbook para alertas de supervisión de Automation Suite EKS/AKS, que cubre la gravedad de las alertas, la causa y la orientación de resolución.

Nota:

• Para obtener instrucciones generales sobre el uso de las herramientas disponibles para alertas, métricas y visualizaciones, consulta Uso de la pila de supervisión.
• Para obtener más información sobre cómo solucionar problemas y cómo crear un paquete de soporte para los ingenieros de soporte de UiPath®, consulta Resolución de problemas.
• Al ponerse en contacto con el soporte de UiPath®, asegúrese de incluir cualquier alerta que se esté activando actualmente.

Indicador de gravedad de la alerta

Gravedad de las alertas	Descripción
Info	No previsto pero inofensivo. Se puede silenciar pero puede resultar útil durante el diagnóstico.
Advertencia	Indicación de degradación puntual de funcionalidad o probabilidad de degradación en un futuro próximo, que puede afectar a todo el clúster. Se recomienda una acción rápida (normalmente en unos días) para mantener el clúster en buen estado.
Critical	Tiene como consecuencia una grave degradación de la funcionalidad que suele ser generalizada en el clúster. Requiere una acción inmediata (en el mismo día) para reparar el clúster.

reglas. general

TargetDown

Prometheus no puede recopilar métricas procedentes del objetivo que figura en la alerta, lo que significa que los paneles de control de Grafana y otras alertas basadas en las métricas de ese objetivo no están disponibles. Consulte otras alertas relacionadas con ese objetivo.

Watchdog

Se trata de una alerta destinada a garantizar el funcionamiento de todo el proceso de alerta. Esta alerta se activa siempre. Por lo tanto, siempre debe activarse en AlertManager y respecto a un receptor. Existen integraciones con diversos mecanismos de notificación que avisan cuando esta alerta no se activa. Por ejemplo, la integración DeadMansSnitch en PagerDuty.

kubernetes-apps

KubePodCrashLooping

Un pod que no deja de reiniciarse de manera imprevista. Esto puede ocurrir debido a un error de falta de memoria (OOM), en cuyo caso es posible ajustar los límites. Compruebe los eventos del pod con kubectl describe y los registros con kubectl logs para ver los detalles de los posibles fallos. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

KubePodNotReady

Un pod se ha iniciado, pero no responde correctamente a la sonda de estado. Esto puede significar que está bloqueado y no es capaz de atender al tráfico. Puede comprobar los registros de los pods con kubectl logs para ver si hay alguna indicación de progreso. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

KubeDeploymentGenerationMismatch, KubeStatefulSetGenerationMismatch

Se ha intentado actualizar una implementación o un statefulset, pero ha habido un error y aún no se ha producido una reversión. Ponte en contacto con el soporte de UiPath®.

KubeDeploymentReplicasMismatch, KubeStatefulSetReplicasMismatch

En los clústeres de alta disponibilidad con múltiples réplicas, esta alerta se activa cuando el número de réplicas no es óptimo. Esto puede ocurrir cuando no hay suficientes recursos en el clúster que programar. Compruebe la utilización de los recursos y añada capacidad, si es necesario. De lo contrario, póngase en contacto con el servicio de soporte de UiPath®.

KubeStatefulSetUpdateNotRolledOut

Ha fallado la actualización de un statefulset. Ponte en contacto con el soporte de UiPath®.

Consulte también: StatefulSets.

KubeDaemonSetRolloutStuck

El lanzamiento de Daemonset ha fallado. Ponte en contacto con el soporte de UiPath®.

Consulte también: DaemonSet.

KubeContainerWaiting

Un contenedor en estado de espera está bloqueado. Se ha programado en un nodo operativo, pero no puede ejecutarse en esa máquina. Para más información, consulta kubectl describe del pod. La causa más común de los contenedores en espera es un fallo en la extracción de la imagen. En el caso de los clústeres aislados, esto podría significar que el registro local no está disponible. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

KubeDaemonSetNotScheduled, KubeDaemonSetMisScheduled

Esto puede indicar un problema con uno de los nodos. Compruebe el estado de cada nodo y solucione cualquier problema conocido. De lo contrario, póngase en contacto con el servicio de soporte de UiPath®.

KubeJobCompletion

Un trabajo lleva más de 12 horas en completarse. No es algo previsible. Ponte en contacto con el soporte de UiPath®.

KubeJobFailed

Un trabajo ha fallado; sin embargo, la mayoría de los trabajos se reintentan automáticamente. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

KubeHpaReplicasMismatch

El autoescalado no puede ampliar el recurso de destino tal y como está configurado. Si las expectativas son mayores que la realidad, es posible que haya una falta de recursos. Si las expectativas son inferiores a la realidad, es posible que los pods se bloqueen al apagarse. Si el problema persiste, póngase en contacto con el soporte de UiPath®.

Consulte también: Autoescalado de pod horizontal.

KubeHpaMaxedOut

El número de réplicas para un servicio determinado ha alcanzado su máximo. Esto sucede cuando la cantidad de solicitudes que se realizan al clúster es muy alta. Si se espera un tráfico alto y temporal, puede silenciar esta alerta.

Sin embargo, esta alerta es una señal de que el clúster está al máximo de su capacidad y no puede manejar mucho más tráfico. Si hay más capacidad de recursos disponible en el clúster, puedes aumentar el número de réplicas máximas para el servicio siguiendo estas instrucciones:

# Find the horizontal autoscaler that controls the replicas of the desired resource
kubectl get hpa -A
# Increase the number of max replicas of the desired resource, replacing <namespace> <resource> and <maxReplicas>
kubectl -n <namespace> patch hpa <resource> --patch '{"spec":{"maxReplicas":<maxReplicas>}}'

Consulte también: Autoescalado de pod horizontal.

kubernetes-resources

KubeCPUOvercommit, KubeMemoryOvercommit

Estas advertencias indican que el clúster no puede tolerar fallos de nodo. Para los clústeres de evaluación de nodo único, esto se conoce y estas alertas pueden silenciarse. Para las configuraciones de producción multinodo creadas para alta disponibilidad (HA), estas alertas se activan cuando demasiados nodos se vuelven defectuosos e indican que los nodos deben recuperarse o reemplazarse.

KubeCPUQuotaOvercommit, KubeMemoryQuotaOvercommit, KubeQuotaAlmostFull, KubeQuotaFullyUsed, KubeQuotaExceeded

Estas alertas pertenecen a cuotas de recursos de espacios de nombres que solo existen en el clúster si se añaden a través de la personalización. Las cuotas de recursos de espacio de nombres no se añaden como parte de la instalación de Automation Suite.

Consulte también: Cuotas de recursos.

CPUThrottlingHigh

La utilización de la CPU de un contenedor se ha acelerado según los límites configurados. Esto forma parte del funcionamiento normal de Kubernetes y puede proporcionar información útil cuando se activan otras alertas. Puede silenciar esta alerta.

Kubernetes-storage

KubePersistentVolumeFillingUp

When Warning: The available space is less than 30% and is likely to fill up within four days.

When Critical: The available space is less than 10%.

En cualquier servicio que se quede sin espacio, puede resultar difícil recuperar los datos, por lo que el tamaño de los volúmenes debe cambiarse antes de llegar al 0 % de espacio disponible.

Para las alertas específicas de Prometheus, consulta PrometheusStorageUsage para obtener más detalles e instrucciones.

kube-state-metrics

KubeStateMetricsListErrors, KubeStateMetricsWatchErrors

El recopilador de métricas de estado de Kubernetes no es capaz de recopilar métricas del clúster sin errores. Esto significa que las alertas importantes pueden no activarse. Ponte en contacto con el soporte de UiPath®.

Consulte también: Métricas del estado de Kubernetes en el momento del lanzamiento.

kubernetes-system-apiserver

KubeClientCertificateExpiration

Si gravedad de la alerta es una advertencia: un certificado de cliente utilizado para autenticarse en el servidor de la API de Kubernetes caduca en menos de siete días.

Si la gravedad de la alerta es crucial: un certificado de cliente utilizado para autenticarse en el servidor de la API de Kubernetes caduca en menos de 1 día.

Debe renovar el certificado.

AggregatedAPIErrors, AggregatedAPIDown, KubeAPIDown, KubeAPITerminatedRequests

Indica problemas con el plano de control de Kubernetes. Compruebe el estado de los nodos maestros, solucione los problemas pendientes y póngase en contacto con el servicio de soporte de UiPath® si los problemas persisten.

Consulte también:

API de Kubernetes

Capa de agregación de API de Kubernetes

KubernetesApiServerErrors

Esta alerta indica que el servidor de la API de Kubernetes está experimentando una alta tasa de errores. Este problema podría provocar otros errores, por lo que se recomienda investigar el problema de forma proactiva.

Compruebe los registros del pod api-server para descubrir la causa raíz del problema utilizando el comando kubectl logs <pod-name> -n kube-system .

kubernetes-system-kubelet

KubeNodeNotReady, KubeNodeUnreachable, KubeNodeReadinessFlapping, KubeletPlegDurationHigh, KubeletPodStartUpLatencyHigh, KubeletDown

Estas alertas indican un problema con un nodo. En los clústeres de producción multinodo preparada para alta disponibilidad, los pods probablemente se reprogramarán en otros nodos. Si el problema persiste, conviene eliminar y vaciar el nodo para mantener el clúster en buen estado. En clústeres sin capacidad adicional, primero debe unirse otro nodo al clúster.

Si los problemas persisten, póngase en contacto con el soporte de UiPath®.

KubeletTooManyPods

Hay demasiados pods ejecutándose en el nodo especificado.

KubeletClientCertificateExpiration, KubeletServerCertificateExpiration

Si la gravedad de la alerta es una advertencia: un certificado de cliente o servidor para Kubelet caduca en menos de siete días.

Si la gravedad de la alerta es crucial: un certificado de cliente o servidor para Kubelet caduca en menos de un día.

Debe renovar el certificado.

KubeletClientCertificateRenewalErrors, KubeletServerCertificateRenewalErrors

Kubelet no ha podido renovar su certificado de cliente o servidor. Ponte en contacto con el soporte de UiPath®.

kubernetes-system

KubeVersionMismatch

Hay diferentes versiones semánticas de los componentes de Kubernetes en ejecución. Esto puede suceder como resultado de una actualización sin éxito de Kubernetes.

KubeClientErrors

El cliente del servidor de la API de Kubernetes presenta un porcentaje de errores superior al 1 %. Puede haber un problema con el nodo en el que se ejecuta este cliente o con el propio servidor de la API de Kubernetes.

KubernetesMemoryPressure

Esta alerta indica que el uso de memoria es muy alto en el nodo de Kubernetes.

Si se activa esta alerta, intente ver qué pod está consumiendo más memoria.

KubernetesDiskPressure

Esta alerta indica que el uso de disco es muy elevado en el nodo Kubernetes.

Si se activa esta alerta, intenta ver qué pod está utilizando un mayor volumen del disco.

Kube-apiserver-slos

KubeAPIErrorBudgetBurn

El servidor de la API de Kubernetes está acumulando una gran cantidad de errores.

node-exporter

NodeFilesystemSpaceFillingUp, NodeFilesystemAlmostOutOfSpace, NodeFilesystemFilesFillingUp

El sistema de archivos de un nodo concreto se está quedando sin espacio. Aprovisione más espacio añadiendo un disco o instalando discos no utilizados.

NodeRAIDDegraded

La matriz RAID presenta un estado degradado debido a uno o varios fallos de disco. El número de unidades de repuesto

es insuficiente para solucionar el problema automáticamente.

NodeRAIDDiskFailure

La matriz RAID precisa atención y posiblemente un intercambio de discos.

NodeNetworkReceiveErrs, NodeNetworkTransmitErrs, NodeHighNumberConntrackEntriesUsed

Hay un problema con la interfaz de red física del nodo. Si los problemas persisten, puede ser necesario sustituirla.

NodeClockSkewDetected, NodeClockNotSynchronising

Hay un problema con el reloj del nodo. Asegúrese de que NTP está correctamente configurado.

node-network

NodeNetworkInterfaceFlapping

Hay un problema con la interfaz de red física del nodo. Si los problemas persisten, puede ser necesario sustituirla.

InternodeCommunicationBroken

El nodo ha dejado de responder debido a un problema que ha provocado la interrupción de la comunicación entre los nodos del clúster.

Para solucionar este problema, reinicia el nodo afectado. Si el problema persiste, ponte en contacto con UiPath® Support con la herramienta de paquete de soporte.

alertmanager.rules

AlertmanagerConfigInconsistent

Se trata de errores internos de AlertManager para clústeres de alta disponibilidad con varias réplicas de AlertManager. Las alertas pueden aparecer y desaparecer de forma intermitente. Reducir temporalmente y luego aumentar las réplicas de AlertManager podría solucionar la incidencia.

Para solucionar el problema, realiza los siguientes pasos:

1. Escalar a cero. Ten en cuenta que los pods tardarán un momento en apagarse:

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0
   

2. Escalar de vuelta a dos:

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2
   

3. Comprueba si los pods de AlertManager se iniciaron y están en estado de ejecución:

   kubectl get po -n cattle-monitoring-system
   

Si el problema persiste, póngase en contacto con el soporte de UiPath®.

AlertmanagerFailedReload

Se ha producido un error al cargar o volver a cargar la configuración de AlertManager. Comprueba si las configuraciones personalizadas de AlertManager contienen errores de entrada y, en caso contrario, ponte en contacto con el servicio de asistencia de UiPath®.

prometheus-operator

PrometheusOperatorListErrors, PrometheusOperatorWatchErrors, PrometheusOperatorSyncFailed, PrometheusOperatorReconcileErrors, PrometheusOperatorNodeLookupErrors, PrometheusOperatorNotReady, PrometheusOperatorRejectedResources

Errores internos del operador de Prometheus, que controla sus recursos. El propio Prometheus puede funcionar bien incluso cuando estos errores están presentes; sin embargo, este error indica que la configuración de la supervisión está degradada. Ponte en contacto con el soporte de UiPath®.

Prometheus

PrometheusBadConfig

Se ha producido un fallo a la hora de cargar o volver a cargar la configuración de Prometheus. Compruebe cualquier configuración personalizada de Prometheus para comprobar si hay errores de entrada. De lo contrario, póngase en contacto con el servicio de soporte de UiPath®.

PrometheusErrorSendingAlertsToSomeAlertmanagers, PrometheusErrorSendingAlertsToAnyAlertmanager, PrometheusNotConnectedToAlertmanagers

La conexión de Prometheus a AlertManager no es buena. Las métricas pueden consultarse y mostrarse en los paneles de control de Grafana, pero las alertas no se activarán. Compruebe cualquier configuración personalizada de AlertManager para ver si hay errores de entrada y, si no es así, póngase en contacto con el servicio de soporte de UiPath®.

PrometheusNotificationQueueRunningFull, PrometheusTSDBReloadsFailing, PrometheusTSDBCompactionsFailing, PrometheusNotIngestingSamples, PrometheusDuplicateTimestamps, PrometheusOutOfOrderTimestamps, PrometheusRemoteStorageFailures, PrometheusRemoteWriteBehind, PrometheusRemoteWriteDesiredShards

Errores internos de Prometheus que indican que las métricas no pueden recopilarse como se espera. Póngase en contacto con el servicio de soporte de UiPath®.

PrometheusRuleFailures

Este hecho puede ocurrir si hay alertas incorrectas basadas en métricas inexistentes o en una sintaxis PromQL incorrecta. Póngase en contacto con el servicio de soporte de UiPath si no se han añadido alertas personalizadas.

PrometheusMissingRuleEvaluations

Prometheus no es capaz de evaluar si las alertas deben activarse. Este problema puede producirse si hay demasiadas alertas. Elimina las evaluaciones de alertas personalizadas costosas y/o consulta la documentación sobre el aumento del límite de la CPU para Prometheus. Póngase en contacto con el servicio de soporte de UiPath si no se han añadido alertas personalizadas.

PrometheusTargetLimitHit

El número de objetivos de los que Prometheus puede recopilar datos es excesivo. Si se han añadido ServiceMonitors adicionales (consulte la consola de supervisión), puede eliminarlos.

uipath.availability.alerts

UiPathAvailabilityHighTrafficUserFacing, UiPathAvailabilityHighTrafficBackend, UiPathAvailabilityMediumTrafficUserFacing, UiPathAvailabilityMediumTrafficBackend, UiPathAvailabilityLowTrafficUserFacing, UiPathAvailabilityLowTrafficBackend

El número de respuestas http 500 de los servicios de UiPath® supera un umbral determinado.

Nivel de tráfico	Número de solicitudes en 20 minutos	Umbral de error (para http 500)
Alto	>100 000	0,1 %
Medio	Entre 10 000 y 100 000	1 %
Bajo	< 10 000	5 %

Los errores en los servicios dirigidos al usuario probablemente supongan una degradación de la funcionalidad que se puede observar directamente en la interfaz de usuario de Automation Suite, mientras que los errores en los servicios de backend tendrían consecuencias menos obvias.

La alerta indica qué servicio está experimentando una alta tasa de errores. Para entender qué problemas continuos puede haber en otros servicios de los que depende el servicio de informes, puede utilizar el panel de carga de trabajo de Istio, que muestra los errores entre servicios.

Vuelve a comprobar cualquier producto de Automation Suite que haya sido reconfigurado recientemente. También se pueden obtener registros detallados con el comando kubectl logs. Si el error persiste, póngase en contacto con el soporte de UiPath®.

uipath.cronjob.alerts.rules

CronJobSuspended

El trabajo cron uipath-infra/istio-configure-script-cronjob está en estado suspendido.

Para solucionar este problema, habilita el trabajo cron siguiendo los siguientes pasos:

export KUBECONFIG="/etc/rancher/rke2/rke2.yaml" && export PATH="$PATH:/usr/local/bin:/var/lib/rancher/rke2/bin"
kubectl -n uipath-infra patch cronjob istio-configure-script-cronjob -p '{"spec":{"suspend":false}}'
epoch=$(date +"%s")
kubectl -n uipath-infra create job istio-configure-script-cronjob-manual-$epoch --from=cronjob/istio-configure-script-cronjob
kubectl -n uipath-infra wait --for=condition=complete --timeout=300s job/istio-configure-script-cronjob-manual-$epoch
kubectl get node -o wide
#Verif if all the IP's listed by the previous command are part of output of the following command
kubectl -n istio-system get svc istio-ingressgateway -o json | jq '.spec.externalIPs'

Error de CronJob "Kerberos-tgt-actualizar" de la UIPath

Este trabajo obtiene el último ticket Kerberos del servidor AD para la autenticación integrada en SQL. Cualquier fallo en este trabajo provocaría el fallo de la autenticación del servidor SQL. Póngase en contacto con el servicio de soporte de UiPath®.

IdentityKerberosTgtUpdateFailed

Este trabajo actualiza el último ticket de Kerberos en todos los servicios de UiPath®. Cualquier fallo en este trabajo provocaría el fallo de la autenticación del servidor SQL. Póngase en contacto con el servicio de soporte de UiPath®.

uipath.requestrouting.alerts

UiPathRequestRouting

Los errores en la capa de enrutamiento de solicitudes darían lugar a una funcionalidad degradada que se puede observar directamente en la interfaz de usuario de Automation Suite. Las solicitudes no se enrutarán a los servicios de backend.

Puedes encontrar el registro de errores detallado del enrutamiento de solicitudes ejecutando el comando kubectl logs en el pod de puerta de enlace de entrada de Istio. Si el error persiste, póngase en contacto con el soporte de UiPath®.

Alertas de certificado TLS del servidor

SecretCertificateExpiry30Days

Esta alerta indica que el certificado TLS del servidor expirará en los próximos 30 días.

Para solucionar este problema, actualiza el certificado TLS del servidor. Para obtener instrucciones, consulta Gestionar certificados de servidor.

SecretCertificateExpiry7Days

Esta alerta indica que el certificado TLS del servidor expirará en los próximos 7 días.

Para solucionar este problema, actualiza el certificado TLS. Para obtener instrucciones, consulta Gestionar certificados de servidor.

Alertas de certificado de firma de token de identidad

IdentityCertificateExpiry30Days

Esta alerta indica que el certificado de firma del token de identidad caducará en los siguientes 30 días.

Para solucionar este problema, actualiza el certificado de firma del token de identidad. Para obtener instrucciones, consulta Gestionar certificados de servidor.

IdentityCertificateExpiry7Days

Esta alerta indica que el certificado de firma de token de identidad expirará en los próximos 7 días.

Para solucionar este problema, actualiza el certificado de firma del token de identidad. Para obtener instrucciones, consulta Gestionar certificados de servidor.

Alertas de etdc

EtcdInsufficientMembers

Esta alerta indica que el clúster etcd no tiene suficientes miembros. Tenga en cuenta que el clúster debe tener un número impar de miembros. La gravedad de esta alerta es fundamental.

Asegúrese de que haya un número impar de nodos de servidor en el clúster y que todos estén activos y en buen estado.

EtcdNoLeader

Esta alerta muestra que el clúster etcd no tiene líder. La gravedad de esta alerta es fundamental.

EtcdHighNumberOfLeaderChanges

Esta alerta indica que el líder etcd cambia más de dos veces en 10 minutos. Esta es una advertencia.

EtcdHighNumberOfFailedGrpcRequests

Esta alerta indica que se detectó un cierto porcentaje de errores de solicitudes de GRPC en etcd.

EtcdGrpcRequestsSlow

Esta alerta indica que las solicitudes etcd GRPC son lentas. Esta es una advertencia.

EtcdHighNumberOfFailedHttpRequests

Esta alerta indica que se ha detectado un determinado porcentaje de fallos HTTP en etcd.

EtcdHttpRequestsSlow

Esta alerta indica que las solicitudes HTTP se están ralentizando. Esta es una advertencia.

EtcdMemberCommunicationSlow

Esta alerta indica que la comunicación de los miembros etcd se está ralentizando. Esta es una advertencia.

EtcdHighNumberOfFailedProposals

Esta alerta indica que el servidor etcd recibió más de 5 propuestas fallidas en la última hora. Esta es una advertencia.

EtcdHighFsyncDurations

Esta alerta indica que la duración de etcd WAL fsync está aumentando. Esta es una advertencia.

EtcdHighCommitDurations

Esta alerta indica que está aumentando la duración de la confirmación en etcd.Esto es una advertencia.

Alertas de tamaño de disco

LowDiskForRancherPartition

Esta alerta indica que el espacio libre para la partición /var/lib/rancher es menor que:

• 35 %: la gravedad de la alerta es advertencia
• 25 %: la gravedad de la alerta es crítica

Si se activa esta alerta, aumente el tamaño del disco.

LowDiskForKubeletPartition

Esta alerta indica que el espacio libre para la partición /var/lib/kubelet es menor que:

• 35 %: la gravedad de la alerta es advertencia
• 25 %: la gravedad de la alerta es crítica Si se activa esta alerta, aumenta el tamaño del disco.

LowDiskForVarPartition

Esta alerta indica que el espacio libre para la partición /var es menor que:

• 35 %: la gravedad de la alerta es advertencia
• 25 %: la gravedad de la alerta es crítica

Nota:

Los requisitos de almacenamiento para las habilidades ML pueden aumentar sustancialmente el uso del disco.

Si se activa esta alerta, aumente el tamaño del disco.