Runbooks d'alerte

Remarque :

• Pour obtenir des instructions générales sur l'utilisation des outils disponibles pour les alertes, les métriques et les visualisations, consultez l'article Utiliser la pile de surveillance
• Pour en savoir plus sur la résolution des problèmes et la création d'un bundle d'assistance destiné aux ingénieurs du support UiPath, consultez l'article Résolution des problèmes.
• Lorsque vous contactez le support UiPath, veuillez inclure toutes les alertes qui se déclenchent actuellement.

Clé de gravité de l'alerte

Gravité de l’alerte	Description
Info	Peu courant mais inoffensif. Peut être désactivé mais peut être utile lors des diagnostics.
Avertissement	Indique une dégradation ciblée des fonctionnalités ou d'une dégradation probable dans un futur proche, pouvant affecter l'ensemble du cluster. Une action rapide est recommandée (généralement dans les prochains jours) pour maintenir le cluster en bonne santé.
Critique (Critical)	Connu pour provoquer une grave dégradation des fonctionnalités, souvent généralisée au sein du cluster. Nécessite une action immédiate (le jour même) pour réparer le cluster.

Règles.générales

TargetDown

Prometheus n'est pas en mesure de collecter les métriques de la cible dans l'alerte, ce qui signifie que les tableaux de bord Grafana et d'autres alertes basées sur les métriques de cette cible ne sont pas disponibles. Vérifiez les autres alertes relatives à cette cible.

Watchdog

Il s'agit d'une alerte destinée à garantir que l'ensemble du pipeline d'alerte est fonctionnel. Cette alerte est toujours déclenchée. Par conséquent, elle doit toujours se déclencher dans AlertManager et à l'encontre d'un récepteur. Il existe des intégrations avec divers mécanismes de notification qui vous avertissent lorsque cette alerte ne se déclenche pas. Par exemple, l'intégration de DeadMansSnitch dans PagerDuty.

kubernetes-apps

KubePodCrashLooping

Un pod qui redémarre sans cesse de manière inattendue. Cela peut se produire en raison d’une erreur de mémoire insuffisante (OOM), auquel cas les limites peuvent être ajustées. Vérifiez les événements du pod avec kubectl describe et les journaux avec kubectl logs pour voir les détails sur les pannes possibles. Si le problème persiste, contactez le support UiPath®.

KubePodNotReady

Un pod a démarré, mais il ne répond pas avec succès à la sonde de santé. Cela peut signifier qu’il est bloqué et qu’il n’est pas en mesure de desservir le trafic. Vous pouvez vérifier les journaux de pod avec kubectl logs pour voir s’il y a une indication de progression. Si le problème persiste, contactez le support UiPath®.

KubeDeploymentGenerationMismatch, KubeStatefulSetGenerationMismatch

Une tentative de mise à jour d’un déploiement ou d’un ensemble d’états a eu lieu, mais elle a échoué et aucune restauration n’a encore eu lieu. Contactez l’assistance UiPath®.

KubeDeploymentReplicasMismatch, KubeStatefulSetReplicasMismatch

Dans les clusters à haute disponibilité avec plusieurs répliques, cette alerte se déclenche lorsque le nombre de répliques n’est pas optimal. Cela peut se produire lorsqu’il n’y a pas suffisamment de ressources dans le cluster à planifier. Vérifiez l’utilisation des ressources et ajoutez de la capacité si nécessaire. Sinon, contactez le support UiPath®.

KubeStatefulSetUpdateNotRolledOut

La mise à jour d’un ensemble d’états a échoué. Contactez l’assistance UiPath®.

Voir aussi : Ensembles d'états.

KubeDaemonSetRolloutStuck

Le déploiement de Daemonset a échoué. Contactez l’assistance UiPath®.

Voir aussi : DaemonSet.

KubeContainerWaiting

Un conteneur est bloqué dans l’état d’attente. Il a été planifié sur un nœud de travail, mais il ne peut pas s’exécuter sur cette machine. Vérifiez le kubectl describe du pod pour plus d’informations. La cause la plus fréquente des conteneurs en attente est l’échec de l’extraction de l’image. Pour les clusters isolés, cela peut signifier que le registre local n’est pas disponible. Si le problème persiste, contactez le support UiPath®.

KubeDaemonSetNotScheduled, KubeDaemonSetMisScheduled

Cela peut indiquer un problème avec l’un des nœuds. Vérifiez l’intégrité de chaque nœud et corrigez tout problème connu. Sinon, contactez le support UiPath®.

KubeJobCompletion

Une tâche prend plus de 12 heures à s’exécuter. Ceci n’est pas normal. Contactez l’assistance UiPath®.

KubeJobFailed

Une tâche a échoué ; cependant, la plupart des tâches font automatiquement l’objet de nouvelles tentatives. Si le problème persiste, contactez le support UiPath®.

KubeHpaReplicasMismatch

L’autoscaler ne peut pas mettre à l’échelle la ressource ciblée telle qu’elle est configurée. Si la valeur souhaitée est supérieure à la valeur réelle, il y a peut-être un manque de ressources. Si la valeur souhaitée est inférieure à la valeur réelle, les pods peuvent être bloqués lors de l’arrêt. Si le problème persiste, contactez le support UiPath®.

Voir aussi : Horizontal Pod Autoscaling

KubeHpaMaxedOut

Le nombre de répliques d'un service donné a atteint son maximum. Cela se produit lorsque le nombre de requêtes adressées au cluster est très élevé. Si un trafic élevé est prévu et temporaire, vous pouvez désactiver cette alerte. Cependant, cette alerte est un signe que le cluster est à pleine capacité et ne peut pas gérer beaucoup plus de trafic. Si une plus grande capacité de ressources est disponible sur le cluster, vous pouvez augmenter le nombre maximal de répliques du service en suivant ces instructions :

# Find the horizontal autoscaler that controls the replicas of the desired resource
kubectl get hpa -A
# Increase the number of max replicas of the desired resource, replacing <namespace> <resource> and <maxReplicas>
kubectl -n <namespace> patch hpa <resource> --patch '{"spec":{"maxReplicas":<maxReplicas>}}'

Voir aussi : Horizontal Pod Autoscaling.

kubernetes-resources

KubeCPUOvercommit, KubeMemoryOvercommit

Ces avertissements indiquent que le cluster ne peut pas tolérer une panne de nœud. Pour les clusters en mode d'évaluation à nœud unique, cela est courant et ces alertes peuvent être désactivées. Pour les configurations en mode de production multi-nœuds compatible haute disponibilité, ces alertes se déclenchent lorsqu'un trop grand nombre de nœuds deviennent défectueux pour prendre en charge la haute disponibilité, et elles indiquent que les nœuds doivent être rétablis ou remplacés.

KubeCPUQuotaOvercommit, KubeMemoryQuotaOvercommit, KubeQuotaAlmostFull, KubeQuotaFullyUsed, KubeQuotaExceeded

Ces alertes concernent les quotas de ressources d'espace de noms qui n'existent dans le cluster que s'ils sont ajoutés via la personnalisation. Les quotas de ressources d'espace de noms ne sont pas ajoutés dans le cadre de l'installation d'Automation Suite.

Voir aussi : Quotas de ressources.

CPUThrottlingHigh

L'utilisation du processeur d'un conteneur a été limitée en fonction des limites configurées. Cela fait partie du fonctionnement normal de Kubernetes et peut fournir des informations utiles lorsque d'autres alertes se déclenchent. Vous pouvez désactiver cette alerte.

Kubernetes-storage

KubePersistentVolumeFillingUp

Quand Avertissement (Warning) s'affiche : l'espace disponible est inférieur à 15 % et est susceptible de se remplir dans les quatre jours.

Lorsque Critique (Critical) s'affiche : l'espace disponible est inférieur à 3 %.

Pour tous les services qui manquent d'espace, les données peuvent être difficiles à récupérer, les volumes doivent donc être redimensionnés avant d'atteindre 0 % d'espace disponible. Consultez les instructions suivantes : Configuration du cluster.

Pour les alertes spécifiques à Prometheus, consultez UtilisationStorage Prometheus pour plus de détails et d'instructions.

KubePersistentVolumeErrors

PersistentVolume ne peut pas être enregistré. Cela signifie que tout service nécessitant le volume ne démarrerait pas. Recherchez d’autres erreurs avec le stockage Longhorn et/ou Ceph et contactez le support UiPath®.

kube-state-metrics

KubeStateMetricsListErrors, KubeStateMetricsWatchErrors

Le collecteur Kube State Metrics n’est pas en mesure de collecter les métriques du cluster sans erreur. Cela signifie que les alertes importantes peuvent ne pas se déclencher. Contactez l’assistance UiPath®.

Voir aussi : Kube State Metrics à la publication.

kubernetes-system-apiserver

KubeClientCertificateExpiration

Lorsque Avertissement (Warning) s'affiche : un certificat client utilisé pour s'authentifier auprès du serveur d'API Kubernetes expire dans moins de sept jours.

Lorsque Critique (Critical)s'affiche : un certificat client utilisé pour s'authentifier auprès du serveur d'API Kubernetes expire en moins d'un jour.

Vous devez renouveler le certificat.

AggregatedAPIErrors, AggregatedAPIDown, KubeAPIDown, KubeAPITerminatedRequests

Indique des problèmes avec le plan de contrôle Kubernetes. Vérifiez l'état des nœuds maîtres, résolvez les problèmes en cours et contactez le support UiPath si les problèmes persistent.

Voir également :

L'API Kubernetes

Couche d'agrégation de l'API Kubernetes

kubernetes-system-kubelet

KubeNodeNotReady, KubeNodeUnreachable, KubeNodeReadinessFlapping, KubeletPlegDurationHigh, KubeletPodStartUpLatencyHigh, KubeletDown

Ces alertes indiquent un problème avec un nœud. Dans les clusters en mode de production multi-nœuds compatible haute disponibilité, les pods seraient probablement replanifiés sur d'autres nœuds. Si le problème persiste, vous devez supprimer et vider le nœud pour maintenir l'intégrité du cluster. Dans les clusters sans capacité supplémentaire, un autre nœud doit d'abord être joint au cluster.

KubeletTooManyPods

Il y a trop de pods en cours d'exécution sur le nœud spécifié.

Joignez un autre nœud au cluster.

KubeletClientCertificateExpiration, KubeletServerCertificateExpiration

Quand Avertissement (Warning) s'affiche : Un certificat client ou serveur pour Kubelet expire dans moins de sept jours.

Lorsque Critique (Critical) s'affiche : un certificat client ou serveur pour Kubelet expire dans moins d'un jour.

Vous devez renouveler le certificat.

KubeletClientCertificateRenewalErrors, KubeletServerCertificateRenewalErrors

Kubelet n’a pas réussi à renouveler son certificat client ou serveur. Contactez l’assistance UiPath®.

kubernetes-system

KubeVersionMismatch

Il existe différentes versions sémantiques des composants Kubernetes en cours d'exécution. Cela peut se produire à la suite d'une mise à niveau infructueuse de Kubernetes.

KubeClientErrors

Le client du serveur d'API Kubernetes rencontre plus de 1 % d'erreurs. Il peut y avoir un problème avec le nœud sur lequel ce client s'exécute ou avec le serveur d'API Kubernetes lui-même.

Kube-apiserver-slos

KubeAPIErrorBudgetBurn

Le serveur d'API Kubernetes consomme trop de budget d'erreur.

node-exporter

NodeFilesystemSpaceFillingUp, NodeFilesystemAlmostOutOfSpace, NodeFilesystemFilesFillingUp

Le système de fichiers sur un nœud particulier se remplit. Enregistrez plus d'espace en ajoutant un disque ou en montant des disques inutilisés.

NodeRAIDDegraded

La matrice RAID est dans un état dégradé en raison d'une ou plusieurs pannes de disque. Le nombre de disques libres

est insuffisant pour résoudre le problème automatiquement.

NodeRAIDDiskFailure

La matrice RAID a besoin d'attention et éventuellement d'un changement de disque.

NodeNetworkReceiveErrs, NodeNetworkTransmitErrs, NodeHighNumberConntrackEntriesUsed

Il y a un problème avec l'interface réseau physique sur le nœud. Si les problèmes persistent, il peut être nécessaire de le remplacer.

NodeClockSkewDetected, NodeClockNotSynchronising

Il y a un problème avec l'horloge sur le nœud. Assurez-vous que NTP est configuré correctement.

node-network

NodeNetworkInterfaceFlapping

Il y a un problème avec l'interface réseau physique sur le nœud. Si les problèmes persistent, il peut être nécessaire de le remplacer.

uipath.prometheus.resource.provisioning.alerts

PrometheusMemoryUsage, PrometheusStorageUsage

Ces alertes vous avertissent lorsque le cluster approche des limites configurées pour la mémoire et le stockage. Cela est susceptible de se produire sur les clusters avec une augmentation substantielle récente de l'utilisation (généralement de la part des Robots plutôt que des utilisateurs), ou lorsque des nœuds sont ajoutés au cluster sans ajuster les ressources Prometheus. Cela est dû à une augmentation de la quantité de mesures collectées.

Le taux d'utilisation accrue du stockage peut être consulté sur le tableau de bord Kubernetes/Persistent Volumes :

Vous pouvez l'ajuster en redimensionnant le PVC comme indiqué ici : Configuration du cluster.

Le taux d'utilisation accrue de la mémoire peut être consulté sur le tableau de bord Kubernetes/Ressources de calcul (Compute Resources)/Pod.

Vous pouvez l'ajuster en modifiant les limites des ressources mémoire Prometheus dans l'application rancher-monitoring d'ArgoCD. L'application de surveillance Rancher se resynchronise automatiquement après avoir cliqué sur Enregistrer ( Save) .

Notez que Prometheus met un certain temps à redémarrer et à recommencer à afficher les métriques dans Grafana. Cela prend généralement moins de 10 minutes, même avec de grands clusters.

alertmanager.rules

AlertmanagerConfigInconsistent

Il s'agit d'erreurs internes du gestionnaire d'alertes pour les clusters haute disponibilité avec plusieurs répliques du gestionnaire d'alertes. Les alertes peuvent apparaître et disparaître par intermittence. La réduction temporaire, puis la mise à l'échelle des répliques du gestionnaire d'alertes peuvent résoudre le problème.

Pour résoudre le problème, procédez comme suit :

1. Définissez la mise à l'échelle sur zéro. Notez qu'il faut un moment pour que les pods s'arrêtent :

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0

2. Redéfinissez la mise à l'échelle sur deux :

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2

3. Vérifiez si les pods du gestionnaire d'alertes ont démarré et sont en cours d'exécution :

   kubectl get po -n cattle-monitoring-system

Si le problème persiste, contactez le support UiPath®.

AlertmanagerFailedReload

AlertManager n’a pas pu charger ou recharger la configuration. Veuillez vérifier toutes les configurations AlertManager personnalisées pour les erreurs de saisie ; sinon, contactez l’assistance UiPath®.

prometheus-operator

PrometheusOperatorListErrors, PrometheusOperatorWatchErrors, PrometheusOperatorSyncFailed, PrometheusOperatorReconcileErrors, PrometheusOperatorNodeLookupErrors, PrometheusOperatorNotReady, PrometheusOperatorRejectedResources

Erreurs internes de l’opérateur Prometheus, qui contrôle les ressources Prometheus. Prometheus peut lui-même conserver une bonne intégrité alors que ces erreurs sont présentes ; cependant, cette erreur indique que la configurabilité de la surveillance est dégradée. Contactez l’assistance UiPath®.

Prometheus

PrometheusBadConfig

Prometheus n’a pas pu charger ou recharger la configuration. Veuillez vérifier toutes les configurations Prometheus personnalisées pour les erreurs de saisie. Sinon, contactez le support UiPath®.

PrometheusErrorSendingAlertsToSomeAlertmanagers, PrometheusErrorSendingAlertsToAnyAlertmanager, PrometheusNotConnectedToAlertmanagers

La connexion de Prometheus à AlertManager n’est pas saine. Les métriques peuvent toujours faire l’objet de requêtes et les tableaux de bord Grafana peuvent toujours les afficher, mais les alertes ne se déclencheront pas. Vérifiez toute configuration personnalisée d’AlertManager pour les erreurs de saisie. Sinon, contactez le support UiPath®.

PrometheusNotificationQueueRunningFull, PrometheusTSDBReloadsFailing, PrometheusTSDBCompactionsFailing, PrometheusNotIngestingSamples, PrometheusDuplicateTimestamps, PrometheusOutOfOrderTimestamps, PrometheusRemoteStorageFailures, PrometheusRemoteWriteBehind, PrometheusRemoteWriteDesiredShards

Les erreurs internes Prometheus indiquant que les métriques peuvent ne pas être collectées comme prévu. Veuillez contacter l’assistance UiPath®.

PrometheusRuleFailures

Cela peut se produire s’il existe des alertes malformées basées sur des métriques inexistantes ou une syntaxe PromQL incorrecte. Contactez l’assistance UiPath® si aucune alerte personnalisée n’a été ajoutée.

PrometheusMissingRuleEvaluations

Prometheus n’est pas en mesure d’évaluer si les alertes doivent être déclenchées. Cela peut se produire s’il y a trop d’alertes. Veuillez supprimer les évaluations d’alertes personnalisées coûteuses et/ou consulter la documentation sur l’augmentation de la limite du processeur pour Prometheus. Contactez l’assistance UiPath® si aucune alerte personnalisée n’a été ajoutée.

PrometheusTargetLimitHit

Il y a trop de cibles depuis lesquelles Prometheus peut collecter. Si des ServiceMonitors supplémentaires ont été ajoutés (voir Console de surveillance), vous pouvez les supprimer.

uipath.availability.alerts

UiPathAvailabilityHighTrafficUserFacing, UiPathAvailabilityHighTrafficBackend, UiPathAvailabilityMediumTrafficUserFacing, UiPathAvailabilityMediumTrafficBackend, UiPathAvailabilityLowTrafficUserFacing, UiPathAvailabilityLowTrafficBackend

Le nombre de réponses http 500 des services UiPath® dépasse la limite donnée.

Niveau de trafic	Nombre de requêtes en 20 minutes	Seuil d'erreur (pour http 500s)
Haute	>100 000	0,1 %
Moyenne	Entre 10 000 et 100 000	1 %
Basse	< 10 000	5 %

Les erreurs dans les services destinés aux utilisateurs entraîneraient probablement une dégradation des fonctionnalités directement observable dans l'interface utilisateur d'Automation Suite, tandis que les erreurs dans les services principaux auraient des conséquences moins visibles.

L'alerte indique quel service connaît actuellement un taux d'erreur élevé. Pour comprendre les problèmes pouvant découler d'autres services dont dépend le service de création de rapports, vous pouvez utiliser le tableau de bord Istio Workload, qui affiche les erreurs entre les services.

Veuillez revérifier tous les produits Automation Suite récemment reconfigurés. Des journaux détaillés sont également disponibles avec la commande kubectl logs. Si l’erreur persiste, veuillez contacter l’assistance UiPath®.

uipath.cronjob.alerts.rules

Échec de la tâche UiPath CronJob « kerberos-tgt-refresh »

Cette tâche obtient le dernier ticket Kerberos du serveur AD pour l’authentification intégrée SQL. Les échecs de cette tâche entraîneraient l’échec de l’authentification du serveur SQL. Veuillez contacter l’assistance UiPath®.

UiPath CronJob Kerberos-tgt-secret-update a échoué

Cette tâche met à jour le dernier ticket Kerberos pour tous les services UiPath. Les échecs de cette tâche entraîneraient l'échec de l'authentification du serveur SQL. Veuillez contacter l'assistance UiPath.

Osd-alert.rules

CephOSDNearFull

Lorsque la gravité de l'alerte indiquée est Avertissement (Warning), l'espace disponible est inférieur à 25 % et risque de se remplir très bientôt.

Pour tous les services qui manquent d'espace, les données peuvent être difficiles à récupérer, nous vous recommandons donc de redimensionner les volumes avant d'atteindre 10 % d'espace disponible. Consultez les instructions suivantes : Configuration du cluster.

CephOSDCriticallyFull

Lorsque la gravité de l'alerte est Critique (Critical), l'espace disponible est inférieur à 20 %.

Pour tous les services qui manquent d'espace, les données peuvent être difficiles à récupérer, nous vous recommandons donc de redimensionner les volumes avant d'atteindre 10 % d'espace disponible. Consultez les instructions suivantes : Configuration du cluster.