Utilisation de la pile de surveillance

La pile de surveillance pour les clusters Automation Suite comprend Prometheus, Grafana et Alertmanager, qui sont intégrés dans l'interface utilisateur de Rancher Cluster Explorer.

Remarque :

Les défaillances de nœud peuvent provoquer un arrêt de Kubernetes, ce qui aura pour effet de perturber les alertes Prometheus. Pour éviter cela, nous vous recommandons de configurer une alerte distincte sur le serveur RKE2.

Cette page décrit une série de scénarios de surveillance. Pour plus de détails, consultez la documentation officielle de Rancher sur l'utilisation de Rancher Monitoring.

Important :

Lors de l'utilisation de collecteurs pour exporter des métriques vers des outils tiers, l'activation de la surveillance des applications peut perturber les fonctionnalités d'Automation Suite.

Accéder au tableau de bord de surveillance Rancher

1. Accédez à Rancher Cluster Explorer via https://monitoring.{cluster_host}. L'écran qui s'affiche varie selon qu'il s'agit de la première connexion à Rancher Server.
2. Entrer le mot de passe. Le mot de passe est le même dans les deux cas. Il peut être récupéré avec la commande suivante :

   kubectl get secret -n cattle-system rancher-admin-password -o jsonpath='{.data.password}' | base64 -d && echo

   
   

   

   
   

   
   

   

   
   
3. Ouvrez Cluster Explorer en cliquant sur le lien local sur la page principale de Rancher Server.
   
   

   

   
   
4. Cliquez sur le menu Surveillance (Monitoring) dans la barre latérale.
   
   

   

   
   

   
   

   

   
   

Vérification des alertes en cours de déclenchement

Dans le tableau de bord Surveillance (Monitoring), vérifiez le volet inférieur pour les alertes en cours de déclenchement. Les captures d'écran suivantes montrent plusieurs alertes en cours de déclenchement.

Mettre les alertes en silencieux

Si les alertes sont trop bruyantes, vous pouvez les désactiver. Pour ce faire, procédez comme suit :

1. Cliquez sur la vignette Alertmanager dans le coin supérieur gauche du tableau de bord Surveillance (Monitoring). Le message suivant s'affiche.
   
   

   

   
   
2. Recherchez l'alerte en question et sélectionnez Silence.
   
   

   

   
   
3. Renseignez les détails Créateur (Creator) et Commentaire (Comment), puis cliquez sur Créer (Create). L'alerte ne devrait plus s'afficher sur le tableau de bord de surveillance ni être signalée à l'un des récepteurs configurés.

Envoi d'alertes à un récepteur externe

Il est fortement recommandé de configurer un récepteur externe pour les alertes. De cette façon, les alertes seront transmises au fur et à mesure, au lieu de nécessiter une actualisation du tableau de bord de surveillance pour voir les dernières alertes.

Pour plus de détails sur l'envoi d'alertes à un récepteur externe, consultez la documentation Rancher sur la Configuration du récepteur Alertmanager.

En plus d'un récepteur, vous devez configurer au moins une route qui utilisera ce récepteur. Une route définit comment les alertes sont regroupées et quelles alertes sont envoyées au récepteur. Consultez la documentation de Rancher sur la Configuration de route pour Alertmanager.

Voir ci-dessous un exemple de la façon dont les alertes seront affichées lors de l'utilisation du récepteur Slack. En cliquant sur le lien vers AlertManager, vous accédez à la console AlertManager où les alertes peuvent être désactivées et à d'autres liens vers l'expression Prometheus qui a déclenché l'alerte. En cliquant sur l'URL du Runbook, vous serez redirigé vers cette page contenant des instructions de correction spécifiques. Ces liens sont également présents lorsque des alertes sont envoyées à d'autres récepteurs externes.

Accéder au tableau de bord Grafana

Dans le tableau de bord Surveillance (Monitoring), cliquez sur la vignette Grafana. Le tableau de bord Grafana est maintenant affiché.

Surveillance du service Mesh

Vous pouvez surveiller Istio Service Mesh via les tableaux de bord Grafana suivants : Istio Mesh et Istio Workload.

Tableau de bord Istio Mesh

Ce tableau de bord affiche le volume global de demandes, ainsi que les taux d'erreur 400 et 500 sur l'ensemble du service mesh, pour la période sélectionnée. Les données sont affichées dans le coin supérieur droit de la fenêtre. Voir les 4 tableaux en haut pour cette information.

Il montre également le taux de réussite (Success Rate) immédiat au cours de la dernière minute pour chaque service individuel. Notez qu'un taux de réussite affichant NaN indique que le service ne dessert pas actuellement le trafic.

Tableau de bord Istio Workload

Ce tableau de bord affiche les métriques de trafic sur la plage horaire sélectionnée dans le coin supérieur droit de la fenêtre.

Utilisez les sélecteurs en haut du tableau de bord pour explorer des charges de travail spécifiques. L'espace de noms uipath est particulièrement intéressant.

La section supérieure affiche les métriques globales, la section Charges de travail entrantes (Inbound Workloads) sépare le trafic en fonction de l'origine et la section Services sortants (Outbound Services) sépare le trafic en fonction de la destination.

Surveillance des volumes persistants

Vous pouvez surveiller les volumes persistants via le tableau de bord Kubernetes / Persistent Volumes. Vous pouvez suivre l'espace libre et utilisé pour chaque volume.

Vous pouvez également vérifier l'état de chaque volume en cliquant sur l'élément PersistentVolumes dans le menu Stockage (Storage) de Cluster Explorer.

Surveillance de l'utilisation du matériel

Pour vérifier l'utilisation du matériel par nœud, vous pouvez utiliser le tableau de bord des nœuds (Nodes). Les données sur le processeur, la mémoire, le disque et le réseau sont disponibles.

Vous pouvez surveiller l'utilisation du matériel pour des charges de travail spécifiques à l'aide du tableau de bord Kubernetes / Ressources de calcul (Compute Resources) / Espace de noms (charges de travail) (Namespace (Workloads)). Sélectionnez l'espace de noms uipath pour obtenir les données nécessaires.

Création d'un instantané visuel partageable d'un graphique Grafana

1. Cliquez sur la flèche pointant vers le bas à côté du titre du graphique, puis sélectionnez Partager (Share).
2. Cliquez sur l'onglet Instantané (Snapshot) et définissez le Nom de l'instantané (Snapshot name), Expiration (Expire) et Délai d'expiration (Timeout).
3. Cliquez sur Publier (Publish) sur snapshot.raintank.io.

Pour plus de détails, consultez la documentation Grafana sur le partage des tableaux de bord.

Remarque : Cet instantané est visible sur l'Internet public par toute personne disposant du lien.

Création de tableaux de bord Grafana persistants personnalisés

Pour plus de détails sur la création de tableaux de bord Grafana persistants personnalisés, consultez la documentation Rancher.

Accès administrateur à Grafana

L'accès administrateur à Grafana n'est généralement pas nécessaire dans les clusters Automation Suite car les tableaux de bord sont disponibles pour un accès en lecture par défaut aux utilisateurs anonymes, et la création de tableaux de bord persistants personnalisés doit être effectuée à l'aide des instructions exécutables de Kubernetes détaillées ci-dessus dans ce document.

Néanmoins, l'accès administrateur à Grafana est possible avec les instructions ci-dessous.

Le nom d'utilisateur et le mot de passe par défaut pour l'accès administrateur Grafana peuvent être récupérés comme suit :

kubectl get secret -n cattle-monitoring-system rancher-monitoring-grafana -o jsonpath='{.data.admin-user}' | base64 -d && echo
kubectl get secret -n cattle-monitoring-system rancher-monitoring-grafana -o jsonpath='{.data.admin-password}' | base64 -d && echo

Notez que dans les clusters haute disponibilité Automation Suite, il existe plusieurs pods Grafana afin de permettre un accès en lecture ininterrompu en cas de défaillance du nœud, ainsi qu'un volume plus élevé de requêtes en lecture. Ceci est incompatible avec l'accès administrateur car les pods ne partagent pas l'état de la session et la connexion, elle, l'exige. Afin de contourner ce problème, le nombre de répliques Grafana doit être temporairement réduit à 1. L'accès administrateur est quant à lui préféré. Voir ci-dessous pour obtenir des instructions sur la façon de mettre à l'échelle le nombre de répliques Grafana :

# scale down
kubectl scale -n cattle-monitoring-system deployment/rancher-monitoring-grafana --replicas=1
# scale up
kubectl scale -n cattle-monitoring-system deployment/rancher-monitoring-grafana --replicas=2

Envoyer une requête à Prometheus

Dans le tableau de bord de surveillance (Monitoring Dashboard), cliquez sur Graphique Prometheus (Prometheus Graph). Une nouvelle fenêtre s'affiche.

La documentation sur les métriques disponibles est ici :

• https://github.com/prometheus/node\_exporter#enabled-by-default - Connectez-vous pour prévisualiser
• https://github.com/kubernetes/kube-state-metrics/tree/master/docs#exposed-metrics - Connectez-vous pour prévisualiser
• Envoyer des requêtes métriques depuis Prometheus (Istio)

Création d'alertes personnalisées

Vous pouvez créer des alertes personnalisées à l'aide d'une requête Prometheus en utilisant une expression booléenne.

1. Pour ce faire, cliquez sur Règles Prometheus (Prometheus Rules) dans le menu Avancé (Advanced) du Tableau de bord de surveillance (Monitoring Dashboard).
   
   

   

   
   

   
   

   

   
   
2. Cliquez sur Créer (Create) dans le coin supérieur droit de la fenêtre pour créer une nouvelle alerte et suivez la documentation Rancher : PrometheusRules
3. Lorsque l'alerte se déclenchera, elle devrait s'afficher sur le tableau de bord de surveillance. Elle sera également acheminée vers l'un des récepteurs configurés.

Surveillance du statut des ressources Kubernetes

Pour voir l'état des pods, des déploiements, des ensembles d'états, etc., vous pouvez utiliser l'interface utilisateur de Cluster Explorer. Il s'agit de la même page d'accueil que celle à laquelle vous pouvez accéder après la connexion au point de terminaison rancher-server. La page d'accueil affiche un résumé, avec des détails spécifiques pour chaque type de ressource sur la gauche. Notez le sélecteur d'espace de noms en haut de la page. Ce tableau de bord peut également être remplacé par l'outil Lentille (Lens).

Exportation des métriques Prometheus vers un système externe

Prometheus utilise la fonction d'écriture à distance Prometheus pour collecter et exporter les métriques Prometheus vers un système externe.

Remarque : UiPath ne prend pas en charge ni ne gère les intégrations de point de terminaison d'écriture à distance. Cependant, les points de terminaison sont compatibles avec l'instance Prometheus fournie dans Automation Suite.

Pour configurer remote_write sur un cluster Automation Suite :

1. Connectez-vous à ArgoCD.
2. Cliquez sur Applications.
3. Accédez à Fabric-installer.
4. Ouvrez le panneau DÉTAILS DE L'APPLICATION et désactivez l'autoréparation.
5. Accédez à l'application rancher-monitoring.
   
   

   

   
   
6. Ouvrez le panneau APP DETAILS > onglet MANIFEST.
   
   

   

   
   
7. Cliquez sur MODIFIER (EDIT) et accédez à la section valeurs (values) > prometheus > prometheusSpec.
8. Ajoutez les configurations remoteWrite souhaitées.

   Découvrez les configurations disponibles pour la fonctionnalité d'écriture à distance.

9. ENREGISTREZ (SAVE) la nouvelle configuration. L'application rancher-monitoring affiche OutOfSync jusqu'à ce que la nouvelle configuration soit appliquée.
   Remarque : Prometheus n'a pas besoin de redémarrer pour appliquer les nouvelles configurations d'écriture à distance.

   

   
   

   

   
   
10. Testez l'intégration d'écriture à distance souhaitée. Revenez à l'étape 8 pour ajouter une nouvelle configuration.