Verwendung des Überwachungs-Stacks

Der Überwachungs-Stack für Automation Suite-Cluster umfasst Prometheus, Grafana und Alertmanager, die in der Benutzeroberfläche von Rancher Cluster Explorer integriert sind.

Hinweis:

Knotenfehler können zu einem Herunterfahren von Kubernetes führen, wodurch Prometheus-Warnungen unterbrochen werden. Um das zu verhindern, empfehlen wir die Einrichtung einer separaten Warnung auf dem RKE2-Server.

This page describes a series of monitoring scenarios. For more details, see the official Rancher documentation on using Rancher Monitoring.

Wichtig:

Wenn Sie Sammler zum Exportieren von Metriken in Tools von Drittanbietern verwenden, kann die Aktivierung der Anwendungsüberwachung die Funktionalität der Automation Suite beeinträchtigen.

Zugriff auf das Rancher-Überwachungsdashboard

1. Greifen Sie über https://monitoring.{cluster_host} auf den Rancher Cluster Explorer zu. Wenn das das erste Mal ist, dass Sie eine Verbindung mit dem Rancher Server herstellen, sieht die Anzeige anders aus.

2. Geben Sie das Kennwort ein. Das Kennwort ist in beiden Fällen gleich. Es kann mit dem folgenden Befehl abgerufen werden:

   kubectl get secret -n cattle-system rancher-admin-password -o jsonpath='{.data.password}' | base64 -d && echo
   

   

   

3. Öffnen Sie den Cluster Explorer, indem Sie auf den local Link auf der Hauptseite des Rancher-Servers klicken.

   

4. Klicken Sie auf das Menü Monitoring in der Seitenleiste.

   

   

Überprüfen aktuell ausgelöster Warnungen

Überprüfen Sie im Dashboard Monitoring den unteren Bereich auf aktuelle Warnungen. Die folgenden Screenshots zeigen mehrere aktuell ausgelöste Warnungen.

Stummschalten von Warnungen

Wenn Warnungen zu laut sind, können Sie sie stumm schalten. Führen Sie dazu die folgenden Schritte aus:

1. Wählen Sie die Kachel Alertmanager in der oberen linken Ecke des Dashboards Monitoring aus. Die folgende Meldung wird angezeigt.

   

2. Suchen Sie die betreffende Warnung und wählen Sie Silence aus.

   

3. Geben Sie die Angaben zum Ersteller und zum Kommentar ein und wählen Sie Erstellen aus. Die Warnung sollte nicht mehr im Dashboard Monitoring angezeigt oder einem der konfigurierten Empfänger gemeldet werden.

Senden von Warnungen an einen externen Empfänger

Es wird dringend empfohlen, einen externen Empfänger für Warnungen einzurichten. Auf diese Weise werden Warnungen während ihrer Ausführung gepusht, ohne dass Dashboard Monitoring aktualisiert werden muss, um die neuesten Warnungen anzuzeigen.

For details on how to send alerts to an external receiver, see the Rancher documentation on Alertmanager Receiver Configuration.

In addition to a receiver, you must configure at least one route that uses that receiver. A route defines how alerts are grouped, and which alerts are sent to the receiver. See the Rancher documentation on Alertmanager Route Configuration.

See below for an example of how the alerts will be displayed when using the Slack receiver. Clicking the link to AlertManager will take you to the AlertManager console where alerts can be silenced and there are further links to the Prometheus expression that triggered the alert. Clicking the Runbook URL will take you to this page with specific remediation instructions. These links are also present when alerts are sent to other external receivers.

Zugriff auf das Grafana-Dashboard

On the Monitoring dashboard, click the Grafana tile. The Grafana dashboard is now displayed.

Überwachen des Dienstgeflechts

Sie können das Istio Service Mesh über die folgenden Grafana-Dashboards überwachen: Istio Mesh und Istio Workload.

Istio Mesh-Dashboard

Dieses Dashboard zeigt das gesamte Anforderungsvolumen sowie die Häufigkeit von 400er und 500er Fehlern im gesamten Dienstgeflecht für den ausgewählten Zeitraum an. Die Daten werden in der oberen rechten Ecke des Fensters angezeigt. Diese Informationen finden Sie in den 4 Diagrammen oben.

Es zeigt auch die sofortige Erfolgsquote („Success Rate“) in den letzten Minuten für jeden einzelnen Dienst an. Beachten Sie, dass eine Success Rate von NaN angibt, dass der Dienst derzeit keinen Datenverkehr leistet.

Istio-Workload-Dashboard

Dieses Dashboard zeigt die Datenverkehrsmetriken über den ausgewählten Zeitbereich in der oberen rechten Ecke des Fensters an.

Verwenden Sie die Selektoren oben im Dashboard, um bei bestimmten Workloads einen Drilldown durchzuführen. Von besonderem Interesse ist der Namespace uipath.

Im oberen Abschnitt werden die Gesamtmetriken angezeigt, im Abschnitt Inbound Workloads wird der Datenverkehr basierend auf der Herkunft dargestellt und im Abschnitt Outbound Services wird Datenverkehr basierend auf dem Ziel dargestellt.

Überwachung persistenter Volumes

Sie können persistente Volumes über das Dashboard Kubernetes/Persistent Volumes überwachen. Sie können den freien und genutzten Platz für jedes Volume nachverfolgen.

Sie können auch den Status jedes Volumes überprüfen, indem Sie im Menü Storage des Cluster Explorer auf das Element PersistentVolumes klicken.

Überwachung der Hardwarenutzung

Um die Hardwarenutzung pro Knoten zu überprüfen, können Sie das Dashboard Nodes verwenden. Angaben zu CPU, Arbeitsspeicher, Datenträger und Netzwerk können angezeigt werden.

Sie können die Hardwarenutzung für bestimmte Workloads mithilfe des Dashboards Kubernetes / Compute Resources / Namespace (Workloads) überwachen. Wählen Sie den Namespace uipath aus, um die erforderlichen Daten abzurufen.

Erstellen einer gemeinsam nutzbaren visuellen Momentaufnahme eines Grafana-Diagramms

1. Wählen Sie den abwärts zeigenden Pfeil neben dem Diagrammtitel und dann Share aus.
2. Wählen Sie die Registerkarte Snapshot aus und legen Sie den Namen für Momentaufnahme Snapshot name,das Ablaufdatum Expire und Timeout fest.
3. Wählen Sie Veröffentlichen in Snapshot.rainrain.io aus.

Weitere Informationen finden Sie in der Grafana-Dokumentation zum Freigeben von Dashboards.

Hinweis:

Diese Momentaufnahme ist für jeden mit dem Link im Internet öffentlich sichtbar.

Erstellen benutzerdefinierter persistenter Grafana-Dashboards

For details on how to create custom persisten Grafana dashboards, see Rancher documentation.

Administratorzugriff auf Grafana

Administratorzugriff auf Grafana wird in der Regel nicht in Automation Suite-Clustern benötigt, da anonyme Benutzer standardmäßig Lesezugriff auf Dashboards haben und benutzerdefinierte persistente Dashboards anhand der zuvor in diesem Dokument verlinkten speziellen Kubernetes-Anweisungen erstellt werden müssen.

Dennoch ist der Administratorzugriff auf Grafana mit den folgenden Anweisungen möglich.

Der Standardbenutzername und das Kennwort für den Grafana-Administratorzugriff können wie folgt abgerufen werden:

kubectl get secret -n cattle-monitoring-system rancher-monitoring-grafana -o jsonpath='{.data.admin-user}' | base64 -d && echo
kubectl get secret -n cattle-monitoring-system rancher-monitoring-grafana -o jsonpath='{.data.admin-password}' | base64 -d && echo

Beachten Sie, dass in Automation Suite-Clustern mit Hochverfügbarkeit mehrere Grafana-Pods vorhanden sind, um im Falle eines Knotenfehlers einen unterbrechungsfreien Lesezugriff sowie mehr Leseabfragen zu ermöglichen. Dies ist nicht mit dem Administratorzugriff kompatibel, da die Pods den Sitzungsstatus nicht freigeben und die Anmeldung dies erfordert. Um dies zu umgehen, muss die Anzahl der Grafana-Replikate vorübergehend auf 1 skaliert werden, solange der Administratorzugriff gewünscht wird. Siehe die Anweisungen zum Skalieren der Anzahl der Grafana-Replikate:

# scale down
kubectl scale -n cattle-monitoring-system deployment/rancher-monitoring-grafana --replicas=1
# scale up
kubectl scale -n cattle-monitoring-system deployment/rancher-monitoring-grafana --replicas=2

Abfragen von Prometheus

On the Monitoring Dashboard, click Prometheus Graph. A new window is displayed.

Die Dokumentation zu den verfügbaren Metriken finden Sie hier:

• https://github.com/prometheus/node_exporter#enabled-by-default – Verbinden für Vorschau
• https://github.com/kubernetes/kube-state-metrics/tree/master/docs#exposed-metrics – Verbinden für Vorschau
• Abfragen von Metriken aus Prometheus (Istio)

Erstellen benutzerdefinierter Warnungen

Sie können benutzerdefinierte Warnungen mithilfe einer Prometheus-Abfrage mit einem booleschen Ausdruck erstellen.

1. Klicken Sie dazu im Menü Erweitert des Monitoring Dashboard auf Prometheus Rules.

   

   

2. Click Create in the upper-right corner of the window to create a new alert, and follow the Rancher documentation: PrometheusRules

3. Wenn die Warnung ausgelöst wird, sollte sie im Monitoring Dashboard angezeigt werden. Darüber hinaus wird er an einen beliebigen konfigurierten Receiver weitergeleitet.

Überwachung des Kubernetes-Ressourcenstatus

Um den Status von Pods, Bereitstellungen, StatefulSets usw. zu sehen, können Sie die Benutzeroberfläche des Cluster Explorers verwenden. Dies ist die gleiche Landing-Page wie die, die nach der Anmeldung beim Rancher-Server-Endpunkt aufgerufen wird. Die Startseite zeigt eine Zusammenfassung mit Drilldowns in bestimmte Details für jeden Ressourcentyp auf der linken Seite. Beachten Sie den Namespace-Selektor oben auf der Seite. Dieses Dashboard kann auch durch das Tool „Lens“ ersetzt werden.

Exportieren von Prometheus-Metriken in ein externes System

Prometheus verwendet die Remote-Write-Funktion von Prometheus, um Prometheus-Metriken zu sammeln und in ein externes System zu exportieren.

Hinweis:

UiPath does not support or maintain the remote write endpoint integrations. However, the endpoints are compatible with the Prometheus instance delivered within Automation Suite.

So konfigurieren Sieremote_write in einem Automation Suite-Cluster:

1. Connect to ArgoCD.

2. Click Applications.

3. Navigieren Sie zu Fabric-Installer.

4. Öffnen Sie das Panel APP DETAILS und deaktivieren Sie die Selbstreparatur.

5. Navigieren Sie zur Anwendung rancher-monitoring.

   

6. Öffnen Sie das Panel APP DETAILS > Registerkarte MANIFEST.

   

7. Klicken Sie auf EDIT und gehen Sie zu values > prometheus > Abschnitt PrometheusSpec.

8. Fügen Sie die gewünschten remoteWrite-Konfigurationen hinzu.

   Discover the available configurations for the remote write feature.

   

9. Speichern Sie die neue Konfiguration mit SAVE. Die Anwendung rancher-monitoring zeigt OutOfSync an, bis die neue Konfiguration angewendet wird.

   Hinweis:

   Prometheus muss nicht neu gestartet werden, um die neuen Remote-Write-Konfigurationen anzuwenden.

   

   

10. Testen Sie die gewünschte Remote-Write-Integration. Kehren Sie zu Schritt 8 zurück, um eine neue Konfiguration hinzuzufügen.