Verwendung des Überwachungs-Stacks

Der Überwachungs-Stack für Automation Suite-Cluster umfasst Prometheus, Grafana und Alertmanager, die in der Benutzeroberfläche von Rancher Cluster Explorer integriert sind.

Hinweis:

Knotenfehler können zu einem Herunterfahren von Kubernetes führen, wodurch Prometheus-Warnungen unterbrochen werden. Um das zu verhindern, empfehlen wir die Einrichtung einer separaten Warnung auf dem RKE2-Server.

Auf dieser Seite wird eine Reihe von Überwachungsszenarien beschrieben. Weitere Informationen finden Sie in der offiziellen Rancher-Dokumentation zur Verwendung von Rancher Monitoring.

Wichtig:

Wenn Sie Sammler zum Exportieren von Metriken in Tools von Drittanbietern verwenden, kann die Aktivierung der Anwendungsüberwachung die Funktionalität der Automation Suite beeinträchtigen.

Zugreifen auf die Überwachungstools

Überblick

Der Überwachungs-Stack für Automation Suite-Cluster umfasst Prometheus, Grafana, Alert Manager und das Longhorn-Dashboard.

Auf dieser Seite wird eine Reihe von Überwachungsszenarien beschrieben.

Weitere Informationen finden Sie in der offiziellen Rancher-Dokumentation zur Verwendung von Rancher Monitoring.

Sie können über die folgenden URLs einzeln auf die Automation Suite Überwachungstools zugreifen:

Anwendung	Tool	URL	Beispiel
Metriken	Prometheus	https://monitoring.fqdn/metrics	https://monitoring.automationsuite.mycompany.com/metrics
Dashboard	Grafana	https://monitoring.fqdn/dashboard	https://monitoring.automationsuite.mycompany.com/dashboard
Alert Management	Alertmanager	https://monitoring.fqdn/alertmanager	https://monitoring.automationsuite.mycompany.com/alertmanager
Persistenter Blockspeicher	Longhorn-Dashboard	https://monitoring.fqdn	https://monitoring.automationsutie.mycompany.com

Authentication

Um zum ersten Mal auf die Überwachungstools zuzugreifen, melden Sie sich als Administrator mit den folgenden Standardanmeldeinformationen an:

• Benutzername: admin
• Kennwort: Um das Kennwort abzurufen, führen Sie den folgenden Befehl aus:

  kubectl get secrets/dex-static-credential -n uipath-auth -o "jsonpath={.data['password']}" | base64 -d

Um das Standardkennwort zu aktualisieren, das für den Zugriff auf die Überwachungstools verwendet wird, führen Sie die folgenden Schritte aus:

1. Führen Sie den folgenden Befehl aus, indem Sie newpassword durch Ihr neues Kennwort ersetzen:

   password="newpassword"
   password=$(echo -n $password | base64)
   kubectl patch secret dex-static-credential -n uipath-auth --type='json' -p="[{'op': 'replace', 'path': '/data/password', 'value': '$password'}]"

2. Führen Sie den folgenden Befehl aus, indem Sie <cluster_config.json> durch den Pfad zu Ihrer Konfigurationsdatei ersetzen:

   /opt/UiPathAutomationSuite/UiPath_Installer/install-uipath.sh -i <cluster_config.json> -f -o output.json --accept-license-agreement

Überprüfen aktuell ausgelöster Warnungen

Um die Warnungen anzuzeigen, navigieren Sie mit https://monitoring.fqdn/metrics zu Prometheus und klicken Sie auf die Registerkarte Warnungen. Hier sehen Sie alle in der Automation Suite konfigurierten Warnungen.

Um die aktiven Warnungen anzuzeigen, filtern Sie den Warnungsstatus, indem Sie oben auf das Kontrollkästchen Auslösen und das Kontrollkästchen Anmerkungen anzeigen klicken. Hier sehen Sie alle Warnungen, die derzeit ausgelöst werden, und die entsprechenden Meldungen.

Stummschalten von Warnungen

Wenn Warnungen zu laut sind, können Sie sie stumm schalten. Führen Sie dazu die folgenden Schritte aus:

1. Klicken Sie auf die Kachel Alertmanager in der oberen linken Ecke des Dashboards Monitoring. Die folgende Meldung wird angezeigt.
   
   

   

   
   
2. Suchen Sie die betreffende Warnung und wählen Sie Silence aus.
   
   

   

   
   
3. Geben Sie die Angaben zum Creator und Comment ein und klicken Sie zum Erstellen auf Create. Die Warnung sollte nicht mehr im Dashboard Monitoring angezeigt oder einem der konfigurierten Empfänger gemeldet werden.

Konfigurieren von Warnungen

Hinweis:

You can find uipathctl in the Automation Suite installation folder: .../UiPathAutomationSuite/UiPath_Installer/bin.

Hinzufügen einer neuen E-Mail-Konfiguration

Um nach der Installation eine neue E-Mail-Konfiguration hinzuzufügen, führen Sie den folgenden Befehl aus:

./uipathctl config alerts add-email \
  --name test \
  --to "[e-mail]" \
  --from "[e-mail]" \
  --smtp server.mycompany.com \
  --username admin \
  --password somesecret \
  --require-tls \
  --ca-file <path_to_ca_file> \
  --cert-file <path_to_cert_file> \
  --key-file <path_to_key_file> \
  --send-resolved

Markieren	Beschreibung	Beispiel
name	Der Name der E-Mail-Konfiguration	testconfig
to	Die E-Mail-Adresse des Empfängers	[e-mail]
from	Die E-Mail-Adresse des Absenders.	[e-mail]
SMTP	SMTP-Server-URL oder IP-Adresse und Portnummer	server.mycompany.com:567
username	Benutzername für die Authentifizierung	admin
password	Authentifizierungskennwort	securepassword
require-tls	Boolesches Flag, das angibt, dass TLS auf dem SMTP-Server aktiviert ist.	Keine Angabe
ca-file	Dateipfad, der das Zertifikat der Zertifizierungsstelle des SMTP-Servers enthält. Dies ist optional, wenn die Zertifizierungsstelle privat ist.	./ca-file.crt
cert-file	Dateipfad, der das Zertifikat des SMTP-Servers enthält. Dies ist optional, wenn das Zertifikat privat ist.	./cert-file.crt
key-file	Dateipfad, der den privaten Schlüssel des Zertifikats des SMTP-Servers enthält. Dies ist erforderlich, wenn das Zertifikat privat ist.	./key-file.crt
send-resolved	Boolesches Flag, um eine E-Mail zu senden, sobald die Warnung beendet ist.	Keine Angabe

Entfernen einer E-Mail-Konfiguration

Um eine E-Mail-Konfiguration zu entfernen, müssen Sie den folgenden Befehl ausführen. Stellen Sie sicher, dass Sie den Namen der E-Mail-Konfiguration übergeben, die Sie entfernen möchten.

./uipathctl config alerts remove-email --name test

Aktualisieren einer E-Mail-Konfiguration

Um eine E-Mail-Konfiguration zu aktualisieren, müssen Sie den folgenden Befehl ausführen. Stellen Sie sicher, dass Sie den Namen der E-Mail-Konfiguration, die Sie aktualisieren möchten, und die zusätzlichen optionalen Parameter, die Sie bearbeiten möchten, übergeben. Diese Parameter sind die gleichen wie beim Hinzufügen einer neuen E-Mail-Konfiguration. Sie können ein oder mehrere Flags gleichzeitig übergeben.

./uipathctl config alerts update-email --name test [additional_flags]

Zugriff auf das Grafana-Dashboard

Um auf Grafana-Dashboards zuzugreifen, müssen Sie Ihre Anmeldeinformationen abrufen und zur Anmeldung verwenden:

• Benutzername:

  kubectl -n cattle-monitoring-system get secrets/rancher-monitoring-grafana -o "jsonpath={.data.admin-user}" | base64 -d; echo

• Kennwort:

  kubectl -n cattle-monitoring-system get secrets/rancher-monitoring-grafana -o "jsonpath={.data.admin-password}" | base64 -d; echo

Überwachen des Dienstgeflechts

Sie können das Istio Service Mesh über die folgenden Grafana-Dashboards überwachen: Istio Mesh und Istio Workload.

Istio Mesh-Dashboard

Dieses Dashboard zeigt das gesamte Anforderungsvolumen sowie die Häufigkeit von 400er und 500er Fehlern im gesamten Dienstgeflecht für den ausgewählten Zeitraum an. Die Daten werden in der oberen rechten Ecke des Fensters angezeigt. Diese Informationen finden Sie in den 4 Diagrammen oben.

Es zeigt auch die sofortige Erfolgsquote („Success Rate“) in den letzten Minuten für jeden einzelnen Dienst an. Beachten Sie, dass eine Success Rate von NaN angibt, dass der Dienst derzeit keinen Datenverkehr leistet.

Istio-Workload-Dashboard

Dieses Dashboard zeigt die Datenverkehrsmetriken über den ausgewählten Zeitbereich in der oberen rechten Ecke des Fensters an.

Verwenden Sie die Selektoren oben im Dashboard, um bei bestimmten Workloads einen Drilldown durchzuführen. Von besonderem Interesse ist der Namespace uipath.

Im oberen Abschnitt werden die Gesamtmetriken angezeigt, im Abschnitt Inbound Workloads wird der Datenverkehr basierend auf der Herkunft dargestellt und im Abschnitt Outbound Services wird Datenverkehr basierend auf dem Ziel dargestellt.

Überwachung persistenter Volumes

Sie können persistente Volumes über das Dashboard Kubernetes/Persistent Volumes überwachen. Sie können den freien und genutzten Platz für jedes Volume nachverfolgen.

Sie können auch den Status jedes Volumes überprüfen, indem Sie im Menü Storage des Cluster Explorer auf das Element PersistentVolumes klicken.

Überwachung der Hardwarenutzung

Um die Hardwarenutzung pro Knoten zu überprüfen, können Sie das Dashboard Nodes verwenden. Angaben zu CPU, Arbeitsspeicher, Datenträger und Netzwerk können angezeigt werden.

Sie können die Hardwarenutzung für bestimmte Workloads mithilfe des Dashboards Kubernetes / Compute Resources / Namespace (Workloads) überwachen. Wählen Sie den Namespace uipath aus, um die erforderlichen Daten abzurufen.

Erstellen einer gemeinsam nutzbaren visuellen Momentaufnahme eines Grafana-Diagramms

1. Klicken Sie auf den abwärts zeigenden Pfeil neben dem Diagrammtitel und wählen Sie dann Share aus.
2. Klicken Sie auf die Registerkarte Snapshot und legen Sie den Namen für Momentaufnahme Snapshot name, das Ablaufdatum Expire und Timeout fest.
3. Klicken Sie auf Veröffentlichen in snapshot.raintank.io.

Weitere Informationen finden Sie in der Grafana-Dokumentation zum Freigeben von Dashboards.

Hinweis: Dieser Snapshot ist für jeden mit dem Link im Internet öffentlich sichtbar.

Erstellen benutzerdefinierter persistenter Grafana-Dashboards

Weitere Informationen zum Erstellen benutzerdefinierter persistenter Grafana-Dashboards finden Sie in der Rancher-Dokumentation.

Administratorzugriff auf Grafana

Administratorzugriff auf Grafana wird in der Regel nicht in Automation Suite-Clustern benötigt, da anonyme Benutzer standardmäßig Lesezugriff auf Dashboards haben und benutzerdefinierte persistente Dashboards anhand der oben in diesem Dokument verknüpften speziellen Kubernetes-Anweisungen erstellt werden müssen.

Dennoch ist der Administratorzugriff auf Grafana mit den nachfolgenden Schritten möglich.

Der Standardbenutzername und das Kennwort für den Grafana-Administratorzugriff können wie folgt abgerufen werden:

kubectl get secret -n cattle-monitoring-system rancher-monitoring-grafana -o jsonpath='{.data.admin-user}' | base64 -d && echo
kubectl get secret -n cattle-monitoring-system rancher-monitoring-grafana -o jsonpath='{.data.admin-password}' | base64 -d && echo

Beachten Sie, dass in Automation Suite-Clustern mit Hochverfügbarkeit mehrere Grafana-Pods vorhanden sind, um im Falle eines Knotenfehlers einen unterbrechungsfreien Lesezugriff sowie mehr Leseabfragen zu ermöglichen. Dies ist nicht mit dem Administratorzugriff kompatibel, da die Pods den Sitzungsstatus nicht freigeben und die Anmeldung dies erfordert. Um dies zu umgehen, muss die Anzahl der Grafana-Replikate vorübergehend auf 1 skaliert werden, solange der Administratorzugriff gewünscht wird. Nachfolgend finden Sie Anweisungen zum Skalieren der Anzahl der Grafana-Replikate:

# scale down
kubectl scale -n cattle-monitoring-system deployment/rancher-monitoring-grafana --replicas=1
# scale up
kubectl scale -n cattle-monitoring-system deployment/rancher-monitoring-grafana --replicas=2

Abfragen von Prometheus

Klicken Sie im Monitoring Dashboard auf Prometheus-Diagramm. Das neue Fenster wird angezeigt.

Die Dokumentation zu den verfügbaren Metriken finden Sie hier:

• https://github.com/prometheus/node\_exporter#enabled-by-default – Verbinden für Vorschau
• https://github.com/kubernetes/kube-state-metrics/tree/master/docs#exposed-metrics – Verbinden für Vorschau
• Abfragen von Metriken aus Prometheus (Istio)

Erstellen benutzerdefinierter Warnungen

Sie können benutzerdefinierte Warnungen mithilfe einer Prometheus-Abfrage mit einem booleschen Ausdruck erstellen.

1. Klicken Sie dazu im Menü Erweitert des Monitoring Dashboard auf Prometheus Rules.
2. Klicken Sie auf Erstellen in der oberen rechten Ecke des Fensters, um eine neue Warnung zu erstellen, und folgen Sie der Rancher-Dokumentation: PrometheusRules
3. Wenn die Warnung ausgelöst wird, sollte sie im Monitoring Dashboard angezeigt werden. Darüber hinaus wird er an einen beliebigen konfigurierten Receiver weitergeleitet.

Überwachung des Kubernetes-Ressourcenstatus

Um den Status von Pods, Bereitstellungen, StatefulSets usw. zu sehen, können Sie die Benutzeroberfläche des Cluster Explorers verwenden. Dies ist die gleiche Landing-Page wie die, die nach der Anmeldung beim Rancher-Server-Endpunkt aufgerufen wird. Die Startseite zeigt eine Zusammenfassung mit Drilldowns in bestimmte Details für jeden Ressourcentyp auf der linken Seite. Beachten Sie den Namespace-Selektor oben auf der Seite. Dieses Dashboard kann auch durch das Tool „Lens“ ersetzt werden.

Exportieren von Prometheus-Metriken in ein externes System

Prometheus verwendet die Remote-Write-Funktion von Prometheus, um Prometheus-Metriken zu sammeln und in ein externes System zu exportieren.

Hinweis: UiPath® unterstützt oder pflegt die Remote-Write-Endpunkt-Integrationen nicht. Die Endpunkte sind jedoch mit der in der Automation Suite bereitgestellten Prometheus-Instanz kompatibel.

Zum Konfigurieren von remote_write auf einem Automation Suite-Cluster:

1. Stellen Sie eine Verbindung mit ArgoCD her.
2. Klicken Sie auf Anwendungen.
3. Navigieren Sie zu Fabric-Installer.
4. Öffnen Sie das Panel APP-DETAILS und deaktivieren Sie die Selbstreparatur.
5. Navigieren Sie zur Anwendung rancher-monitoring.
   
   

   

   
   
6. Öffnen Sie das Panel APP DETAILS > Registerkarte MANIFEST.
   
   

   

   
   
7. Klicken Sie auf EDIT und gehen Sie zu values > prometheus > Abschnitt PrometheusSpec.
8. Fügen Sie die gewünschten remoteWrite-Konfigurationen hinzu.
   Entdecken Sie die verfügbaren Konfigurationen für die Remote-Write-Funktion.

   
9. Speichern Sie die neue Konfiguration mit SAVE. Die Anwendung rancher-monitoring zeigt OutOfSync an, bis die neue Konfiguration angewendet wird.
   Hinweis: Prometheus muss nicht neu gestartet werden, um die neuen Remote-Write-Konfigurationen anzuwenden.

   

   
   

   

   
   
10. Testen Sie die gewünschte Remote-Write-Integration. Kehren Sie zu Schritt 8 zurück, um eine neue Konfiguration hinzuzufügen.