Verwaltungswarnungen

alertmanager.rules

AlertmanagerConfigInconsistent

Dies sind interne Alertmanager-Fehler für HA-Cluster mit mehreren Alertmanager-Replikaten. Warnungen können in unregelmäßigen Abständen erscheinen und wieder verschwinden. Eine vorübergehende Verkleinerung und dann eine Vergrößerung der Alertmanager-Replikate kann das Problem beheben.

Führen Sie die folgenden Schritte aus, um das Problem zu beheben:

1. Skalieren Sie auf Null. Beachten Sie, dass es einen Moment dauert, bis die Pods heruntergefahren werden:

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0

2. Skalieren Sie zurück auf zwei:

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2

3. Überprüfen Sie, ob die Alertmanager-Pods gestartet wurden und ob sie ausgeführt werden:

   kubectl get po -n cattle-monitoring-system

Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath®-Support.

AlertmanagerFailedReload

AlertManager konnte die Konfiguration nicht laden oder neu laden. Bitte überprüfen Sie alle benutzerdefinierten AlertManager-Konfigurationen auf Eingabefehler; andernfalls wenden Sie sich an den UiPath®-Support.

AlertmanagerMembersInconsistent

Dies sind interne Alertmanager-Fehler für HA-Cluster mit mehreren Alertmanager-Replikaten. Warnungen können in unregelmäßigen Abständen erscheinen und wieder verschwinden. Eine vorübergehende Verkleinerung und dann eine Vergrößerung der Alertmanager-Replikate kann das Problem beheben.

Führen Sie die folgenden Schritte aus, um das Problem zu beheben:

1. Skalieren Sie auf Null. Beachten Sie, dass es einen Moment dauert, bis die Pods heruntergefahren werden:

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0

2. Skalieren Sie zurück auf zwei:

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2

3. Überprüfen Sie, ob die Alertmanager-Pods gestartet wurden und ob sie ausgeführt werden:

   kubectl get po -n cattle-monitoring-system

Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath®-Support.

allgemeine.regeln

TargetDown

Prometheus ist nicht in der Lage, Metriken von dem Ziel in der Warnung zu sammeln, was bedeutet, dass die Grafana-Dashboards und weitere Warnungen, die auf Metriken von diesem Ziel basieren, nicht verfügbar sind. Überprüfen Sie andere Warnungen, die dieses Ziel betreffen.

Watchdog

Diese Warnung soll sicherstellen, dass die gesamte Warnungspipeline funktionsfähig ist. Diese Warnung wird immer ausgelöst. Daher sollte sie immer in AlertManager und gegen einen Receiver ausgelöst werden. Es gibt Integrationen mit verschiedenen Benachrichtigungsmechanismen, die Sie benachrichtigen, wenn diese Warnung nicht ausgelöst wird. Zum Beispiel die DeadMansSnitch-Integration in PagerDuty.

prometheus-operator

PrometheusOperatorListErrors, PrometheusOperatorWatchErrors, PrometheusOperatorSyncFailed, PrometheusOperatorReconcileErrors, PrometheusOperatorNodeLookupErrors, PrometheusOperatorNotReady, PrometheusOperatorRejectedResources

Interne Fehler des Prometheus-Betreibers, der die Prometheus-Ressourcen kontrolliert. Prometheus selbst kann noch funktionsfähig sein, während diese Fehler vorhanden sind; dieser Fehler zeigt jedoch an, dass die Konfigurierbarkeit der Überwachung beeinträchtigt ist. Wenden Sie sich an den UiPath®-Support.

Prometheus

PrometheusBadConfig

Prometheus konnte die Konfiguration nicht laden oder neu laden. Bitte überprüfen Sie alle benutzerdefinierten Prometheus-Konfigurationen auf Eingabefehler. Wenden Sie sich andernfalls an den UiPath®-Support.

PrometheusErrorSendingAlertsToSomeAlertmanagers, PrometheusErrorSendingAlertsToAnyAlertmanager, PrometheusNotConnectedToAlertmanagers

Die Verbindung von Prometheus zu AlertManager ist nicht fehlerfrei. Metriken können immer noch abgefragt werden und Grafana-Dashboards können sie immer noch anzeigen, aber es werden keine Warnungen ausgelöst. Überprüfen Sie jede benutzerdefinierte Konfiguration von AlertManager auf Eingabefehler und wenden Sie sich andernfalls an den UiPath®-Support.

PrometheusNotificationQueueRunningFull, PrometheusTSDBReloadsFailing, PrometheusTSDBCompactionsFailing, PrometheusNotIngestingSamples, PrometheusDuplicateTimestamps, PrometheusOutOfOrderTimestamps, PrometheusRemoteStorageFailures, PrometheusRemoteWriteBehind, PrometheusRemoteWriteDesiredShards

Interne Prometheus-Fehler, die Metriken angeben, werden möglicherweise nicht wie erwartet gesammelt. Wenden Sie sich bitte an den UiPath®-Support.

PrometheusRuleFailures

Das kann passieren, wenn es fehlerhafte Warnmeldungen gibt, die auf nicht vorhandenen Metriken oder einer falschen PromQL-Syntax basieren. Wenden Sie sich an den UiPath®-Support, wenn keine benutzerdefinierten Warnungen hinzugefügt wurden.

PrometheusMissingRuleEvaluations

Prometheus kann nicht evaluieren, ob Warnungen ausgelöst werden sollten. Das kann passieren, wenn zu viele Warnungen vorhanden sind. Bitte entfernen Sie teure benutzerdefinierte Warnungsevaluierungen und/oder lesen Sie die Dokumentation zur Erhöhung des CPU-Limits für Prometheus. Wenden Sie sich an den UiPath®-Support, wenn keine benutzerdefinierten Warnungen hinzugefügt wurden.

PrometheusTargetLimitHit

Es gibt zu viele Ziele, von denen Prometheus sammeln kann. Wenn zusätzlich ServiceMonitors hinzugefügt wurden (siehe Überwachungskonsole), können Sie diese entfernen.

uipath.prometheus.resource.provisioning.alerts

PrometheusMemoryUsage, PrometheusStorageUsage

Diese Warnungen warnen, wenn sich der Cluster den konfigurierten Grenzwerten für Arbeitsspeicher und Speicher nähert. Dies ist wahrscheinlich bei Clustern der Fall, bei denen die Nutzung in letzter Zeit erheblich zugenommen hat (normalerweise von Robotern und nicht von Benutzern) oder wenn Knoten zum Cluster hinzugefügt werden, ohne Prometheus-Ressourcen anzupassen. Dies ist auf eine Zunahme der Menge der gesammelten Metriken zurückzuführen.

Die höhere Speichernutzungsrate ist im Dashboard Kubernetes/Persistent Volumes zu sehen:

Sie können es anpassen, indem Sie die Größe des PVC wie hier beschrieben ändern: Konfigurieren des Clusters.

Die Rate der erhöhten Speichernutzung ist im „Kubernetes/Computeressourcen/Pod“-Dashboard zu sehen.

Sie können sie anpassen, indem Sie die Prometheus-Speicherressourcenlimits in der Rancher-Monitoring-App über ArgoCD bearbeiten. Die Rancher-Monitoring-App wird nach dem Klicken auf Speichernautomatisch erneut synchronisiert.

Beachten Sie, dass Prometheus einige Zeit benötigt, um neu zu starten und wieder Metriken in Grafana anzuzeigen. Selbst bei großen Clustern dauert es in der Regel weniger als 10 Minuten.

uipath.availability.alerts

UiPathAvailabilityHighTrafficUserFacing

Die Anzahl der http 500-Antworten von UiPath®-Diensten überschreitet einen bestimmten Schwellenwert.

Verkehrsaufkommen	Anzahl der Anfragen in 20 Minuten	Fehlerschwellenwert (für HTTP 500)
Hoch	>100.000	0,1 %
Mittel	Zwischen 10.000 und 100.000	1 %
Niedrig	< 10.000	5 %

Fehler in benutzerorientierten Diensten würden wahrscheinlich zu einer Beeinträchtigung der Funktionalität führen, die in der Benutzeroberfläche der Automation Suite direkt sichtbar ist, während Fehler in Backend-Diensten weniger offensichtliche Folgen hätten.

Die Warnung gibt an, welcher Dienst eine hohe Fehlerquote aufweist. Um zu verstehen, welche Kaskadenprobleme von anderen Diensten aus auftreten können, von denen der Berichtdienst abhängt, können Sie das Istio Workload-Dashboard verwenden, das Fehler zwischen Diensten anzeigt.

Bitte überprüfen Sie alle kürzlich neu konfigurierten Automation Suite-Produkte. Detaillierte Protokolle sind auch mit dem Befehl kubectl logs verfügbar. Wenn der Fehler weiterhin auftritt, wenden Sie sich bitte an den UiPath®-Support.

Sicherung

NFSServerDisconnected

Diese Warnung weist darauf hin, dass die NFS-Serververbindung unterbrochen wurde.

Sie müssen die NFS-Serververbindung und den Mount-Pfad überprüfen.

VolumeBackupFailed

Diese Warnung gibt an, dass die Sicherung für einen PVC fehlgeschlagen ist.

BackupDisabled

Diese Warnung gibt an, dass die Sicherung deaktiviert ist.

Sie müssen überprüfen, ob der Cluster fehlerhaft ist.

cronjob-alerts

CronJobSuspended

Der Cronjob uipath-infra/istio-configure-script-cronjob befindet sich im Status „Angehalten“.

Um dieses Problem zu beheben, aktivieren Sie den Cronjob, indem Sie die folgenden Schritte ausführen:

export KUBECONFIG="/etc/rancher/rke2/rke2.yaml" && export PATH="$PATH:/usr/local/bin:/var/lib/rancher/rke2/bin"
kubectl -n uipath-infra patch cronjob istio-configure-script-cronjob -p '{"spec":{"suspend":false}}'
epoch=$(date +"%s")
kubectl -n uipath-infra create job istio-configure-script-cronjob-manual-$epoch --from=cronjob/istio-configure-script-cronjob
kubectl -n uipath-infra wait --for=condition=complete --timeout=300s job/istio-configure-script-cronjob-manual-$epoch
kubectl get node -o wide
#Verify if all the IP's listed by the above command are part of output of below command
kubectl -n istio-system get svc istio-ingressgateway -o json | jq '.spec.externalIPs'

IdentityKerberosTgtUpdateFailed

Dieser Auftrag aktualisiert das neueste Kerberos-Ticket für alle UiPath®-Dienste. Fehler in diesem Auftrag würden dazu führen, dass die SQL Server-Authentifizierung fehlschlägt. Wenden Sie sich bitte an den UiPath®-Support.