Warnungs-Runbooks

Hinweis:

• For general instructions on using the available tools for alerts, metrics, and visualizations, see Using the monitoring stack
• For more on how to fix issues and how to create a support bundle for UiPath Support engineers, see Troubleshooting.
• Wenn Sie sich an den UiPath-Support wenden, geben Sie bitte alle Warnungen an, die derzeit ausgelöst werden.

Schlüssel zum Schweregrad der Warnung

Warnungsschweregrad	Beschreibung
Information (Info)	Unerwartet, aber harmlos. Kann stummgeschaltet werden, kann aber bei der Diagnose nützlich sein.
Warnung	Hinweis auf eine gezielte Beeinträchtigung der Funktionalität oder die Wahrscheinlichkeit einer Beeinträchtigung in naher Zukunft, die den gesamten Cluster betreffen kann. Schlägt sofortige Maßnahmen (in der Regel innerhalb weniger Tage) vor, um den Cluster in Ordnung zu halten.
Kritisch	Es kommt zu schwerwiegenden Beeinträchtigungen der Funktionalität, die oft im gesamten Cluster verbreitet sind. Erfordert sofortiges Handeln (am selben Tag), um den Cluster zu reparieren.

allgemeine.regeln

TargetDown

Prometheus ist nicht in der Lage, Metriken von dem Ziel in der Warnung zu sammeln, was bedeutet, dass die Grafana-Dashboards und weitere Warnungen, die auf Metriken von diesem Ziel basieren, nicht verfügbar sind. Überprüfen Sie andere Warnungen, die dieses Ziel betreffen.

Watchdog

Diese Warnung soll sicherstellen, dass die gesamte Warnungspipeline funktionsfähig ist. Diese Warnung wird immer ausgelöst. Daher sollte sie immer in AlertManager und gegen einen Receiver ausgelöst werden. Es gibt Integrationen mit verschiedenen Benachrichtigungsmechanismen, die Sie benachrichtigen, wenn diese Warnung nicht ausgelöst wird. Zum Beispiel die DeadMansSnitch-Integration in PagerDuty.

kubernetes-apps

KubePodCrashLooping

Ein Pod, der immer wieder unerwartet neu gestartet wird. Das kann durch einen Out-of-Memory-Fehler (OOM) auftreten. In diesem Fall können die Grenzwerte angepasst werden. Überprüfen Sie die Pod-Ereignisse mit kubectl describe und die Protokolle mit kubectl logs, um Details zu möglichen Abstürzen zu sehen. Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath®-Support.

KubePodNotReady

Ein Pod wurde gestartet, reagiert aber nicht erfolgreich auf den Integritätstest. Das kann bedeuten, dass er hängen geblieben und für den Verkehr nicht verfügbar ist. Sie können die Pod-Protokolle mit kubectl logs überprüfen, um festzustellen, ob es Anzeichen für Fortschritte gibt. Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath®-Support.

KubeDeploymentGenerationMismatch, KubeStatefulSetGenerationMismatch

Es wurde versucht, eine Bereitstellung oder ein StatefulSet zu aktualisieren, was jedoch fehlgeschlagen ist und noch nicht rückgängig gemacht werden konnte. Wenden Sie sich an den UiPath®-Support.

KubeDeploymentReplicasMismatch, KubeStatefulSetReplicasMismatch

In Hochverfügbarkeitsclustern mit mehreren Replikaten wird diese Warnung ausgelöst, wenn die Anzahl der Replikate nicht optimal ist. Das kann auftreten, wenn im Cluster nicht genügend Ressourcen für die Planung vorhanden sind. Überprüfen Sie die Ressourcennutzung und fügen Sie bei Bedarf Kapazitäten hinzu. Wenden Sie sich andernfalls an den UiPath®-Support.

KubeStatefulSetUpdateNotRolledOut

Eine Aktualisierung eines StatefulSets ist fehlgeschlagen. Wenden Sie sich an den UiPath®-Support.

Siehe auch: StatefulSets.

KubeDaemonSetRolloutStuck

Daemonset-Rollout ist fehlgeschlagen. Wenden Sie sich an den UiPath®-Support.

Siehe auch: DaemonSet.

KubeContainerWaiting

Ein Container befindet sich im Wartestatus. Er wurde für einen Arbeiterknoten geplant, kann aber nicht auf dieser Maschine ausgeführt werden. Weitere Informationen finden Sie unter kubectl describe des Pods. Die häufigste Ursache für wartende Container ist, dass das Abrufen des Images fehlschlägt. Für Cluster mit Air Gap kann das bedeuten, dass die lokale Registrierung nicht verfügbar ist. Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath®-Support.

KubeDaemonSetNotScheduled, KubeDaemonSetMisScheduled

Das kann auf ein Problem mit einem der Knoten hinweisen. Überprüfen Sie den Zustand jedes Knotens und beheben Sie alle bekannten Probleme. Wenden Sie sich andernfalls an den UiPath®-Support.

KubeJobCompletion

Die Ausführung eines Auftrags dauert mehr als 12 Stunden. Das ist nicht zu erwarten. Wenden Sie sich an den UiPath®-Support.

KubeJobFailed

Ein Auftrag ist fehlgeschlagen; die meisten Aufträge werden jedoch automatisch wiederholt. Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath®-Support.

KubeHpaReplicasMismatch

Der Autoscaler kann die Zielressource nicht wie konfiguriert skalieren. Wenn der Sollwert höher als der Istwert ist, kann ein Ressourcenmangel vorliegen. Wenn der Sollwert niedriger als der Istwert ist, können Pods beim Herunterfahren hängen bleiben. Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath®-Support.

Siehe auch: Horizontales Pod-Autoscaling

KubeHpaMaxedOut

Die Anzahl der Replikate für einen bestimmten Dienst hat das Maximum erreicht. Dies ist der Fall, wenn die Anzahl der Anforderungen an den Cluster sehr hoch ist. Wenn ein hoher Datenverkehr zu erwarten ist und nur vorübergehend auftritt, können Sie diese Warnung stummschalten. Diese Warnung ist jedoch ein Zeichen dafür, dass der Cluster an seiner Kapazitätsgrenze angelangt ist und keinen weiteren Datenverkehr mehr bewältigen kann. Wenn im Cluster mehr Ressourcenkapazität verfügbar ist, können Sie die Anzahl der maximalen Replikate für den Dienst erhöhen, indem Sie diese Anweisungen befolgen:

# Find the horizontal autoscaler that controls the replicas of the desired resource
kubectl get hpa -A
# Increase the number of max replicas of the desired resource, replacing <namespace> <resource> and <maxReplicas>
kubectl -n <namespace> patch hpa <resource> --patch '{"spec":{"maxReplicas":<maxReplicas>}}'

Siehe auch: Horizontales Pod-Autoscaling.

kubernetes-resources

KubeCPUOvercommit, KubeMemoryOvercommit

Diese Warnungen weisen darauf hin, dass der Cluster keinen Knotenfehler tolerieren kann. Bei Auswertungsclustern mit einem einzelnen Knoten ist dies bekannt und diese Warnungen können stummgeschaltet werden. Bei HA-fähigen Produktionseinrichtungen mit mehreren Knoten werden diese Warnungen ausgelöst, wenn zu viele Knoten nicht mehr funktionsfähig sind, um die hohe Verfügbarkeit zu unterstützen. Sie zeigen an, dass die Knoten wiederhergestellt oder ersetzt werden sollten.

KubeCPUQuotaOvercommit, KubeMemoryQuotaOvercommit, KubeQuotaAlmostFull, KubeQuotaFullyUsed, KubeQuotaExceeded

Diese Warnungen beziehen sich auf Namespace-Ressourcenkontingente, die nur im Cluster vorhanden sind, wenn sie durch Anpassung hinzugefügt wurden. Namespace-Ressourcenkontingente werden nicht im Rahmen der Automation Suite-Installation hinzugefügt.

Siehe auch: Ressourcenkontingente.

CPUThrottlingHigh

Die CPU-Auslastung eines Containers wurde gemäß den konfigurierten Grenzwerten gedrosselt. Dies ist Teil des normalen Kubernetes-Vorgangs und kann nützliche Informationen enthalten, wenn andere Warnungen ausgelöst werden. Diese Warnung können Sie stummschalten.

Kubernetes-storage

KubePersistentVolumeFillingUp

Bei Warnung : Der verfügbare Speicherplatz beträgt weniger als 30 % und ist wahrscheinlich innerhalb von vier Tagen voll.

Wenn kritisch : Der verfügbare Speicherplatz beträgt weniger als 10 %.

Bei allen Diensten, bei denen der Speicherplatz knapp wird, kann es schwierig werden, die Daten wiederherzustellen. Daher sollten die Volumes verkleinert werden, bevor der verfügbare Speicherplatz 0 % erreicht.

For instructions, see Configuring the cluster.

For Prometheus-specific alerts, see PrometheusStorageUsage for more details and instructions.

KubePersistentVolumeErrors

PersistentVolume kann nicht bereitgestellt werden. Das bedeutet, dass ein Dienst, der das Volume benötigt, nicht gestartet werden kann. Prüfen Sie auf andere Fehler mit Longhorn- und/oder Ceph-Speicher und kontaktieren Sie den UiPath®-Support.

kube-state-metrics

KubeStateMetricsListErrors, KubeStateMetricsWatchErrors

Der Sammler der Kube-State-Metrics kann keine Metriken aus dem Cluster ohne Fehler sammeln. Das bedeutet, dass wichtige Warnungen möglicherweise nicht ausgelöst werden. Wenden Sie sich an den UiPath®-Support.

Siehe auch: Kube-State-Metrics beim Release.

kubernetes-system-apiserver

KubeClientCertificateExpiration

Bei Warnend: Ein Clientzertifikat, das zur Authentifizierung beim Kubernetes API-Server verwendet wird, läuft in weniger als sieben Tagen ab.

Bei Kritisch: Ein Clientzertifikat, das zur Authentifizierung beim Kubernetes API-Server verwendet wird, läuft in weniger als einem Tag ab.

Sie müssen das Zertifikat erneuern.

AggregatedAPIErrors, AggregatedAPIDown, KubeAPIDown, KubeAPITerminatedRequests

Zeigt Probleme mit der Kubernetes-Kontrollebene an. Überprüfen Sie den Zustand der Master-Knoten, beheben Sie alle offenen Probleme und wenden Sie sich an den UiPath®-Support, wenn die Probleme weiterhin bestehen.

Siehe auch:

Die Kubernetes API

Kubernetes API-Aggregationsebene

KubernetesApiServerErrors

Diese Warnung weist darauf hin, dass beim Kubernetes API-Server eine hohe Fehlerrate auftritt. Dieses Problem kann zu anderen Fehlern führen, daher wird empfohlen, das Problem proaktiv zu untersuchen.

Überprüfen Sie die Protokolle für den Pod api-server , um die Ursache des Problems mit dem Befehl kubectl logs <pod-name> -n kube-system herauszufinden.

kubernetes-system-kubelet

KubeNodeNotReady, KubeNodeUnreachable, KubeNodeReadinessFlapping, KubeletPlegDurationHigh, KubeletPodStartUpLatencyHigh, KubeletDown

These alerts indicate a problem with a node. In multi-node HA-ready production clusters, pods would likely be rescheduled onto other nodes. If the issue persists, you should remove and drain the node to maintain the health of the cluster. In clusters without extra capacity, another node should be joined to the cluster first.

KubeletTooManyPods

Auf dem angegebenen Knoten werden zu viele Pods ausgeführt.

Join another node to the cluster.

KubeletClientCertificateExpiration, KubeletServerCertificateExpiration

Bei Warnend: Ein Client- oder Serverzertifikat für Kubelet läuft in weniger als sieben Tagen ab.

Bei Kritisch: Ein Client- oder Serverzertifikat für Kubelet läuft in weniger als einem Tag ab.

Sie müssen das Zertifikat erneuern.

KubeletClientCertificateRenewalErrors, KubeletServerCertificateRenewalErrors

Kubelet hat sein Client- oder Serverzertifikat nicht erneuert. Wenden Sie sich an den UiPath®-Support.

kubernetes-system

KubeVersionMismatch

Es gibt verschiedene semantische Versionen von Kubernetes-Komponenten. Dies kann als Folge eines fehlgeschlagenen Kubernetes-Upgrades auftreten.

KubeClientErrors

Der Kubernetes API Server-Client weist mehr als 1 % an Fehlern auf. Möglicherweise gibt es ein Problem mit dem Knoten, auf dem dieser Client läuft, oder mit dem Kubernetes API-Server selbst.

KubernetesMemoryPressure

Diese Warnung weist darauf hin, dass die Speicherauslastung auf dem Kubernetes-Knoten sehr hoch ist.

Wenn diese Warnung ausgelöst wird, versuchen Sie herauszufinden, welcher Pod mehr Speicher verbraucht.

KubernetesDiskPressure

Diese Warnung weist darauf hin, dass die Datenträgernutzung auf dem Kubernetes-Knoten sehr hoch ist.

Wenn diese Warnung ausgelöst wird, versuchen Sie herauszufinden, welcher Pod mehr Datenträger verbraucht.

Kube-apiserver-slos

KubeAPIErrorBudgetBurn

Der Kubernetes API-Server verbraucht zu viel Budget für Fehler.

node-exporter

NodeFilesystemSpaceFillingUp, NodeFilesystemAlmostOutOfSpace, NodeFilesystemFilesFillingUp

Das Dateisystem auf einem bestimmten Knoten füllt sich. Stellen Sie mehr Speicherplatz zur Verfügung, indem Sie eine Festplatte hinzufügen oder nicht verwendete Datenträger einhängen.

NodeRAIDDegraded

Das RAID-Array ist aufgrund eines oder mehrerer Festplattenausfälle in einem schlechten Zustand. Die Anzahl der Ersatzlaufwerke

reicht nicht aus, um das Problem automatisch zu beheben.

NodeRAIDDiskFailure

Beachten Sie das RAID-Array und wechseln Sie möglicherweise die Festplatte.

NodeNetworkReceiveErrs, NodeNetworkTransmitErrs, NodeHighNumberConntrackEntriesUsed

Es liegt ein Problem mit der physischen Netzwerkschnittstelle auf dem Knoten vor. Wenn das Problem weiterhin besteht, muss sie möglicherweise ersetzt werden.

NodeClockSkewDetected, NodeClockNotSynchronising

Es gibt ein Problem mit der Uhr des Knotens. Stellen Sie sicher, dass das NTP (Network Time Protocol) korrekt konfiguriert ist.

node-network

NodeNetworkInterfaceFlapping

Es liegt ein Problem mit der physischen Netzwerkschnittstelle auf dem Knoten vor. Wenn das Problem weiterhin besteht, muss sie möglicherweise ersetzt werden.

InternodeCommunicationBroken

Der Knoten reagiert aufgrund eines Problems nicht mehr, das zu einer Unterbrechung der Kommunikation zwischen Knoten im Cluster führte.

Um dieses Problem zu beheben, starten Sie den betroffenen Knoten neu. Wenn das Problem weiterhin besteht, wenden Sie sich mit dem Supportpakettool an den UiPath®-Support.

uipath.prometheus.resource.provisioning.alerts

PrometheusMemoryUsage, PrometheusStorageUsage

Diese Warnungen warnen, wenn sich der Cluster den konfigurierten Grenzwerten für Arbeitsspeicher und Speicher nähert. Dies ist wahrscheinlich bei Clustern der Fall, bei denen die Nutzung in letzter Zeit erheblich zugenommen hat (normalerweise von Robotern und nicht von Benutzern) oder wenn Knoten zum Cluster hinzugefügt werden, ohne Prometheus-Ressourcen anzupassen. Dies ist auf eine Zunahme der Menge der gesammelten Metriken zurückzuführen.

Die höhere Speichernutzungsrate ist im Dashboard Kubernetes/Persistent Volumes zu sehen:

You can adjust it by resizing the PVC as instructed here: Configuring the cluster.

Die Rate der erhöhten Speichernutzung ist im „Kubernetes/Computeressourcen/Pod“-Dashboard zu sehen.

Sie können sie anpassen, indem Sie die Prometheus-Speicherressourcenlimits in der Rancher-Monitoring-App über ArgoCD bearbeiten. Die Rancher-Monitoring-App wird nach dem Klicken auf Speichern automatisch erneut synchronisiert.

Beachten Sie, dass Prometheus einige Zeit benötigt, um neu zu starten und wieder Metriken in Grafana anzuzeigen. Selbst bei großen Clustern dauert es in der Regel weniger als 10 Minuten.

alertmanager.rules

AlertmanagerConfigInconsistent

Dies sind interne Alertmanager-Fehler für HA-Cluster mit mehreren Alertmanager-Replikaten. Warnungen können in unregelmäßigen Abständen erscheinen und wieder verschwinden. Eine vorübergehende Verkleinerung und dann eine Vergrößerung der Alertmanager-Replikate kann das Problem beheben.

Führen Sie die folgenden Schritte aus, um das Problem zu beheben:

1. Skalieren Sie auf Null. Beachten Sie, dass es einen Moment dauert, bis die Pods heruntergefahren werden:

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0
   

2. Skalieren Sie zurück auf zwei:

   kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2
   

3. Überprüfen Sie, ob die Alertmanager-Pods gestartet wurden und ob sie ausgeführt werden:

   kubectl get po -n cattle-monitoring-system
   

Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath®-Support.

AlertmanagerFailedReload

AlertManager konnte die Konfiguration nicht laden oder neu laden. Bitte überprüfen Sie alle benutzerdefinierten AlertManager-Konfigurationen auf Eingabefehler; andernfalls wenden Sie sich an den UiPath®-Support.

prometheus-operator

PrometheusOperatorListErrors, PrometheusOperatorWatchErrors, PrometheusOperatorSyncFailed, PrometheusOperatorReconcileErrors, PrometheusOperatorNodeLookupErrors, PrometheusOperatorNotReady, PrometheusOperatorRejectedResources

Interne Fehler des Prometheus-Betreibers, der die Prometheus-Ressourcen kontrolliert. Prometheus selbst kann noch funktionsfähig sein, während diese Fehler vorhanden sind; dieser Fehler zeigt jedoch an, dass die Konfigurierbarkeit der Überwachung beeinträchtigt ist. Wenden Sie sich an den UiPath®-Support.

Prometheus

PrometheusBadConfig

Prometheus konnte die Konfiguration nicht laden oder neu laden. Bitte überprüfen Sie alle benutzerdefinierten Prometheus-Konfigurationen auf Eingabefehler. Wenden Sie sich andernfalls an den UiPath®-Support.

PrometheusErrorSendingAlertsToSomeAlertmanagers, PrometheusErrorSendingAlertsToAnyAlertmanager, PrometheusNotConnectedToAlertmanagers

Die Verbindung von Prometheus zu AlertManager ist nicht fehlerfrei. Metriken können immer noch abgefragt werden und Grafana-Dashboards können sie immer noch anzeigen, aber es werden keine Warnungen ausgelöst. Überprüfen Sie jede benutzerdefinierte Konfiguration von AlertManager auf Eingabefehler und wenden Sie sich andernfalls an den UiPath®-Support.

PrometheusNotificationQueueRunningFull, PrometheusTSDBReloadsFailing, PrometheusTSDBCompactionsFailing, PrometheusNotIngestingSamples, PrometheusDuplicateTimestamps, PrometheusOutOfOrderTimestamps, PrometheusRemoteStorageFailures, PrometheusRemoteWriteBehind, PrometheusRemoteWriteDesiredShards

Interne Prometheus-Fehler, die Metriken angeben, werden möglicherweise nicht wie erwartet gesammelt. Wenden Sie sich bitte an den UiPath®-Support.

PrometheusRuleFailures

Das kann passieren, wenn es fehlerhafte Warnmeldungen gibt, die auf nicht vorhandenen Metriken oder einer falschen PromQL-Syntax basieren. Wenden Sie sich an den UiPath®-Support, wenn keine benutzerdefinierten Warnungen hinzugefügt wurden.

PrometheusMissingRuleEvaluations

Prometheus kann nicht evaluieren, ob Warnungen ausgelöst werden sollten. Das kann passieren, wenn zu viele Warnungen vorhanden sind. Bitte entfernen Sie teure benutzerdefinierte Warnungsevaluierungen und/oder lesen Sie die Dokumentation zur Erhöhung des CPU-Limits für Prometheus. Wenden Sie sich an den UiPath®-Support, wenn keine benutzerdefinierten Warnungen hinzugefügt wurden.

PrometheusTargetLimitHit

Es gibt zu viele Ziele, von denen Prometheus sammeln kann. Wenn zusätzlich ServiceMonitors hinzugefügt wurden (siehe Überwachungskonsole), können Sie diese entfernen.

uipath.availability.alerts

UiPathAvailabilityHighTrafficUserFacing, UiPathAvailabilityHighTrafficBackend, UiPathAvailabilityMediumTrafficUserFacing, UiPathAvailabilityMediumTrafficBackend, UiPathAvailabilityLowTrafficUserFacing, UiPathAvailabilityLowTrafficBackend

Die Anzahl der http 500-Antworten von UiPath®-Diensten überschreitet einen bestimmten Schwellenwert.

Verkehrsaufkommen	Anzahl der Anfragen in 20 Minuten	Fehlerschwellenwert (für HTTP 500)
Hoch	>100.000	0,1 %
Mittel	Zwischen 10.000 und 100.000	1 %
Niedrig	< 10.000	5 %

Fehler in benutzerorientierten Diensten würden wahrscheinlich zu einer Beeinträchtigung der Funktionalität führen, die in der Benutzeroberfläche der Automation Suite direkt sichtbar ist, während Fehler in Backend-Diensten weniger offensichtliche Folgen hätten.

Die Warnung gibt an, welcher Dienst eine hohe Fehlerquote aufweist. Um zu verstehen, welche Kaskadenprobleme von anderen Diensten aus auftreten können, von denen der Berichtdienst abhängt, können Sie das Istio Workload-Dashboard verwenden, das Fehler zwischen Diensten anzeigt.

Bitte überprüfen Sie alle kürzlich neu konfigurierten Automation Suite-Produkte. Detaillierte Protokolle sind auch mit dem Befehl kubectl logs verfügbar. Wenn der Fehler weiterhin auftritt, wenden Sie sich bitte an den UiPath®-Support.

uipath.cronjob.alerts.rules

CronJobSuspended

Der Cronjob uipath-infra/istio-configure-script-cronjob befindet sich im Status „Angehalten“.

Um dieses Problem zu beheben, aktivieren Sie den Cronjob, indem Sie die folgenden Schritte ausführen:

export KUBECONFIG="/etc/rancher/rke2/rke2.yaml" && export PATH="$PATH:/usr/local/bin:/var/lib/rancher/rke2/bin"
kubectl -n uipath-infra patch cronjob istio-configure-script-cronjob -p '{"spec":{"suspend":false}}'
epoch=$(date +"%s")
kubectl -n uipath-infra create job istio-configure-script-cronjob-manual-$epoch --from=cronjob/istio-configure-script-cronjob
kubectl -n uipath-infra wait --for=condition=complete --timeout=300s job/istio-configure-script-cronjob-manual-$epoch
kubectl get node -o wide
#Verify if all the IP's listed by the previous command are part of output of the following command
kubectl -n istio-system get svc istio-ingressgateway -o json | jq '.spec.externalIPs'

UiPath CronJob „kerberos-tgt-refresh“ fehlgeschlagen

Dieser Auftrag erhält das neueste Kerberos-Ticket vom AD-Server für die SQL-integrierte Authentifizierung. Fehler in diesem Auftrag würden dazu führen, dass die SQL Server-Authentifizierung fehlschlägt. Wenden Sie sich bitte an den UiPath®-Support.

IdentityKerberosTgtUpdateFailed

Dieser Auftrag aktualisiert das neueste Kerberos-Ticket für alle UiPath®-Dienste. Fehler in diesem Auftrag würden dazu führen, dass die SQL Server-Authentifizierung fehlschlägt. Wenden Sie sich bitte an den UiPath®-Support.

Ceph-Warnungen

CephClusterNearFull

Diese Warnung zeigt an, dass die Nutzung des Ceph-Speicherclusters 75 % überschritten hat und bei 85 % schreibgeschützt ist.

If this alert fires, free up some space in Ceph by deleting some unused datasets in AI Center or Task Mining or expand the storage available for Ceph PVC by following the instructions in Resizing PVC.

Before resizing PVC, make sure you meet the storage requirements. For details, see Evaluating your storage needs.

CephClusterCriticallyFull

Diese Warnung zeigt an, dass die Nutzung des Ceph-Speicherclusters 80 % überschritten hat und bei 85 % schreibgeschützt ist.

If this alert fires, free up some space in Ceph by deleting some unused datasets in AI Center or Task Mining or expand the storage available for Ceph PVC by following the instructions in Resizing PVC.

Before resizing PVC, make sure you meet the storage requirements. For details, see Evaluating your storage needs.

CephClusterReadOnly

Diese Warnung gibt an, dass die Nutzung des Ceph-Speicherclusters 85 % überschritten hat und jetzt schreibgeschützt ist. Geben Sie Speicherplatz frei, oder erweitern Sie den Speichercluster sofort.

If this alert fires, free up some space in Ceph by deleting some unused datasets in AI Center or Task Mining or expand the storage available for Ceph PVC by following the instructions in Resizing PVC.

Before resizing PVC, make sure you meet the storage requirements. For details, see Evaluating your storage needs.

CephPoolQuotaBytesCriticallyExhausted

Diese Warnung gibt an, dass die Nutzung des Ceph-Speicherpools 90 % überschritten hat.

If this alert fires, free up some space in CEPH by deleting some unused datasets in AI Center or Task Mining or expand the storage available for Ceph PVC by following the instructions in Resizing PVC.

Before resizing PVC, make sure you meet the storage requirements. For details, see Evaluating your storage needs.

CephClusterErrorState

Diese Warnung gibt an, dass sich der Ceph-Speichercluster seit mehr als 10 Minuten im Fehlerzustand befindet.

Diese Warnung gibt an, dass sich der rook-ceph-mgr -Auftrag für eine inakzeptable Zeit im Fehlerstatus befindet. Suchen Sie nach anderen Warnungen, die möglicherweise vor dieser Warnung ausgelöst wurden, und beheben Sie diese zuerst.

CephMonQuorumAtRisk

Diese Warnung gibt an, dass das Quorum des Speicherclusters niedrig ist.

Mehrere Mons arbeiten zusammen, um Redundanz bereitzustellen. Dies ist möglich, da jeder eine Kopie der Metadaten behält. Der Cluster wird mit 3 Mons bereitgestellt und erfordert, dass 2 oder mehr Mons aktiv sind, damit das Quorum und die Speichervorgänge ausgeführt werden können. Wenn das Quorum verloren geht, ist der Zugriff auf die Daten gefährdet.

Wenn diese Warnung ausgelöst wird, überprüfen Sie, ob sich OSDs im Beendigungsstatus befinden. Wenn das zutrifft, erzwingen Sie die Löschung dieser Pods und warten Sie einige Zeit, bis der Operator abgestimmt ist. Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath®-Support.

CephOSDCriticallyFull

Wenn der Schweregrad der Warnung Kritisch ist, ist der verfügbare Speicherplatz kleiner als 20 %.

For any services that run out of space, data may be difficult to recover, so you should resize volumes before hitting 10% available space. See the following instructions: Configuring the cluster.

uipath.requestrouting.alerts

UiPathRequestRouting

Fehler in der Anforderungsroutingschicht würden zu einer eingeschränkten Funktionalität führen, die direkt in der Automation Suite-UI sichtbar ist. Die Anforderungen werden nicht an Back-End-Dienste weitergeleitet.

Sie finden das detaillierte Fehlerprotokoll der Anforderungsweiterleitung, indem Sie den Befehl kubectl logs im Istio-Ingress-Gateway-Pod ausführen. Wenn der Fehler weiterhin auftritt, wenden Sie sich an den UiPath®-Support.

RabbitmqNodeDown

Diese Warnung gibt an, dass weniger als 3 Knoten im RabbitMQ-Cluster ausgeführt werden.

Überprüfen Sie mit dem Befehl kubectl logs <pod-name> -n <namespace> , welcher RabbitMQ-Pod inaktiv ist. Um das Problem zu beheben, löschen Sie den Pod mit dem Befehl kubectl delete pod <pod-name> -n <namespace> und überprüfen Sie erneut, sobald der neue Pod erscheint.

MongoDB-Warnungen

MongodbCertExpiration

Diese Warnung wird ausgelöst, wenn das MongoDB-TLS-Zertifikat nicht automatisch innerhalb von 19 Tagen rotiert. Der Schweregrad dieser Warnung ist kritisch.

To rotate the certificate, follow the instructions in MongoDB certificate renewal.

MongodbDown

Diese Warnung wird ausgelöst, wenn MongoDB ausgefallen ist. Der Schweregrad dieser Warnung ist kritisch.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

• Überprüfen Sie die Protokolle mit dem folgenden Befehl: kubectl logs <pod-name> -n mongodb ;
• Use the Diagnostics Tool;
• Wenden Sie sich an den UiPath-Support.

MongodbReplicationStatusUnreachable

Das MongoDB-Replikationssatzmitglied ist aus Sicht eines anderen Mitglieds des Satzes nicht erreichbar. Wenn die Warnung ausgelöst wird, ist der Knoten höchstwahrscheinlich inaktiv. Der Schweregrad dieser Warnung ist kritisch.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

• Überprüfen Sie, ob der Knoten inaktiv ist.
• Wenn der Knoten ausgefallen ist, starten Sie ihn neu und finden Sie die Ursache.
• Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath-Support.

MongodbReplicationStatusNotKnown

Der Status des MongoDB-Replikationssatzmitglieds aus Sicht eines anderen Mitglieds des Satzes ist noch nicht bekannt. Wird diese Warnung ausgelöst, befinden sich mindestens ein Replikat nicht im Ausführungsstatus. Der Schweregrad dieser Warnung ist kritisch.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

• Überprüfen Sie die Protokolle, indem Sie den folgenden Befehl ausführen: kubectl logs <pod-name> -n mongodb ;
• Um die Details zum Replikatstatus anzuzeigen, führen Sie den folgenden Befehl zur Beschreibung des Pods aus: kubectl describe <pod-name> -n mongodb ;
• Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath-Support.

MongodbReplicationLag

Diese Warnung gibt an, dass die MongoDB-Replikationsverzögerung mehr als 10 Sekunden beträgt. Der Schweregrad dieser Warnung ist kritisch.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

• Überprüfen Sie die Protokolle, indem Sie den folgenden Befehl ausführen: kubectl logs <pod-name> -n mongodb ;
• Um Details zum Replikatstatus anzuzeigen, führen Sie den folgenden Befehl zur Beschreibung des Pods aus: kubectl describe <pod-name> -n mongodb
• Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath-Support.

MongodbTooManyConnections

Diese Warnung gibt an, dass die Anzahl der Verbindungen ihr Maximum erreicht hat. Wenn dies erwartet und vorübergehend ist, können Sie die Warnung stummschalten. Die Warnung ist jedoch ein Zeichen dafür, dass die Mongo-Verbindung am Limit ist und nicht mehr verarbeiten kann. Diese Warnung ist eine Warnung.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

• Führen Sie den folgenden Befehl aus, um die Anzahl der Verbindungen auf dem Knoten abzufragen: db.serverStatus().connections
  • current gibt vorhandene Verbindungen an
  • available gibt die Anzahl der verfügbaren Verbindungen an;
• Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath-Support.

MongodbHighLatency

Diese Warnung weist auf eine hohe Latenz in der Instanz hin. Dies kann bedeuten, dass der Datenverkehr auf einem Knoten zugenommen hat. Dies kann daran liegen, dass ein Replikat nicht fehlerfrei ist oder der Datenverkehr auf einem Replikat überlastet ist. Wenn dies erwartet und vorübergehend ist, können Sie diese Warnung stummschalten. Diese Warnung ist jedoch ein Zeichen dafür, dass die Instanz am Limit ist und nicht mehr verarbeiten kann. Der Schweregrad dieser Warnung ist kritisch.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

• Überprüfen Sie die Protokolle und den Status der Instanzen.
• Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath-Support.

MongodbReplicationStatusSelfCheck

Das Mitglied des MongoDB-Replikationssatzes führt entweder Start-Selbstüberprüfungen durch oder wechselt vom Abschluss eines Rollbacks oder einer Neusynchronisierung. Der Schweregrad dieser Warnung ist kritisch.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

• Überprüfen Sie den Status des Replikats, indem Sie den folgenden Befehl ausführen: rs.status() .
• Überprüfen Sie die Protokolle mit kubectl logs <pod-name> -n mongodb
• Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath-Support.

MongodbReplicationStatusRollback

Das Mitglied des MongoDB-Replikationssatzes führt aktiv ein Rollback durch. Für Lesevorgänge sind keine Daten verfügbar. Der Schweregrad dieser Warnung ist kritisch.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

• Überprüfen Sie den Status des Replikats, indem Sie den folgenden Befehl ausführen: rs.status() ;
• Überprüfen Sie die Protokolle, indem Sie den folgenden Befehl ausführen: kubectl logs <pod-name> -n mongodb ;
• Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath-Support.

MongodbReplicationStatusRemoved

Das Mitglied des MongoDB-Replikationssatzes befand sich einmal in einem Replikatsatz, wurde jedoch später entfernt. Der Schweregrad dieser Warnung ist kritisch.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

• Überprüfen Sie den Status des Replikats, indem Sie den folgenden Befehl ausführen: rs.status() ;
• Überprüfen Sie die Protokolle, indem Sie den folgenden Befehl ausführen: kubectl logs <pod-name> -n mongodb ;
• Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath-Support.

Server-TLS-Zertifikatwarnungen

SecretCertificateExpiry30Days

Diese Warnung gibt an, dass das TLS-Zertifikat des Servers in den folgenden 30 Tagen abläuft.

To fix this issue, update the server TLS certificate. For instructions, see Managing server certificates.

SecretCertificateExpiry7Days

Diese Warnung gibt an, dass das TLS-Zertifikat des Servers in den folgenden 7 Tagen abläuft.

To fix this issue, update the TLS certificate. For instructions, see Managing server certificates.

Warnungen zu Identitätstokensignaturzertifikaten

IdentityCertificateExpiry30Days

Diese Warnung gibt an, dass das Identitätstoken-Signaturzertifikat in den folgenden 30 Tagen abläuft.

To fix this issue, update the Identity token signing certificate. For instructions, see Managing server certificates.

IdentityCertificateExpiry7Days

Diese Warnung gibt an, dass das Identitätstoken-Signaturzertifikat in den folgenden 7 Tagen abläuft.

To fix this issue, update the Identity token signing certificate. For instructions, see Managing server certificates.

Etdc-Warnungen

EtcdInsufficientMembers

Diese Warnung weist darauf hin, dass der etcd-Cluster nicht genügend Mitglieder hat. Beachten Sie, dass der Cluster eine ungerade Anzahl von Mitgliedern haben muss. Der Schweregrad dieser Warnung ist kritisch.

Stellen Sie sicher, dass es eine ungerade Anzahl von Serverknoten im Cluster gibt und alle betriebsbereit und fehlerfrei sind.

EtcdNoLeader

Diese Warnung zeigt an, dass der etcd-Cluster keinen Leader hat. Der Schweregrad dieser Warnung ist kritisch.

EtcdHighNumberOfLeaderChanges

Diese Warnung gibt an, dass sich der etcd-Anführer innerhalb von 10 Minuten mehr als zweimal ändert. Dies ist eine Warnung.

EtcdHighNumberOfFailedGrpcRequests

Diese Warnung gibt an, dass ein bestimmter Prozentsatz der GRPC-Anforderungsfehler in etcd erkannt wurde.

EtcdGrpcRequestsSlow

Diese Warnung gibt an, dass etcd-GRPC-Anforderungen langsam sind. Dies ist eine Warnung.

EtcdHighNumberOfFailedHttpRequests

Diese Warnung gibt an, dass ein bestimmter Prozentsatz der HTTP-Fehler in etcd erkannt wurde.

EtcdHttpRequestsSlow

Diese Warnung weist darauf hin, dass HTTP-Anforderungen langsamer werden. Dies ist eine Warnung.

EtcdMemberCommunicationSlow

Diese Warnung weist darauf hin, dass sich die Kommunikation mit etcd-Mitgliedern verlangsamt. Dies ist eine Warnung.

EtcdHighNumberOfFailedProposals

Diese Warnung gibt an, dass der etcd-Server in der letzten Stunde mehr als 5 fehlgeschlagene Vorschläge erhalten hat. Dies ist eine Warnung.

EtcdHighFsyncDurations

Diese Warnung gibt an, dass die fsync-Dauer der etcd-WAL zunimmt. Dies ist eine Warnung.

EtcdHighCommitDurations

Diese Warnung gibt an, dass die Commit-Dauer von etcd zunimmt. Dies ist eine Warnung.

Warnungen zur Datenträgergröße

LowDiskForRancherPartition

Diese Warnung gibt an, dass der freie Speicherplatz für die Partition /var/lib/rancher kleiner ist als:

• 35 % – der Schweregrad der Warnung ist Warnung
• 25 % – Der Schweregrad der Warnung ist kritisch

Wenn diese Warnung ausgelöst wird, erhöhen Sie die Größe des Datenträgers.

LowDiskForKubeletPartition

Diese Warnung gibt an, dass der freie Speicherplatz für die Partition /var/lib/kubelet kleiner ist als:

• 35 % – der Schweregrad der Warnung ist Warnung

• 25 % – Der Schweregrad der Warnung ist kritisch

  Wenn diese Warnung ausgelöst wird, erhöhen Sie die Größe des Datenträgers.

LowDiskForLonghornPartition

Diese Warnung gibt an, dass der freie Speicherplatz für die Longhorn-Festplatte kleiner ist als:

• 35 % – der Schweregrad der Warnung ist Warnung
• 25 % – Der Schweregrad der Warnung ist kritisch

Wenn diese Warnung ausgelöst wird, erhöhen Sie die Größe des Datenträgers.

LowDiskForVarPartition

Diese Warnung gibt an, dass der freie Speicherplatz für die Partition /var kleiner ist als:

• 35 % – der Schweregrad der Warnung ist Warnung
• 25 % – Der Schweregrad der Warnung ist kritisch

Hinweis:

Die Speicheranforderungen für ML-Fähigkeiten können die Datenträgernutzung erheblich erhöhen.

Wenn diese Warnung ausgelöst wird, erhöhen Sie die Größe des Datenträgers.

Sicherungswarnungen

NFSServerDisconnected

Diese Warnung weist darauf hin, dass die NFS-Serververbindung unterbrochen wurde.

Sie müssen die NFS-Serververbindung und den Mount-Pfad überprüfen.

VolumeBackupFailed

Diese Warnung gibt an, dass die Sicherung für einen PVC fehlgeschlagen ist.

BackupDisabled

Diese Warnung gibt an, dass die Sicherung deaktiviert ist.

Sie müssen überprüfen, ob der Cluster fehlerhaft ist.

longhorn-snapshot-alert

Wenn die kumulierte Anzahl der von Longhorn erstellten Sicherungs- oder Snapshot-Objekte zu hoch ist, kann eine der folgenden Warnungen auftreten:

• LonghornBackupObjectThresholdExceededWarn
• LonghornBackupObjectThresholdExceededCritical
• LonghornSnapshotObjectThresholdExceededWarn
• LonghornSnapshotObjectThresholdExceededCritical

Um die Ursache dieser Warnungen zu beheben, führen Sie das folgende Skript aus:

#!/bin/bash
set -e

# longhorn backend URL
url=
# By default, snapshot older than 10 days will be deleted
days=-1

function display_usage() {
	echo "usage: $(basename "$0") [-h] -u longhorn-url -d days"
	echo "  -u	Longhorn URL"
	echo "  -d 	Number of days(should be >0). By default, script will delete snapshot older than 10 days."
	echo "  -h	Print help"
}

while getopts 'hd:u:' flag "$@"; do
	case "${flag}" in
		u)
			url=${OPTARG}
			;;
		d)
			days=${OPTARG}
			[ "$days" ] && [ -z "${days//[0-9]}" ] || { echo "Invalid number of days=$days"; exit 1; }
			;;
		h)
			display_usage
			exit 0
			;;
		:)
			echo "Invalid option: ${OPTARG} requires an argument."
			exit 1
			;;
		*)
			echo "Unexpected option ${flag}"
			exit 1
			;;
	esac
done

[[ -z "$url" ]] && echo "Missing longhorn URL" && exit 1

# check if URL is valid
curl -s --connect-timeout 30 ${url}/v1 >> /dev/null || { echo "Unable to connect to longhorn backend"; exit 1; }

echo "Deleting snapshots older than $days days"

# Fetch list of longhorn volumes
vols=$( (curl -s -X GET ${url}/v1/volumes |jq -r '.data[].name') )

#delete given snapshot for given volume
function delete_snapshot() {
	local vol=$1
	local snap=$2

	[[ -z "$vol" || -z "$snap" ]] && echo "Error: delete_snapshot: Empty argument" && return 1
	curl -s -X POST ${url}/v1/volumes/${vol}?action=snapshotDelete -d '{"name": "'$snap'"}' >> /dev/null
	echo "Snapshot=$snap deleted for volume=$vol"
}

#perform cleanup for given volume
function cleanup_volume() {
	local vol=$1
	local deleted_snap=0

	[[ -z "$vol" ]] && echo "Error: cleanup_volume: Empty argument" && return 1

	# fetch list of snapshot
	snaps=$( (curl -s -X POST ${url}/v1/volumes/${vol}?action=snapshotList | jq  -r '.data[] | select(.usercreated==true) | .name' ) )
	for i in ${snaps[@]}; do
		echo $i
		if [[ $i == "volume-head" ]]; then
			continue
		fi

		# calculate date difference for snapshot
		snapTime=$(curl -s -X POST ${url}/v1/volumes/${vol}?action=snapshotGet -d '{"name":"'$i'"}' |jq -r '.created')
		currentTime=$(date "+%s")
		timeDiff=$((($(date -d $snapTime "+%s") - $currentTime) / 86400))
		if [[ $timeDiff -lt $days ]]; then
			echo "Ignoring snapshot $i, since it is older than $timeDiff days"
			continue
		fi

		#trigger deletion for snapshot
		delete_snapshot $vol $i
		deleted_snap=$((deleted_snap+1))
	done

	if [[ "$deleted_snap" -gt 0 ]]; then
		#trigger purge for volume
		curl -s -X POST ${url}/v1/volumes/${vol}?action=snapshotPurge >> /dev/null
	fi

}

for i in ${vols[@]}; do
	cleanup_volume $i
done

LonghornBackupObjectThresholdExceededWarn

Diese Warnung weist darauf hin, dass die kumulative Anzahl der von Longhorn im System erstellten Sicherungsobjekte zunimmt, was zu potenziellen Ausfallzeiten führen kann. Dies ist eine Warnung.

Diese Warnung wird ausgelöst, wenn die Anzahl der Longhorn-Sicherungen größer oder gleich 150 und kleiner als 200 ist.

LonghornBackupObjectThresholdExceededCritical

Diese Warnung weist darauf hin, dass die kumulative Anzahl der von Longhorn im System erstellten Sicherungsobjekte zunimmt, was zu potenziellen Ausfallzeiten führen kann. Dies ist eine kritische Warnung.

Diese Warnung wird ausgelöst, wenn die Anzahl der Longhorn-Sicherungen größer oder gleich 200 und kleiner als 240 ist.

LonghornSnapshotObjectThresholdExceededWarn

Diese Warnung weist darauf hin, dass die kumulative Anzahl der von Longhorn im System erstellten Snapshot-Objekte zunimmt, was zu potenziellen Ausfallzeiten führen kann. Dies ist eine Warnung.

Diese Warnung wird ausgelöst, wenn die Anzahl der Snapshots größer oder gleich 150 und kleiner als 200 ist.

LonghornSnapshotObjectThresholdExceededCritical

Diese Warnung weist darauf hin, dass die kumulative Anzahl der von Longhorn im System erstellten Snapshot-Objekte zunimmt, was zu potenziellen Ausfallzeiten führen kann. Diese Warnung ist kritisch.

Diese Warnung wird ausgelöst, wenn die Anzahl der Snapshots größer oder gleich 200 und kleiner als 240 ist.