Speicherwarnungen

kubernetes-system

KubernetesDiskPressure

Diese Warnung weist darauf hin, dass die Datenträgernutzung auf dem Kubernetes-Knoten sehr hoch ist.

Wenn diese Warnung ausgelöst wird, versuchen Sie herauszufinden, welcher Pod mehr Datenträger verbraucht:

• Bestätigen Sie mit dem folgenden Befehl, ob sich der Knoten unter DiskPressure befindet:

  kubectl describe node <node-name>

  Identifizieren Sie für die Bedingung DiskPressure in der Ausgabe.

• Überprüfen Sie die Speicherplatznutzung auf dem betroffenen Knoten:

  df -h

  Hier wird die Datenträgernutzung auf allen bereitgestellten Dateisystemen angezeigt. Ermitteln Sie die hohe Nutzung.

• Wenn der Datenträger voll und die Bereinigung unzureichend ist, sollten Sie eine Größenänderung des Datenträgers für den Knoten in Betracht ziehen ( insbesondere in Cloud-Umgebungen wie AWS oder GCP). Dieser Prozess kann je nach Ihrer Infrastruktur eine Erweiterung der Volumes erfordern.

KubernetesMemoryPressure

Diese Warnung weist darauf hin, dass die Speicherauslastung auf dem Kubernetes-Knoten sehr hoch ist.

Der Vorfallstyp Kubernetes-Knoten mit MemoryPressure tritt auf, wenn ein Kubernetes-Clusterknoten nicht mehr über den Arbeitsspeicher verfügt, was durch einen Speicherverlust in einer Anwendung verursacht werden kann. Dieser Vorfalltyp erfordert sofortige Aufmerksamkeit, um Ausfallzeiten zu vermeiden und das ordnungsgemäße Funktionieren des Kubernetes-Clusters sicherzustellen.

Wenn diese Warnung ausgelöst wird, versuchen Sie, den Pod auf dem Knoten zu identifizieren, der mehr Speicher verbraucht, indem Sie die folgenden Schritte ausführen:

1. Rufen Sie die CPU- und Speicherstatistiken der Knoten ab:

   kubectl top node

2. Rufen Sie die Pods ab, die auf dem Knoten ausgeführt werden:

   kubectl get pods --all-namespaces -o wide --field-selector spec.nodeName=${NODE_NAME}

3. Überprüfen Sie die Speichernutzung für Pods in einem Namespace mit:

   kubectl top pod --namespace <namespace>
   kubectl logs -f <pod-name> -n <ns>

Wenn Sie einen Pod mit hoher Speicherauslastung identifizieren können, überprüfen Sie die Protokolle des Pods und suchen Sie nach Speicherverlustfehlern.

Um das Problem zu beheben, erhöhen Sie nach Möglichkeit die Speicherspezifikation für die Knoten.

Wenn das Problem weiterhin besteht, generieren Sie das Supportpaket und wenden Sie sich an den UiPath®-Support.

KubePersistentVolumeFillingUp

Bei Warnend: Der verfügbare Speicherplatz beträgt weniger als 30 % und wird wahrscheinlich innerhalb von vier Tagen ausgefüllt.

Bei Kritisch: Der verfügbare Speicherplatz ist weniger als 10 %.

Bei allen Diensten, bei denen der Speicherplatz knapp wird, kann es schwierig werden, die Daten wiederherzustellen. Daher sollten die Volumes verkleinert werden, bevor der verfügbare Speicherplatz 0 % erreicht.

Anweisungen finden Sie unter Konfigurieren des Clusters.

Weitere Informationen und Anweisungen zu Prometheus-spezifischen Warnungen finden Sie unter PrometheusStorageUsage .

KubePersistentVolumeErrors

PersistentVolume kann nicht bereitgestellt werden. Das bedeutet, dass ein Dienst, der das Volume benötigt, nicht gestartet werden kann. Prüfen Sie auf andere Fehler mit Longhorn- und/oder Ceph-Speicher und kontaktieren Sie den UiPath®-Support.

node-exporter

NodeFilesystemSpaceFillingUp

Das Dateisystem auf einem bestimmten Knoten füllt sich.

Wenn diese Warnung ausgelöst wird, sollten Sie die folgenden Schritte beachten:

• Bestätigen Sie mit dem folgenden Befehl, ob sich der Knoten unter DiskPressure befindet:

  kubectl describe node <node-name>

  Identifizieren Sie für die Bedingung DiskPressure in der Ausgabe.

• Löschen Sie die Protokolle und temporären Dateien. Suchen Sie nach großen Protokolldateien in /var/log/ und bereinigen Sie diese, wenn möglich.

• Überprüfen Sie die Speicherplatznutzung auf dem betroffenen Knoten:

  df -h

  Hier wird die Datenträgernutzung auf allen bereitgestellten Dateisystemen angezeigt. Ermitteln Sie die hohe Nutzung.

• Wenn der Datenträger voll und die Bereinigung unzureichend ist, sollten Sie eine Größenänderung des Datenträgers für den Knoten in Betracht ziehen ( insbesondere in Cloud-Umgebungen wie AWS oder GCP). Dieser Prozess kann je nach Ihrer Infrastruktur eine Erweiterung der Volumes erfordern.

NodeFilesystemAlmostOutOfSpace

Das Dateisystem auf einem bestimmten Knoten füllt sich. Stellen Sie mehr Speicherplatz zur Verfügung, indem Sie eine Festplatte hinzufügen oder nicht verwendete Datenträger einhängen.

NodeFilesystemFilesFillingUp

Das Dateisystem auf einem bestimmten Knoten füllt sich. Stellen Sie mehr Speicherplatz zur Verfügung, indem Sie eine Festplatte hinzufügen oder nicht verwendete Datenträger einhängen.

NodeFilesystemAlmostOutOfFiles

Das Dateisystem auf einem bestimmten Knoten füllt sich. Stellen Sie mehr Speicherplatz zur Verfügung, indem Sie eine Festplatte hinzufügen oder nicht verwendete Datenträger einhängen.

NodeNetworkReceiveErrs

Diese Fehler weisen darauf hin, dass der Netzwerktreiber eine hohe Anzahl von Fehlern meldet. Dies kann durch physische Hardwarefehler oder Fehlkonfiguration im physischen Netzwerk verursacht werden. Dieses Problem betrifft das Betriebssystem und wird nicht durch die UiPath®-Anwendung gesteuert.

Die Warnung wird durch die Überwachung des Zählers/proc/net/dev ausgelöst, den der Linux-Kernel bereitstellt.

Wenden Sie sich an Ihren Netzwerkadministrator und das Team, das die physische Infrastruktur verwaltet.

NodeNetworkTransmitErrs

Diese Fehler weisen darauf hin, dass der Netzwerktreiber eine hohe Anzahl von Fehlern meldet. Dies kann durch physische Hardwarefehler oder Fehlkonfiguration im physischen Netzwerk verursacht werden. Dieses Problem betrifft das Betriebssystem und wird nicht durch die UiPath®-Anwendung gesteuert.

Die Warnung wird durch die Überwachung des Zählers/proc/net/dev ausgelöst, den der Linux-Kernel bereitstellt.

Wenden Sie sich an Ihren Netzwerkadministrator und das Team, das die physische Infrastruktur verwaltet.

ceph.rules, cluster-state-alert.rules

CephClusterErrorState

Diese Warnung gibt an, dass sich der Ceph-Speichercluster seit mehr als 10 Minuten im Fehlerzustand befindet.

Diese Warnung gibt an, dass sich der rook-ceph-mgr -Auftrag für eine inakzeptable Zeit im Fehlerstatus befindet. Suchen Sie nach anderen Warnungen, die möglicherweise vor dieser Warnung ausgelöst wurden, und beheben Sie diese zuerst.

kubectl describe cephcluster -n rook-ceph

CephMonQuorumAtRisk

Diese Warnung gibt an, dass das Quorum des Speicherclusters niedrig ist.

Mehrere Mons arbeiten zusammen, um Redundanz bereitzustellen. Dies ist möglich, da jeder eine Kopie der Metadaten behält. Der Cluster wird mit 3 Mons bereitgestellt und erfordert, dass 2 oder mehr Mons aktiv sind, damit das Quorum und die Speichervorgänge ausgeführt werden können. Wenn das Quorum verloren geht, ist der Zugriff auf die Daten gefährdet.

Wenn diese Warnung ausgelöst wird, überprüfen Sie, ob sich OSDs im Beendigungsstatus befinden. Wenn das zutrifft, erzwingen Sie die Löschung dieser Pods und warten Sie einige Zeit, bis der Operator abgestimmt ist. Wenn das Problem weiterhin besteht, wenden Sie sich an den UiPath®-Support.

CephMgrIsAbsent

Diese Warnung weist darauf hin, dass der Ceph Manager aus der Prometheus-Zielerkennung verschwunden ist.

Wenn diese Warnung ausgelöst wird, überprüfen und stellen Sie sicher, dass der Ceph Manager-Pod in Betrieb ist und fehlerfrei ist. Wenn der Pod fehlerfrei ist, überprüfen Sie bitte die Protokolle und stellen Sie sicher, dass der Pod in der Lage ist, Prometheus-Metriken auszugeben.

CephNodeDown

Diese Warnung weist darauf hin, dass ein Knoten, der Ceph-Pods ausführt, ausgefallen ist. Während der Speichervorgang weiterhin funktioniert, da Ceph für den Umgang mit einem Knotenfehler entwickelt wurde, wird empfohlen, das Problem zu beheben, um das Risiko zu minimieren, dass ein anderer Knoten ausfällt und die Speicherfunktionen beeinträchtigt werden.

Wenn diese Warnung ausgelöst wird, muss der Pod bei einem Cluster mit mehreren Knoten auf einem anderen Knoten geplant werden. Stellen Sie sicher, dass die neuen osd-Pods im Namespace rook-ceph ausgeführt werden und sich im neuen Knoten in einem fehlerfreien Zustand befinden.

Sie können den Knotenfehler überprüfen, indem Sie den Knoten mit dem folgenden Befehl beschreiben:

kubectl get nodes

Überprüfen Sie den Knoten, um die Ursache des Problems zu ermitteln, und wenden Sie sich an den UiPath®-Support.

cluster-utilization-alert.rules

CephClusterNearFull

Diese Warnung zeigt an, dass die Nutzung des Ceph-Speicherclusters 75 % überschritten hat und bei 85 % schreibgeschützt ist.

Wenn diese Warnung ausgelöst wird, schaffen Sie Platz in Ceph, indem Sie einige nicht verwendete Datasets im AI Center löschen, oder erweitern Sie den für Ceph-PVC verfügbaren Speicherplatz.

Bevor Sie die PVC-Größe ändern, stellen Sie sicher, dass Sie die Speicheranforderungen erfüllen. Weitere Informationen finden Sie unter Bewerten Ihres Speicherbedarfs.

CephClusterCriticallyFull

Diese Warnung zeigt an, dass die Nutzung des Ceph-Speicherclusters 80 % überschritten hat und bei 85 % schreibgeschützt ist.

Wenn diese Warnung ausgelöst wird, schaffen Sie Platz in Ceph, indem Sie einige nicht verwendete Datasets im AI Center löschen, oder erweitern Sie den für Ceph-PVC verfügbaren Speicherplatz.

Bevor Sie die PVC-Größe ändern, stellen Sie sicher, dass Sie die Speicheranforderungen erfüllen. Weitere Informationen finden Sie unter Bewerten Ihres Speicherbedarfs.

CephClusterReadOnly

Diese Warnung gibt an, dass die Nutzung des Ceph-Speicherclusters 85 % überschritten hat und jetzt schreibgeschützt ist. Geben Sie Speicherplatz frei, oder erweitern Sie den Speichercluster sofort.

Wenn diese Warnung ausgelöst wird, schaffen Sie Platz in Ceph, indem Sie einige nicht verwendete Datasets im AI Center löschen, oder erweitern Sie den für Ceph-PVC verfügbaren Speicherplatz.

Bevor Sie die PVC-Größe ändern, stellen Sie sicher, dass Sie die Speicheranforderungen erfüllen. Weitere Informationen finden Sie unter Bewerten Ihres Speicherbedarfs.

osd-alert.rules

CephOSDCriticallyFull

Wenn der Schweregrad der Warnung Kritisch ist, ist der verfügbare Speicherplatz kleiner als 20 %.

Bei allen Diensten, bei denen der Speicherplatz knapp wird, kann es schwierig werden, die Daten wiederherzustellen. Daher sollten die Volumes verkleinert werden, bevor der verfügbare Speicherplatz 10 % erreicht. Siehe folgende Anweisungen: Konfigurieren des Clusters.

CephOSDNearFull

Diese Warnung zeigt an, dass die Nutzung des Ceph-Speicherclusters 75 % überschritten hat und bei 85 % schreibgeschützt ist.

Wenn diese Warnung ausgelöst wird, schaffen Sie Platz in Ceph, indem Sie einige nicht verwendete Datasets im AI Center löschen, oder erweitern Sie den für Ceph-PVC verfügbaren Speicherplatz.

Bevor Sie die PVC-Größe ändern, stellen Sie sicher, dass Sie die Speicheranforderungen erfüllen. Weitere Informationen finden Sie unter Bewerten Ihres Speicherbedarfs.

PersistentVolumeUsageNearFull

Diese Warnung zeigt an, dass die Nutzung des Ceph-Speicherclusters 75 % überschritten hat und bei 85 % schreibgeschützt ist.

Wenn diese Warnung ausgelöst wird, schaffen Sie Platz in Ceph, indem Sie einige nicht verwendete Datasets im AI Center löschen, oder erweitern Sie den für Ceph-PVC verfügbaren Speicherplatz.

Bevor Sie die PVC-Größe ändern, stellen Sie sicher, dass Sie die Speicheranforderungen erfüllen. Weitere Informationen finden Sie unter Bewerten Ihres Speicherbedarfs.

CephOSDlapping

Diese Warnung weist darauf hin, dass der Speicher-Daemon in den letzten fünf Minuten mehr als fünfmal neu gestartet wurde.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

1. Überprüfen Sie den Zustand des Ceph-Clusters. Sie müssen ceph status in der Ceph-Toolbox ausführen, um die schwebenden OSDs zu identifizieren:

   kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status

   Sie können den Pod der Ceph-Tools identifizieren, indem Sie die Pods im Namespace auflisten:

   kubectl -n rook-ceph get pod | grep tools

2. Überprüfen Sie die OSD-Protokolle auf den wechselnden OSD-Pod, um Probleme zu identifizieren:

   kubectl -n rook-ceph logs <osd-pod>

3. Probleme auf Knotenebene identifizieren:

   • Überprüfen Sie die Ressourcennutzung:

     kubectl top node <node-name>

   • Überprüfen Sie den Zustand des Datenträgers. Sie müssen eine SSH-Verbindung in den Knoten herstellen unddf -h und dmesg ausführen, um Festplattenfehler zu überprüfen.

4. Starten Sie den OSD-Pod neu. Wenn das Problem nur vorübergehend ist, müssen Sie den wechselnden OSD-Pod neu starten:

   kubectl -n rook-ceph delete pod <osd-pod>

5. Stellen Sie sicher, dass es keine Netzwerkkonnektivitätsprobleme zwischen OSDs und Ceph-Monitoren gibt.

6. Markieren Sie bei Bedarf das wechselnde OSD vorübergehend als out:

   ceph osd out <osd-id>

7. Überwachen Sie den Cluster weiterhin, um sicherzustellen, dass das Problem nicht erneut auftritt.

CephOSDDiskReagiert nicht

Diese Warnung zeigt an, dass das Host-Datenträgergerät nicht reagiert.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

1. Überprüfen Sie den Status des Ceph-Clusters. Sie müssen den allgemeinen Zustand des Ceph-Clusters bestätigen und weitere Details zum OSD-Status erhalten:

   • Führen Sie den folgenden Befehl innerhalb des Ceph-Toolbox-Pods aus:

     kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status

   • Identifizieren Sie den Pod der Ceph-Tools, indem Sie die Pods im Namespace auflisten:

     kubectl -n rook-ceph get pod | grep tools

2. Überprüfen Sie den OSD-Pod-Status. Sie müssen überprüfen, ob die OSD-Pods ausgeführt werden. Führen Sie den folgenden Befehl aus, um alle OSD-Pod-Status zu überprüfen:

   kubectl -n rook-ceph get pods | grep osd

   Wenn sich ein OSD-Pod im Status CrashLoopBackOff oder Pending befindet, könnte dies auf ein Problem mit dem OSD-Datenträger oder dem zugrunde liegenden Knoten hinweisen.
3. Starten Sie den betroffenen OSD-Pod neu. Wenn sich ein OSD-Pod in einem schlechten Zustand befindet (CrashLoopBackOff, Error usw.), müssen Sie den Pod neu starten, um zu sehen, ob sich das Problem von selbst löst. Kubernetes versucht automatisch, den Pod umzuplanen.

   kubectl -n rook-ceph delete pod <osd-pod>

   Der OSD-Pod wird neu gestartet, und wenn es sich um ein vorübergehendes Problem handelt, kann es dadurch behoben werden.

4. Überprüfen Sie die OSD-Protokolle. Wenn der Neustart das Problem nicht behoben hat, überprüfen Sie die OSD-Pod-Protokolle auf weitere Informationen darüber, warum der Datenträger nicht reagiert:

   kubectl -n rook-ceph logs <osd-pod>

   Suchen Sie nach Fehlern im Zusammenhang mit dem Datenträger oder anderen Problemen (z. B. E/A-Fehler, fehlgeschlagene Bereitstellungen).

5. Identifizieren Sie Probleme auf Knotenebene. Wenn der OSD-Datenträger nicht ordnungsgemäß bereitgestellt oder getrennt wurde, können Sie sich beim betroffenen Knoten anmelden und den Status der Datenträgerbereitstellung überprüfen:

   ssh <node> df -h

   Suchen Sie nach fehlenden oder nicht bereitgestellten Datenträgern, die Ceph erwartet. Binden Sie den Datenträger ggf. erneut ein oder ersetzen Sie ihn, wenn er fehlgeschlagen ist.

CephOSDDiskUnavailable

Diese Warnung weist darauf hin, dass der Ceph OSD-Datenträger auf dem Host nicht zugänglich ist.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

1. Überprüfen Sie den Status des Ceph-Clusters. Sie müssen den allgemeinen Zustand des Ceph-Clusters bestätigen und weitere Details zum OSD-Status erhalten:

   • Führen Sie den folgenden Befehl innerhalb des Ceph-Toolbox-Pods aus:

     kubectl -n rook-ceph exec -it <ceph-tools-pod> -- ceph status

   • Identifizieren Sie den Pod der Ceph-Tools, indem Sie die Pods im Namespace auflisten:

     kubectl -n rook-ceph get pod | grep tools

2. Überprüfen Sie den OSD-Pod-Status. Sie müssen überprüfen, ob die OSD-Pods ausgeführt werden. Führen Sie den folgenden Befehl aus, um alle OSD-Pod-Status zu überprüfen:

   kubectl -n rook-ceph get pods | grep osd

   Wenn sich ein OSD-Pod im Status CrashLoopBackOff oder Pending befindet, könnte dies auf ein Problem mit dem OSD-Datenträger oder dem zugrunde liegenden Knoten hinweisen.
3. Starten Sie den betroffenen OSD-Pod neu. Wenn sich ein OSD-Pod in einem schlechten Zustand befindet (CrashLoopBackOff, Error usw.), müssen Sie den Pod neu starten, um zu sehen, ob sich das Problem von selbst löst. Kubernetes versucht automatisch, den Pod umzuplanen.

   kubectl -n rook-ceph delete pod <osd-pod>

   Der OSD-Pod wird neu gestartet, und wenn es sich um ein vorübergehendes Problem handelt, kann es dadurch behoben werden.

4. Überprüfen Sie die OSD-Protokolle. Wenn der Neustart das Problem nicht behoben hat, überprüfen Sie die OSD-Pod-Protokolle auf weitere Informationen darüber, warum der Datenträger nicht reagiert:

   kubectl -n rook-ceph logs <osd-pod>

   Suchen Sie nach Fehlern im Zusammenhang mit dem Datenträger oder anderen Problemen (z. B. E/A-Fehler, fehlgeschlagene Bereitstellungen).

persistent-volume-alert.rules

PersistentVolumeUsageCritical

Wenn diese Warnung ausgelöst wird, schaffen Sie Platz in Ceph, indem Sie einige nicht verwendete Datasets im AI Center löschen, oder erweitern Sie den für Ceph-PVC verfügbaren Speicherplatz.

Bevor Sie die PVC-Größe ändern, stellen Sie sicher, dass Sie die Speicheranforderungen erfüllen. Weitere Informationen finden Sie unter Bewerten Ihres Speicherbedarfs.

pool-quota.rules

CephPoolQuotaBytesCriticallyExhausted

Diese Warnung gibt an, dass die Nutzung des Ceph-Speicherpools 90 % überschritten hat.

Wenn diese Warnung ausgelöst wird, schaffen Sie Platz in CEPH, indem Sie einige ungenutzte Dataset in AI Center löschen, oder erweitern Sie den für Ceph PVC verfügbaren Speicherplatz.

Bevor Sie die PVC-Größe ändern, stellen Sie sicher, dass Sie die Speicheranforderungen erfüllen. Weitere Informationen finden Sie unter Bewerten Ihres Speicherbedarfs.

host-disk

LowDiskForRancherPartition

Diese Warnung gibt an, dass der freie Speicherplatz für die Partition /var/lib/rancher kleiner ist als:

• 25 % – Der Schweregrad der Warnung ist kritisch

Sie müssen sich beim Hostserver anmelden und die Datenträgernutzung überprüfen. Sie können Befehle wie df -h /var/lib/rancher verwenden, um den verfügbaren Speicherplatz zu überprüfen. Wenn der Speicherplatz knapp wird, sollten Sie die folgenden Optionen in Betracht ziehen:

• Löschen Sie die unnötigen Dateien. Im Laufe der Zeit können Protokolldateien, temporäre Dateien, verwaiste Daten und Sicherungen eine beträchtliche Menge an Speicherplatz verbrauchen. Das regelmäßige Bereinigen dieser Dateien kann helfen, den Speicherplatz zu erhalten.

• Ändern Sie die Partitionsgröße. Wenn Ihr Dateisystem dies unterstützt und auf Ihrer Festplatte ungenutzter Speicherplatz verfügbar ist, können Sie die Partitionsgröße ändern, um mehr Speicherplatz zu erhalten.

• Fügen Sie mehr Speicherplatz hinzu. Wenn die vorherigen Optionen nicht ausreichen und Ihre Infrastruktur dies zulässt, vergrößern Sie den Datenträger, damit Rancher ordnungsgemäß funktioniert.

• Überprüfen Sie die Speichernutzung auf ungewöhnlich große Dateien:

  find /var/lib/rancher -type f -exec du -h {} + | sort -rh | head -n 10

• Suchen Sie nach Containern, die große Dateien auf die Festplatte schreiben.

LowDiskForKubeletPartition

Diese Warnung gibt an, dass der freie Speicherplatz für die Partition /var/lib/kubelet kleiner ist als:

• 25 % – Der Schweregrad der Warnung ist kritisch

Wenn diese Warnung ausgelöst wird, erhöhen Sie die Größe des Datenträgers.

LowDiskForVarPartition

Diese Warnung gibt an, dass der freie Speicherplatz für die Partition /var kleiner ist als:

• 25 % – Der Schweregrad der Warnung ist kritisch

Hinweis:

Dies kann durch die Ansammlung von Containersystemprotokollen passieren.

Wenn diese Warnung ausgelöst wird, führen Sie die folgenden Schritte aus:

1. Überprüfen Sie die Speichernutzung:

   find /var/ -type f -exec du -h {} + | sort -rh | head -n 10

2. Erhöhen Sie die Größe des Datenträgers.

LowDiskForVarLogPartition

Diese Warnung gibt an, dass der freie Speicherplatz für die Partition /var/lib/var kleiner ist als:

• 25 % – Der Schweregrad der Warnung ist kritisch

Wenn diese Warnung ausgelöst wird, erhöhen Sie die Größe des Datenträgers.