GPU-Knoten von Nichtverfügbarkeit von Ressourcen betroffen

Beschreibung

Beim Konfigurieren eines GPU-Knotens in der Automation Suite 2023.4.0 oder 2023.4.1 können Probleme mit der Ressourcenverfügbarkeit auftreten.

Um zu überprüfen, ob der GPU-Knoten von diesem Problem betroffen ist, führen Sie den folgenden Befehl aus:

kubectl describe node <GPU>

Wenn die Ressource Allocatable wie im folgenden Beispiel nvidia.com/gpu nicht enthält, betrifft Sie das GPU-Problem.

Allocatable:
  cpu:                5400m
  ephemeral-storage:  51938908890
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             113173836Ki
  pods:               500

Lösung

Um dieses Problem zu beheben, führen Sie den folgenden Befehl auf dem GPU-Knoten aus:

awk '1;/plugins."io.containerd.grpc.v1.cri".containerd]/{print " default_runtime_name = \"nvidia\""}' /var/lib/rancher/rke2/agent/etc/containerd/config.toml > /var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl
systemctl stop rke2-agent
rke2-killall.sh
systemctl start rke2-agent

Um zu überprüfen, ob die GPU-Ressource angezeigt wird, führen Sie den folgenden Befehl aus:

kubectl describe node <GPU>

Im folgenden Beispiel können Sie sehen, dass nvidia.com/gpu vorhanden ist, sodass das GPU-Problem nicht mehr auftritt.

Allocatable:
  cpu:                5400m
  ephemeral-storage:  51938908890
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             113173836Ki
  nvidia.com/gpu:     1
  pods:               500