Nœud GPU affecté par l'indisponibilité des ressources

Description

Lors de la configuration d'un nœud GPU dans Automation Suite 2023.4.0 ou 2023.4.1, vous pouvez rencontrer des problèmes de disponibilité des ressources.

Pour vérifier si le nœud GPU est affecté par ce problème, exécutez la commande suivante :

kubectl describe node <GPU>

Si la ressource Allocatable ne contient pas nvidia.com/gpu, comme c'est le cas dans l'exemple suivant, cela signifie que le problème de nœud GPU vous affecte.

Allocatable:
  cpu:                5400m
  ephemeral-storage:  51938908890
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             113173836Ki
  pods:               500

Solution

Pour résoudre ce problème, exécutez la commande suivante sur le nœud GPU :

awk '1;/plugins."io.containerd.grpc.v1.cri".containerd]/{print " default_runtime_name = \"nvidia\""}' /var/lib/rancher/rke2/agent/etc/containerd/config.toml > /var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl
systemctl stop rke2-agent
rke2-killall.sh
systemctl start rke2-agent

Pour vérifier si la ressource GPU s'affiche, exécutez la commande suivante :

kubectl describe node <GPU>

Dans l'exemple suivant, vous pouvez voir que nvidia.com/gpu est présent, donc le problème de nœud GPU ne se produit plus.

Allocatable:
  cpu:                5400m
  ephemeral-storage:  51938908890
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             113173836Ki
  nvidia.com/gpu:     1
  pods:               500