Nó da GPU afetado por indisponibilidade de recurso

Description

Ao configurar um nó da GPU no Automation Suite 2023.4.0 ou 2023.4.1, você pode enfrentar problemas com a disponibilidade de recursos.

Para verificar se o nó da GPU é afetado por esse problema, execute o seguinte comando:

kubectl describe node <GPU>

Se o recurso Allocatable não contiver nvidia.com/gpu, como é o caso do exemplo a seguir, o problema da GPU afeta você.

Allocatable:
  cpu:                5400m
  ephemeral-storage:  51938908890
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             113173836Ki
  pods:               500

Solução

Para corrigir esse problema, execute o seguinte comando no nó da GPU:

awk '1;/plugins."io.containerd.grpc.v1.cri".containerd]/{print " default_runtime_name = \"nvidia\""}' /var/lib/rancher/rke2/agent/etc/containerd/config.toml > /var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl
systemctl stop rke2-agent
rke2-killall.sh
systemctl start rke2-agent

Para verificar se o recurso da GPU aparece, execute o seguinte comando:

kubectl describe node <GPU>

No exemplo a seguir, você pode ver que nvidia.com/gpu está presente, portanto, o problema da GPU não ocorre mais.

Allocatable:
  cpu:                5400m
  ephemeral-storage:  51938908890
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             113173836Ki
  nvidia.com/gpu:     1
  pods:               500