リソースが利用できないことの影響を受ける GPU ノード

説明

Automation Suite 2023.4.0 または 2023.4.1 で GPU ノードを構成すると、リソースの可用性に関する問題が発生する可能性があります。

GPU ノードがこの問題の影響を受けていないか確認するには、次のコマンドを実行します。

kubectl describe node <GPU>kubectl describe node <GPU>

Allocatable リソースに nvidia.com/gpu が含まれていない場合 (以下のサンプルの場合と同様)、GPU の問題の影響があります。

Allocatable:
  cpu:                5400m
  ephemeral-storage:  51938908890
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             113173836Ki
  pods:               500Allocatable:
  cpu:                5400m
  ephemeral-storage:  51938908890
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             113173836Ki
  pods:               500

解決策

この問題を修正するには、GPU ノードで次のコマンドを実行します。

awk '1;/plugins."io.containerd.grpc.v1.cri".containerd]/{print " default_runtime_name = \"nvidia\""}' /var/lib/rancher/rke2/agent/etc/containerd/config.toml > /var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl
systemctl stop rke2-agent
rke2-killall.sh
systemctl start rke2-agentawk '1;/plugins."io.containerd.grpc.v1.cri".containerd]/{print " default_runtime_name = \"nvidia\""}' /var/lib/rancher/rke2/agent/etc/containerd/config.toml > /var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl
systemctl stop rke2-agent
rke2-killall.sh
systemctl start rke2-agent

GPU リソースが表示されているかどうかを確認するには、次のコマンドを実行します。

kubectl describe node <GPU>kubectl describe node <GPU>

次のサンプルでは nvidia.com/gpu が存在しているため、GPU の問題は発生しません。

Allocatable:
  cpu:                5400m
  ephemeral-storage:  51938908890
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             113173836Ki
  nvidia.com/gpu:     1
  pods:               500Allocatable:
  cpu:                5400m
  ephemeral-storage:  51938908890
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             113173836Ki
  nvidia.com/gpu:     1
  pods:               500

説明
解決策

Was this page helpful?

PREVIOUSAutomation Suite で backlog_wait_time を 0 に設定する必要がある

次へワークロードの準備ができていないためボリュームをマウントできない