AI Center に関する考慮事項

AI Center では、完全なプラットフォーム要件に含まれるコア サービス要件に加えて、実行またはトレーニングするモデルに応じて追加のリソースが必要です。 必要な GPU ハードウェアの世代と互換性のある NVIDIA ドライバーの詳細については、「 相互運用性マトリクス」をご覧ください。

注: 次の表で、AI Center で必要となる追加リソースについて説明します。

この表では、すべてのサーバー ノードにデータ ディスクが必要です。これは、エージェント ノードでは不要です。

使用	CPU	RAM (GiB)	GPU	ディスク (GiB)
サービング (ML スキル、1 つのレプリカ) の最小要件	0.6	2	0	rancher パーティションに 20 GiB
トレーニング (パイプライン) の最小要件	1	4	0	rancher パーティションに 20 GiB 最小 51 GiB の AI Center ディスク パーティション (105 GiB を推奨)
DU モデルのサービング (ML スキル、1 つのレプリカ)	1	4	0	rancher パーティションに 20 GiB
DU モデルのトレーニング	2	24	強く推奨	rancher パーティションに 20 GiB 最小 51 GiB のデータ ディスク (105 GiB を推奨)

注: 次の表で、AI Center の小規模および平均的な実装に必要なリソースについて説明します。これらの数は一般的な指針です。

この表では、すべてのサーバー ノードにデータ ディスクが必要です。これは、エージェント ノードでは不要です。

使用	CPU	RAM (GiB)	GPU	ディスク (GiB)
小規模な実装: 3 モデルのサービング 1 つの同時パイプライン	4	32	0	rancherパーティション 1 で 80 GiB 105 データ ディスク 2
平均的な実装: 5 モデルのサービング 2 つの同時パイプライン DU モデルのトレーニング	8	52	強く推奨	160 GiB (rancherパーティション3) 315 データ ディスク 4

¹ (3 スキル +1 パイプライン) * rancher パーティションで 20 GiB = rancher パーティションで 80 GiB

² 1 パイプライン * 105GiB = 105 データ ディスク

³ (5 つのスキル + 2 つのパイプライン + 1 つの DU パイプライン) * rancher パーティションで 20 GiB = rancher パーティションで 160 GiB

⁴ (2 パイプライン + 1 DU パイプライン) * 105GiB = 315 データ ディスク