AI Center に関する考慮事項

AI Center では、完全なプラットフォーム要件に含まれるコア サービス要件に加えて、実行またはトレーニングするモデルに応じて追加のリソースが必要です。 必要な GPU ハードウェアの世代と互換性のある NVIDIA ドライバーの詳細については、「 相互運用性マトリクス」をご覧ください。

次の表で、AI Center で必要となる追加リソースについて説明します。この表では、すべてのサーバー ノードにデータ ディスクが必要です。これは、エージェント ノードでは不要です。

使用	CPU	RAM (GiB)	GPU	ディスク (GiB)
サービング (ML スキル、1 つのレプリカ) の最小要件	0.6	2	0	rancher パーティションに 20 GiB
トレーニング (パイプライン) の最小要件	1	4	0	rancher パーティションに 20 GiB 最小 51 GiB の AI Center ディスク パーティション (105 GiB を推奨)
DU モデルのサービング (ML スキル、1 つのレプリカ)	1	4	0	rancher パーティションに 20 GiB
DU モデルのトレーニング	2	24	強く推奨	rancher パーティションに 20 GiB 最小 51 GiB のデータ ディスク (105 GiB を推奨)

次の表で、AI Center の小規模および平均的な実装に必要なリソースについて説明します。これらの数は一般的な指針です。この表では、すべてのサーバー ノードにデータ ディスクが必要です。これは、エージェント ノードでは不要です。

使用	CPU	RAM (GiB)	GPU	ディスク (GiB)
小規模な実装: 3 モデルのサービング 1 つの同時パイプライン	4	32	0	rancherパーティション 1 で 80 GiB 105 データ ディスク 2
平均的な実装: 5 モデルのサービング 2 つの同時パイプライン DU モデルのトレーニング	8	52	強く推奨	160 GiB (rancherパーティション3) 315 データ ディスク 4

¹ (3 スキル +1 パイプライン) * rancher パーティションで 20 GiB = rancher パーティションで 80 GiB

² 1 パイプライン * 105 GB = 105 データ ディスク

³ (5 つのスキル + 2 つのパイプライン + 1 つの DU パイプライン) * rancher パーティションで 20 GiB = rancher パーティションで 160 GiB

⁴ (2 パイプライン + 1 DU パイプライン) * 105 GB = 315 データ ディスク