AI Center に関する考慮事項

完全なプラットフォーム要件の一部であるコア サービス要件に加えて、AI Center では、実行またはトレーニングするモデルに応じて追加のリソースが必要です。必要な GPU ハードウェア世代と互換性のある NVIDIA ドライバーについて詳しくは、「 相互運用性マトリクス」をご覧ください。

注:

The following table describes the additional resources AI Center needs.

この表では、すべてのサーバー ノードにデータ ディスクが必要です。これは、エージェント ノードでは不要です。

使用	CPU	RAM (GiB)	GPU	ディスク (GiB)
サービング (ML スキル、1 つのレプリカ) の最小要件	0.6	2	0	rancher パーティションに 20 GiB
トレーニング (パイプライン) の最小要件	1	4	0	rancher パーティションに 20 GiB 最小 51 GiB の AI Center ディスク パーティション (105 GiB を推奨)
DU モデルのサービング (ML スキル、1 つのレプリカ)	1	4	0	rancher パーティションに 20 GiB
DU モデルのトレーニング	2	24	強く推奨	rancher パーティションに 20 GiB 最小 51 GiB のデータ ディスク (105 GiB を推奨)

注:

次の表で、AI Center の小規模および平均的な実装に必要なリソースについて説明します。これらの数は一般的な指針です。

この表では、すべてのサーバー ノードにデータ ディスクが必要です。これは、エージェント ノードでは不要です。

使用	CPU	RAM (GiB)	GPU	ディスク (GiB)
小規模な実装: 3 モデルのサービング 1 つの同時パイプライン	4	32	0	80 GiB on the rancher partition1 105 Data Disk 2
平均的な実装: 5 モデルのサービング 2 つの同時パイプライン DU モデルのトレーニング	8	52	強く推奨	160 GiB on the rancher partition3 315 Data Disk 4

¹ (3 skills +1 pipeline) * 20 GiB on the rancher partition = 80 GiB on the rancher partition

² 1 pipeline * 105GiB = 105 Data disk

³ (5 skills + 2 pipeline + 1 DU pipeline) * 20 GiB on the rancher partition = 160 GiB on the rancher partition

⁴ (2 pipeline + 1 DU pipeline) * 105GiB = 315 Data disk