AI Center に関する考慮事項

完全なプラットフォーム要件の一部であるコア サービス要件に加えて、AI Center では、実行またはトレーニングするモデルに応じて追加のリソースが必要です。必要な GPU ハードウェア世代と互換性のある NVIDIA ドライバーについて詳しくは、「 相互運用性マトリクス」をご覧ください。

注:

The following table describes the additional resources AI Center needs.

この表では、すべてのサーバー ノードにデータ ディスクが必要です。これは、エージェント ノードでは不要です。

使用	CPU	RAM (GB)	GPU	ディスク (GB)
サービング (ML スキル、1 つのレプリカ) の最小要件	0.6	2	0	rancher パーティションに 20 GB
トレーニング (パイプライン) の最小要件	1	4	0	rancher パーティションに 20 GB 最小 51 GB の AI Center ディスク パーティション (105 GB を推奨)
DU モデルのサービング (ML スキル、1 つのレプリカ)	1	4	0	rancher パーティションに 20 GB
DU モデルのトレーニング	2	24	強く推奨	rancher パーティションに 20 GB 最小 51 GB のデータ ディスク (105 GB を推奨)

注:

次の表で、AI Center の小規模および平均的な実装に必要なリソースについて説明します。これらの数は一般的な指針です。

この表では、すべてのサーバー ノードにデータ ディスクが必要です。これは、エージェント ノードでは不要です。

使用	CPU	RAM (GB)	GPU	ディスク (GB)
小規模な実装: 3 モデルのサービング 1 つの同時パイプライン	4	32	0	80 GB on the rancher partition1 105 Data Disk 2
平均的な実装: 5 モデルのサービング 2 つの同時パイプライン DU モデルのトレーニング	8	52	強く推奨	160 GB on the rancher partition3 315 Data Disk 4

¹ (3 スキル + 1 パイプライン) * 20 GB ( rancher パーティション) = 80 GB ( rancher パーティション)

² 1 パイプライン * 105 GB = 105 データ ディスク

³ (5 スキル + 2 パイプライン + 1 DU パイプライン) * 20 GB ( rancher パーティション) = 160 GB ( rancher パーティション)

⁴ (2 パイプライン + 1 DU パイプライン) * 105 GB = 315 データ ディスク