パイプラインを管理する

パイプラインを作成する

1. [パイプライン] ページで、[新規作成] ボタンをクリックします。[新しいパイプライン実行を作成] ページが表示されます。

   または、特定のパッケージの [ML パッケージの詳細] で、[パイプライン実行] を選択して、[新規作成] ボタンをクリックします。[新しいパイプライン実行を作成] ページが表示されます。

2. [新しいパイプライン実行を作成] ページで、パイプライン実行の種類を選択します。選択できるオプションは、[トレーニングの実行]、[評価の実行]、[フル パイプラインの実行] です。
3. パイプライン実行の表示名を追加します。
4. パイプライン実行のパッケージを選択します。
5. パッケージのメジャーおよびマイナー バージョンを選択します。
6. データセットを選択します。選択したパイプラインの種類に応じて、以下のデータセットを指定する必要があります。
   • トレーニング パイプラインの場合は、入力データセットを指定します。
   • 評価パイプラインの場合は、評価データセットを指定します。
   • フル パイプライン実行の場合は、入力データセットと評価データセットを指定します。
7. 任意: パイプライン実行のパラメーターを入力します。[新規追加] をクリックしてパラメーター セクションを表示し、環境変数と対応する値を入力します。複数のパラメーターを使用できます。
8. パイプラインに GPU が必要かどうかを選択します。既定では、[いいえ] に設定されています。
   注: AI ユニット ライセンス モデルを使用している場合は、[GPU を有効化] トグル ボタンの下に AI ユニットの 1 時間あたりのコストが表示されます。GPU を使用するかしないかによって、1 時間あたりのコストが変わります。
   注: GPU リソースに基づいてパイプラインをキューに追加できます。詳しくは、「GPU リソースのキューを設定する」をご覧ください。
9. いつパイプラインを実行するかを選択します。使用可能なオプションは以下のとおりです。
   • 今すぐ実行 - パイプラインは、作成後すぐに実行が開始されます。
   • 時間ベース - [日付] フィールドおよび [時間] フィールドで指定した日時にパイプラインの実行が開始されます。
   • 定期的 - [定期的なスケジュールを設定] ウィンドウで設定した定期的なスケジュールに従ってパイプラインの実行が開始されます。特定の曜日の特定の時間に実行するように設定することも、cron 式を使用することもできます。

   パイプラインのスケジュールについて詳しくは、こちらをご覧ください。

10. [作成] をクリックしてパイプラインを作成するか、[キャンセル] をクリックして操作を中止します。[新しいパイプライン実行を作成] ページが閉じます。
    
    

    

    
    

パイプラインが作成され、[パイプライン] ページと、選択したパッケージの [ML パッケージの詳細] ページの [パイプライン実行] タブに、詳細とともに表示されます。作成時に選択したタイムフレームに従って、パイプラインが実行されます。

パイプラインをスケジュール設定する

パイプラインの作成時には、すべての種類のパイプラインについて、将来のある特定の日時にスケジュール設定するか、定期的なスケジュールを設定することができます。たとえば、パイプラインを日曜の午前 1 時に実行するようにスケジュールを設定できます。これにより、データが人間参加型のタスクから送り返されてきたときにモデルを継続的に更新し、AI Unit ライセンスをより効率的に使用することができます。

⏲ 将来の 1 つの日付にスケジュール設定されるパイプラインを作成するには、[新しいパイプライン実行を作成] ページで [時間ベース] オプションを選択します。

📅 定期的なスケジュールでパイプラインを作成するには、[新しいパイプライン実行を作成] ページで [定期的] オプションを選択します。

⚙ [定期的なスケジュールを設定] ウィンドウで [詳細] タブを選択し、cron 式を入力すると、ただ「毎日、特定の時間に」実行されるよう指定するのではなく、より複雑なスケジュールを設定できます。cron 式は、さまざまな無料のオンライン ツールで簡単に生成できます。

GPU リソースのキューの設定

デプロイされた GPU の数によっては、リソースが制限されるクラスターがあります。

キュー メカニズムでは、GPU の使用要求を管理し、GPU のステータスを監視して、GPU が利用可能になったときに要求を実行します。リソースを管理することにより、要求の追跡と再開始を効率よく行えます。

GPU リソースのキューを設定する方法は、以下のとおりです。

1. ArgoCD の AI Center アプリケーションに移動します。
   
   

   

   
   
2. [App Details] ボタンをクリックして、アプリケーションの詳細を表示します。
   
   

   

   
   
3. [Parameters] タブをクリックして、パラメーターとその詳細を確認します。
   
   

   

   
   

• global.waitQueue.gpuCount - モデルのトレーニングに使用できる GPU リソースの数を設定します。
• global.waitQueue.queueLength - キューの最大長を設定します。この値を超えると、新しい要求はキューに追加できません。推奨されるキューの長さは 5*numGPU です。

機能の有効化

global.waitQueue.enabled プロパティを true に設定します。

構成

任意: global.waitQueue.gpuCount または global.waitQueue.queueLength を変更します。

機能

これで、機能が有効化されます。2 つの連続した GPU パイプラインをトリガーした場合、片方はもう一方が完了するのを待機します。

スケジュールされたパイプラインを編集する

まだ実行されていないパイプラインのみ編集できます。

1. [パイプラインの詳細] ページに移動します。
   • [パイプライン] ページで、スケジュールされたパイプラインの横の ⁝ をクリックして、[詳細] を選択します。
   • 特定のパッケージの [ML パッケージの詳細] で [パイプライン実行] タブを選択し、実行が予定されているパイプラインの横にある ⁝ をクリックして、[詳細] を選択します。[パイプラインの詳細] ページが表示されます。
2. [パイプラインを編集] をクリックします。[パイプライン実行を編集] ページが表示されます。
3. パイプラインの名前、スケジュールされたパイプラインのデータ ディレクトリ、および定期的なスケジュールを変更できます。
4. [送信] をクリックして変更を保存します。スケジュールされたパイプラインが更新情報とともに、[パイプライン] ページに表示されます。

パイプラインを削除する

1. パイプラインを削除します。
   • [パイプライン] ページで、パイプラインの横の ⁝ をクリックして [削除] を選択します。
   • 特定のパッケージの [ML パッケージの詳細] で [パイプライン実行] タブを選択し、パイプラインの横にある ⁝ をクリックして、[削除] を選択します。確認ダイアログが表示されます。
2. [OK] をクリックしてパイプラインを削除します。
   注:

   パッケージ中、リソース待機中、または実行中のパイプラインを削除するときには、まずパイプラインの実行を停止してから削除します。

   パッケージ化中、リソース待機中、または実行中のパイプラインを停止して、そのログを確認するだけの場合は、横の ⁝ をクリックし、[詳細] オプションを選択して、対応する [パイプラインの詳細] ページに移動します。このページで、パイプラインを停止できます。

表示中のパイプラインの詳細

特定のパイプラインの詳細情報を調べたり、他のアクションを実行したりできます。

• [パイプライン] ページで、スケジュールされたパイプラインの横の ⁝ をクリックして、[詳細] を選択します。

• 特定のパッケージの [ML パッケージの詳細] で [パイプライン実行] タブを選択し、実行が予定されているパイプラインの横にある ⁝ をクリックして、[詳細] を選択します。[パイプラインの詳細] ページが表示されます。
• また、ML パッケージがパイプラインによって生成された場合には、そのパイプラインに関するすべての情報に [ML パッケージ] ウィンドウの 3 点リーダー メニューのアイコン ⁝ > [パイプラインの詳細] から直接アクセスすることもできるようになりました。この機能は、新しいパイプラインに対してのみ利用できます。

表示される情報と実行できるアクションは、パイプラインのステータスによって異なります。

スケジュールされたパイプラインの詳細

スケジュールされたパイプラインの [パイプラインの詳細] ページには、情報タブが表示されます。

以下のアクションを実行できます。

パイプラインを削除します。

パイプラインを編集します。表示された [パイプライン実行を編集] ページで、任意のフィールドを更新できます。[今すぐ実行] を選択しても、新しいパイプラインが作成されるわけではありません。このパイプラインが直ちに実行され、スケジュールされたパイプラインのリストから削除されます。

パッケージ中のパイプラインの詳細

パッケージ中のパイプラインの [パイプラインの詳細] ページには、情報タブが表示されます。

以下のアクションを実行できます。

パイプラインを強制終了します。これによりパイプラインの実行が停止するため、パイプラインは実行されなくなり、AI Unit は消費されなくなります。ステータスは [強制終了] に変わります。

リソース待機中のパイプラインの詳細

リソース待機中のパイプラインの [パイプラインの詳細] ページには、情報タブが表示されます。

以下のアクションを実行できます。

パイプラインを強制終了します。これによりパイプラインはキューから削除されるため、パイプラインは実行されなくなり、AI Unit は消費されなくなります。ステータスは [強制終了] に変わります。

実行中のパイプラインの詳細

実行中のパイプラインの [パイプラインの詳細] ページには、情報タブとリアルタイム ログが表示されます。

以下のアクションを実行できます。

パイプラインを強制終了します。これによりパイプラインが直ちに停止し、ステータスが [強制終了] に変わります。ログには、強制終了アクションが実行された時刻のスナップショットが表示されます。

失敗したパイプラインの詳細

失敗したパイプラインの [パイプラインの詳細] ページには、情報タブとログが表示されます。このパイプラインが失敗したステージに応じて、パイプラインの (部分的な) 出力が表示されます。

以下のアクションを実行できます。

パイプラインを再開します。これにより、作成時とまったく同じパラメーターで、新しいパイプラインがキューに追加されます。キューが空の場合、パイプラインの実行が直ちに開始されます。

強制終了されたパイプラインの詳細

強制終了されたパイプラインの [パイプラインの詳細] ページには、情報タブが表示されます。また、このパイプラインが強制終了されたポイントによっては、[パイプラインの詳細] ページにログが表示されることもあります。

以下のアクションを実行できます。

パイプラインを再開します。

パイプラインを削除します。

成功したパイプラインの詳細

成功したパイプラインの [パイプラインの詳細] ページには、情報タブ、ログ、およびパイプラインの出力が表示されます。

以下のアクションを実行できます。

パイプラインを削除します。

パイプラインを削除します。

パイプラインを再開します。

ログ

パイプライン実行のレポートは、[ログ] セクションからダウンロードできます。ダウンロードするには、[パイプライン レポートをダウンロード] ボタンをクリックします。

迅速なトラブルシューティングのため、問題を報告する際はこのレポートを添付することをお勧めします。

このレポートには、問題をデバッグするために必要なすべての情報 (アカウント ID、テナント ID、AI ユニット、関連するパッケージとパイプラインの情報を含む) が含まれています。

パイプライン実行レポートの例は、以下のスクリーンショットをご覧ください。