パイプラインについて

パイプラインとはマシンラーニングのワークフローの記述であり、ワークフローのあるすべての関数とその実行順序を指定しています。パイプラインには、パイプラインの実行に必要な入力およびパイプラインから得られる出力の定義も記述されています。

パイプライン実行とは、ユーザーが指定したコードに基づくパイプラインの実行です。パイプライン実行が完了すると、それに関連付けられた出力とログが得られます。

以下の 3 つの種類のパイプラインがあります。

トレーニングパイプライン - パッケージとデータセットを入力として、新しいバージョンのパッケージを生成します。
評価パイプライン - あるバージョンのパッケージとデータセットを入力として、一連のメトリックとログを生成します。
フルパイプライン - 処理関数、トレーニングパイプライン、評価パイプラインを実行します。
ヒント:
これらの概念の説明に使用される例は、サンプルパッケージ tutorialpackage.zip に基づいています。サンプルパッケージは以下のボタンをクリックしてダウンロードできます。パイプラインについて初めて学習する場合は、このサンプルパッケージをアップロードすることをお勧めします。サンプルパッケージを有効化してトレーニングに使用してください。

サンプルパッケージをダウンロードする

[パイプライン] ページ (プロジェクトを選択して [パイプライン] メニューからアクセス) には、プロジェクトにあるすべてのパイプラインが表示され、その種類、関連するパッケージとそのバージョン、ステータス、作成日時、期間、スコアを確認できます。ここでは、パイプラインの新規作成、既存のパイプラインの詳細へのアクセス、パイプラインの削除が可能です。

パイプラインのステータス

パイプライン実行のステータスは以下のいずれかです。

スケジュール – 今後の所定の日時 (例: 毎週月曜日の午前 1 時) に開始するようスケジュールされたパイプライン。パイプラインに設定した実行開始日時になると、パイプラインがキューに置かれて実行されます。
パッケージ化中 – ジョブ自体の実行対象となる Docker イメージの構築を開始しているパイプライン。特定のバージョンの ML パッケージの初回トレーニング時には、最大 20 分程度かかることがあります。
リソース待機中 – このパイプラインは、実行できるライセンスを探します。パイプラインは、実行中の ML スキルを削除するか、別のパイプラインが完了した場合に利用可能になる新しいライセンスの有無を 5 分ごとに確認し、ライセンスがある場合には直ちに実行を開始します。
実行中 – 現在実行中のパイプライン。
失敗 – 実行中に失敗したパイプライン。
注: データセットのセットサイズが 50 Gb の制限を超えると、パイプラインが失敗する可能性があります。
強制終了 – ユーザーが明示的に終了を要求するまで実行されていたパイプライン。
成功 – 実行を完了したパイプライン。
注: パイプラインが長期間にわたってスタックしライセンスが消費されるのを回避するため、パイプラインは 7 日後に自動的に強制終了されます。