パイプラインについて

パイプラインとはマシン ラーニングのワークフローの記述であり、ワークフローのあるすべての関数とその実行順序を指定しています。パイプラインには、パイプラインの実行に必要な入力およびパイプラインから得られる出力の定義も記述されています。

パイプライン実行とは、ユーザーが指定したコードに基づくパイプラインの実行です。パイプライン実行が完了すると、それに関連付けられた出力とログが得られます。

以下の 3 つの種類のパイプラインがあります。

• トレーニング パイプライン - パッケージとデータセットを入力として、新しいバージョンのパッケージを生成します。

• 評価パイプライン - あるバージョンのパッケージとデータセットを入力として、一連のメトリックとログを生成します。

• Full Pipeline - runs a processing function, a training pipeline, and immediately after an evaluation pipeline.

  ヒント:

  The examples used to explain these concepts are based on a sample package, tutorialpackage.zip, that you can download by clicking the button below. We recommend you to upload this sample package if it's your first time when you learn about pipelines. Make sure you enable it for training.

  パッケージのアップロード方法はこちら

  サンプル パッケージをダウンロードする

[パイプライン] ページ (プロジェクトを選択して [パイプライン] メニューからアクセス) には、プロジェクトにあるすべてのパイプラインが表示され、その種類、関連するパッケージとそのバージョン、ステータス、作成日時、期間、スコアを確認できます。ここでは、パイプラインの新規作成、既存のパイプラインの詳細へのアクセス、パイプラインの削除が可能です。

パイプラインのステータス

パイプライン実行のステータスは以下のいずれかです。

• スケジュール – 今後の所定の日時 (例: 毎週月曜日の午前 1 時) に開始するようスケジュールされたパイプライン。パイプラインに設定した実行開始日時になると、パイプラインがキューに置かれて実行されます。

• パッケージ化中 – ジョブ自体の実行対象となる Docker イメージの構築を開始しているパイプライン。特定のバージョンの ML パッケージの初回トレーニング時には、最大 20 分程度かかることがあります。

• 実行中 – 現在実行中のパイプライン。

• 失敗 – 実行中に失敗したパイプライン。

  注:

  データセットのセット サイズが 50 Gb の制限を超えると、パイプラインが失敗する可能性があります。

• 強制終了 – ユーザーが明示的に終了を要求するまで実行されていたパイプライン。

• 成功 – 実行を完了したパイプライン。

  注:

  パイプラインが長期間にわたってスタックしライセンスが消費されるのを回避するため、パイプラインは 7 日後に自動的に強制終了されます。