トレーニングパイプライン

トレーニングパイプラインは、新しいマシンラーニングモデルをトレーニングするために使用します。このパイプラインを使用するには、モデルをトレーニングするためのコード (train.py ファイルの train() 関数) と新しくトレーニングしたモデルを保持しておくためのコード (train.py ファイルの save() 関数) がパッケージに含まれている必要があります。これらと、データセットまたはデータセット内のサブフォルダーによって、新しいパッケージバージョンが生成されます。

トレーニングパイプラインを作成する

こちらで説明しているように、新しいトレーニングパイプラインを作成します。以下のトレーニングパイプライン固有の情報を忘れずに指定してください。

[パイプラインの種類] フィールドで [トレーニングの実行] を選択します。
[入力データセットを選択] フィールドで、トレーニング用データのインポート元のデータセットまたはフォルダーを選択します。このデータセット/フォルダーのすべてのファイルは、パイプラインの実行中にローカルで使用できる必要があり、train() 関数の最初の引数に渡されます (つまり、マウントされたデータへのパスが、定義 train(self, data_directory) の data_directory 変数に渡されます)。
[パラメーターを入力] セクションに、パイプラインで定義され、使用される環境変数を入力します (存在する場合)。既定で設定されている環境変数は、次のとおりです。
- artifacts_directory。既定値は artifacts。このパイプラインに関連する補助データとして保持されるディレクトリへのパスを定義します。すべてとは言わずとも、ほとんどのユーザーは、UI を使用してこれを上書きする必要はありません。パイプラインの実行中は、画像、pdf、サブフォルダーなど、あらゆるものを保存できます。具体的には、コードがパス os.environ['artifacts_directory'] で指定されたディレクトリに書き込むデータは、パイプライン実行の最後にアップロードされて、[パイプラインの詳細] ページに表示されます。
- save_training_data。既定値は false です。true に設定した場合、Choose input dataset で選択されたフォルダーがパイプライン実行の最後に、パイプラインの出力として data_directory ディレクトリにアップロードされます。
  以下のビデオで、トレーニングパイプラインの作成方法を確認してください。

トレーニングパイプラインの実行結果

注: パイプラインの実行には時間がかかることがあります。しばらくしてからステータスを確認してください。

パイプラインの実行後、パッケージの新しいマイナーバージョンが利用可能になり、[ML パッケージ] > [パッケージ名] ページに表示されます。この例では、このパッケージバージョンは 1.1 です。

[パイプライン] ページの、パイプラインのステータスが [成功] に変わります。[パイプラインの詳細] ページには、パイプラインの実行に関連する任意のファイルとフォルダーが表示されます。この例では、パイプラインの実行によって my-training-artifact.txt というファイルが作成されます。

独自のトレーニングパイプラインを構築するための概念的な類似性

ここでは、いくつかのパッケージ (たとえば、バージョン 1.0) での類似の概念に基づいたトレーニングパイプラインの実行について説明します。

重要: これは簡略化された例であり、データセットとパッケージがトレーニングパイプラインでどのように対話するかを示しています。これらの手順は概念を示しているに過ぎず、プラットフォームがどのように動作するかを表しているわけではありません。

パッケージバージョン 1.0 を ~/mlpackage にコピーします。
UI から選択した入力データセットまたはデータセットサブフォルダーを ~/mlpackage/data にコピーします。
以下の Python コードを実行します。
```
from train import Main 
m = Main() 
m.train(‘./data’) 
m.save()from train import Main 
m = Main() 
m.train(‘./data’) 
m.save()
```
~/mlpackage のコンテンツをパッケージバージョン 1.1 として保持します。成果物が作成されている場合は保持し、save_data が true に設定されている場合はデータをスナップショットに保存します。

パイプラインの出力

_results.json ファイルには、パイプライン実行の概要が記載されており、トレーニングパイプラインのすべての入力/出力と実行時間が公開されています。

{
    "parameters": {
        "pipeline": "< Pipeline_name >",
        "inputs": {
            "package": "<Package_name>",
            "version": "<version_number>",
            "train_data": "<storage_directory>",
            "gpu": "True/False"
        },
        "env": {
            "key": "value",
            ...
        }
    },
    "run_summary": {
     "execution_time": <time>, #in seconds 
     "start_at": <timestamp>, #in seconds 
     "end_at": <timestamp>, #in seconds 
     "outputs": {
        "train_data": "<test_storage_directory>", 
        "artifacts_data": "<artifacts_storage_directory>", 
        "package": "<Package_name>",
        "version": "<new_version>"
            }
    }
}{
    "parameters": {
        "pipeline": "< Pipeline_name >",
        "inputs": {
            "package": "<Package_name>",
            "version": "<version_number>",
            "train_data": "<storage_directory>",
            "gpu": "True/False"
        },
        "env": {
            "key": "value",
            ...
        }
    },
    "run_summary": {
     "execution_time": <time>, #in seconds 
     "start_at": <timestamp>, #in seconds 
     "end_at": <timestamp>, #in seconds 
     "outputs": {
        "train_data": "<test_storage_directory>", 
        "artifacts_data": "<artifacts_storage_directory>", 
        "package": "<Package_name>",
        "version": "<new_version>"
            }
    }
}

ML パッケージの zip ファイルは、トレーニングパイプラインで自動的に生成される新しいバージョンのパッケージです。

成果物フォルダーはパイプラインで生成されたすべての成果物を再グループ化するフォルダーで、artifacts_directory フォルダーに保存され、空でない場合にのみ表示されます。

データセット フォルダーは入力データセットフォルダーのコピーであり、save_data の値が既定の true に設定されている場合にのみ存在します。

モデルのガバナンス

マシンラーニングのガバナンスに取り組む態勢が整っている企業は非常に少数です。モデルのトレーニングに使用されたデータのスナップショットをモデルごとに作成できるようにするために、企業では AI Fabric を使用してデータを追跡することができます。

実際には、パラメーター save_training_data = true を渡せば入力データのスナップショットを作成できます。このパラメーターは、入力として渡されたデータのスナップショットを作成します。その後、ユーザーはいつでも関連する [パイプラインの詳細] ページに移動して、トレーニング時にどのデータが使用されたかを正確に把握できます。