トレーニング パイプライン

トレーニング パイプラインは、新しいマシン ラーニング モデルをトレーニングするために使用します。このパイプラインを使用するには、モデルをトレーニングするためのコード (train.py ファイルの train() 関数) と新しくトレーニングしたモデルを保持しておくためのコード (train.py ファイルの save() 関数) がパッケージに含まれている必要があります。これらと、データセットまたはデータセット内のサブフォルダーによって、新しいパッケージ バージョンが生成されます。

トレーニング パイプラインを作成する

新しいトレーニング パイプラインを作成し、以下のトレーニング パイプライン固有の情報を忘れずに指定してください。

• [パイプラインの種類] フィールドで [トレーニングの実行] を選択します。
• [入力データセットを選択] フィールドで、トレーニング用データのインポート元のデータセットまたはフォルダーを選択します。このデータセット/フォルダーのすべてのファイルは、パイプラインの実行中にローカルで使用できる必要があり、train() 関数の最初の引数に渡されます (つまり、マウントされたデータへのパスが、定義 train(self, data_directory) の data_directory 変数に渡されます)。
• [パラメーターを入力] セクションに、パイプラインで定義され、使用される環境変数を入力します (存在する場合)。既定で設定されている環境変数は、次のとおりです。
  • artifacts_directory(既定値の 成果物): これにより、このパイプラインに関連する補助データとして保持されるディレクトリへのパスが定義されます。すべてのユーザーではないにしても、ほとんどのユーザーは、これを UI で上書きする必要はありません。パイプラインの実行時に、画像、PDF、サブフォルダーなど、あらゆるものを保存できます。具体的には、パス os.environ['artifacts_directory'] で指定されたディレクトリにコードが書き込むデータは、パイプライン実行の最後にアップロードされ、[ パイプラインの詳細 ] ページから表示できます。
  • save_training_data(既定値は False): True に設定すると、Choose input dataset で選択したフォルダーが、パイプライン実行の最後に、パイプラインの出力として data_directoryディレクトリ下にアップロードされます。
    注:

    パイプラインの実行には時間がかかることがあります。しばらくしてからステータスを確認してください。

パイプラインの実行後、パッケージの新しいマイナー バージョンが利用可能になり、[ML パッケージ] > [パッケージ名] ページに表示されます。この例では、このパッケージ バージョンは 1.1 です。

[パイプライン] ページの、パイプラインのステータスが [成功] に変わります。[パイプラインの詳細] ページには、パイプラインの実行に関連する任意のファイルとフォルダーが表示されます。この例では、パイプラインの実行によって my-training-artifact.txt というファイルが作成されます。

独自のトレーニング パイプラインを構築するための概念的な類似性

注:

これは簡略化された例であり、データセットとパッケージがトレーニング パイプラインでどのように対話するかを示しています。これらの手順は概念を示しているに過ぎず、プラットフォームがどのように動作するかを表しているわけではありません。

1. パッケージ バージョン 1.0 を ~/mlpackage にコピーします。
2. UI から選択した入力データセットまたはデータセット サブフォルダーを ~/mlpackage/data にコピーします。
3. 以下の Python コードを実行します。

   from train import Main 
   m = Main() 
   m.train(‘./data’) 
   m.save()
   

4. ~/mlpackage のコンテンツをパッケージ バージョン 1.1 として保持します。成果物が作成されている場合は保持し、save_data が true に設定されている場合はデータをスナップショットに保存します。

パイプラインの出力

_results.json ファイルには、パイプライン実行の概要が記載されており、トレーニング パイプラインのすべての入力/出力と実行時間が公開されています。

{
    "parameters": {
        "pipeline": "< Pipeline_name >",
        "inputs": {
            "package": "<Package_name>",
            "version": "<version_number>",
            "train_data": "<storage_directory>",
            "gpu": "True/False"
        },
        "env": {
            "key": "value",
            ...
        }
    },
    "run_summary": {
     "execution_time": <time>, #in seconds 
     "start_at": <timestamp>, #in seconds 
     "end_at": <timestamp>, #in seconds 
     "outputs": {
        "train_data": "<test_storage_directory>", 
        "artifacts_data": "<artifacts_storage_directory>", 
        "package": "<Package_name>",
        "version": "<new_version>"
            }
    }
}

ML パッケージの zip ファイルは、トレーニング パイプラインで自動的に生成される新しいバージョンのパッケージです。

成果物フォルダーはパイプラインで生成されたすべての成果物を再グループ化するフォルダーで、artifacts_directory フォルダーに保存され、空でない場合にのみ表示されます。

データセット フォルダーは入力データセット フォルダーのコピーであり、save_data の値が既定の true に設定されている場合にのみ存在します。

モデルのガバナンス

機械学習におけるガバナンスは、対応できる企業が非常に少ないものです。AI Center では、各モデルでトレーニング時のデータのスナップショットを作成できます。AI Center を利用することで、企業はデータを追跡できます。

実際には、パラメーター save_training_data = true を渡せば入力データのスナップショットを作成できます。このパラメーターは、入力として渡されたデータのスナップショットを作成します。その後、ユーザーはいつでも関連する [パイプラインの詳細] ページに移動して、トレーニング時にどのデータが使用されたかを正確に把握できます。