評価パイプライン

評価パイプラインは、トレーニングされたマシン ラーニング モデルを評価するために使用します。このパイプラインを使用するには、モデルを評価するコード (train.py ファイルの evaluate() 関数) がパッケージに含まれている必要があります。このコードとデータセットまたはデータセット内のサブフォルダーによって、(evaluate() 関数から返された) スコアとユーザーがスコアとともに保持する任意の出力が生成されます。

評価パイプラインを作成する

Create a new evaluation pipeline as described here. Make sure to provide the following evaluation pipeline specific information:

• [パイプラインの種類] フィールドで [評価の実行] を選択します。
• [評価データセットを選択] フィールドで、評価用データのインポート元のデータセットまたはフォルダーを選択します。このデータセット/フォルダーのすべてのファイルは、パイプラインの実行中にローカルで使用できる必要があり、evaluate() 関数の引数に渡されます。
• [パラメーターを入力] セクションに、パイプラインで定義され、使用される環境変数を入力します (存在する場合)。環境変数は次のとおりです。
  • artifacts_directory(既定値の 成果物): これにより、このパイプラインに関連する補助データとして保持されるディレクトリへのパスが定義されます。すべてのユーザーではないにしても、ほとんどのユーザーは、これを UI で上書きする必要はありません。パイプラインの実行時に、画像、PDF、サブフォルダーなど、あらゆるものを保存できます。具体的には、パス os.environ['artifacts_directory'] で指定されたディレクトリにコードが書き込むデータは、パイプライン実行の最後にアップロードされ、[ パイプラインの詳細 ] ページから表示できます。
  • save_test_data(既定値は False): True に設定すると、 data_directory フォルダーは、パイプライン実行の最後に、ディレクトリ data_directory下のパイプラインの出力としてアップロードされます。

Watch the following video to learn how to create an evaluation pipeline with the newly trained package version 1.1:

評価パイプライン実行の結果

注:

パイプラインの実行には時間がかかることがあります。しばらくしてからステータスを確認してください。

パイプラインの実行後、[パイプライン] ページのパイプラインのステータスは [成功] に変わります。[パイプラインの詳細] ページには、パイプラインの実行に関連する任意のファイルとフォルダーが表示されます。この例では、パイプラインの実行によって my-evaluate-artifact.txt というファイルが作成されます。

独自の評価パイプラインを構築するための概念的な類似性

ここでは、いくつかのパッケージでの類似の概念に基づく評価パイプラインの実行、すなわちバージョン 1.0 でのトレーニング パイプラインをバージョン 1.1 に出力する方法を説明します。

重要:

これは簡略化された例であり、データセットとパッケージが評価パイプラインでどのように対話するかを示します。これらの手順は概念を示しているに過ぎず、プラットフォームがどのように動作するかを表しているわけではありません。

1. パッケージ バージョン 1.1 を ~/mlpackage にコピーします。

2. UI から選択した評価データセットまたはデータセット サブフォルダーを ~/mlpackage/evaluation_data にコピーします。

3. 以下の Python コードを実行します。

   from train import Main
   m = Main()
   score = m.evaluate('./evaluation_data')
   

   返されたスコアは、パイプラインと results.json ファイルを示すグリッドに表示されます。

4. 成果物が作成されている場合は保持し、save_test_data が true に設定されている場合はデータのスナップショットを作成します。

パイプラインの出力

_results.json ファイルには、パイプライン実行の概要が記載されており、評価パイプラインのすべての入力/出力と実行時間が公開されています。

{
    "parameters": {
        "pipeline": "< Pipeline_name >",
        "inputs": {
            "package": "<Package_name>",
            "version": "<version_number>",
            "evaluation_data": "<storage_directory>",
            "gpu": "True/False"
        },
        "env": {
            "key": "value",
            ...
        }
    },
    "run_summary": {
     "execution_time": <time>, #in seconds
     "start_at": <timestamp>, #in seconds
     "end_at": <timestamp>, #in seconds
     "outputs": {
        "score": <score>, #float
        "train_data": "<test_storage_directory>",
        "evaluation_data": "<test_storage_directory>/None",
        "artifacts_data": "<artifacts_storage_directory>",
         }
    }
}

成果物フォルダーはパイプラインで生成されたすべての成果物を再グループ化するフォルダーで、artifacts_directory フォルダーに保存され、空でない場合にのみ表示されます。

データセット フォルダーは評価データセット フォルダーのコピーであり、save_data の値が既定の true に設定されている場合にのみ存在します。

モデルのガバナンス

As in training pipelines, a user can set the parameter save_test_data = true to snapshot data passed in for evaluation.