評価パイプライン

評価パイプラインは、トレーニングされたマシン ラーニング モデルを評価するために使用します。このパイプラインを使用するには、モデルを評価するコード (train.py ファイルの evaluate() 関数) がパッケージに含まれている必要があります。このコードとデータセットまたはデータセット内のサブフォルダーによって、(evaluate() 関数から返された) スコアとユーザーがスコアとともに保持する任意の出力が生成されます。

評価パイプラインを作成する

新しい評価パイプラインを作成し、以下の評価パイプライン固有の情報を必ず指定してください。

• [パイプラインの種類] フィールドで [評価の実行] を選択します。
• [評価データセットを選択] フィールドで、評価用データのインポート元のデータセットまたはフォルダーを選択します。このデータセット/フォルダーのすべてのファイルは、パイプラインの実行中にローカルで使用できる必要があり、evaluate() 関数の引数に渡されます。
• [パラメーターを入力] セクションに、パイプラインで定義され、使用される環境変数を入力します (存在する場合)。環境変数は次のとおりです。
  • artifacts_directory(既定値の 成果物): これにより、このパイプラインに関連する補助データとして保持されるディレクトリへのパスが定義されます。すべてのユーザーではないにしても、ほとんどのユーザーは、これを UI で上書きする必要はありません。パイプラインの実行時に、画像、PDF、サブフォルダーなど、あらゆるものを保存できます。具体的には、パス os.environ['artifacts_directory'] で指定されたディレクトリにコードが書き込むデータは、パイプライン実行の最後にアップロードされ、[ パイプラインの詳細 ] ページから表示できます。
  • save_test_data(既定値は False): True に設定すると、 data_directory フォルダーは、パイプライン実行の最後に、ディレクトリ data_directory下のパイプラインの出力としてアップロードされます。
    注:

    パイプラインの実行には時間がかかることがあります。しばらくしてからステータスを確認してください。

パイプラインの実行後、[パイプライン] ページのパイプラインのステータスは [成功] に変わります。[パイプラインの詳細] ページには、パイプラインの実行に関連する任意のファイルとフォルダーが表示されます。この例では、パイプラインの実行によって my-evaluate-artifact.txt というファイルが作成されます。

独自の評価パイプラインを構築するための概念的な類似性

この例は、概念的に類似した、あるパッケージ (たとえば、バージョン 1.1) に対する評価パイプラインの実行であり、バージョン 1.0 でのトレーニング パイプラインの出力です。

注:

これは簡略化された例であり、データセットとパッケージが評価パイプラインでどのように対話するかを示します。これらの手順は概念を示しているに過ぎず、プラットフォームがどのように動作するかを表しているわけではありません。

1. パッケージ バージョン 1.1 を ~/mlpackage にコピーします。

2. UI から選択した評価データセットまたはデータセット サブフォルダーを ~/mlpackage/evaluation_data にコピーします。

3. 以下の Python コードを実行します。

   from train import Main 
   m = Main() 
   score = m.evaluate('./evaluation_data')
   

   返されたスコアは、パイプラインと results.json ファイルを示すグリッドに表示されます。

4. 成果物が作成されている場合は保持し、save_test_data が true に設定されている場合はデータのスナップショットを作成します。

パイプラインの出力

_results.json ファイルには、パイプライン実行の概要が記載されており、評価パイプラインのすべての入力/出力と実行時間が公開されています。

{
    "parameters": {
        "pipeline": "< Pipeline_name >",
        "inputs": {
            "package": "<Package_name>",
            "version": "<version_number>",
            "evaluation_data": "<storage_directory>",
            "gpu": "True/False"
        },
        "env": {
            "key": "value",
            ...
        }
    },
    "run_summary": {
     "execution_time": <time>, #in seconds 
     "start_at": <timestamp>, #in seconds 
     "end_at": <timestamp>, #in seconds 
     "outputs": {
        "score": <score>, #float
        "train_data": "<test_storage_directory>", 
        "evaluation_data": "<test_storage_directory>/None", 
        "artifacts_data": "<artifacts_storage_directory>",
         }
    }
}

成果物フォルダーはパイプラインで生成されたすべての成果物を再グループ化するフォルダーで、artifacts_directory フォルダーに保存され、空でない場合にのみ表示されます。

データセット フォルダーは評価データセット フォルダーのコピーであり、save_data の値が既定の true に設定されている場合にのみ存在します。

モデルのガバナンス

トレーニング パイプラインと同様に、ユーザーは、評価のために渡されたスナップショット データに save_test_data = true パラメーターを設定できます。