評価パイプライン

評価パイプラインは、トレーニングされたマシン ラーニング モデルを評価するために使用します。このパイプラインを使用するには、モデルを評価するコード (train.py ファイルの evaluate() 関数) がパッケージに含まれている必要があります。このコードとデータセットまたはデータセット内のサブフォルダーによって、(evaluate() 関数から返された) スコアとユーザーがスコアとともに保持する任意の出力が生成されます。

評価パイプラインを作成する

こちらで説明しているように、新しい評価パイプラインを作成します。以下の評価パイプライン固有の情報を必ず指定してください。

• [パイプラインの種類] フィールドで [評価の実行] を選択します。
• [評価データセットを選択] フィールドで、評価用データのインポート元のデータセットまたはフォルダーを選択します。このデータセット/フォルダーのすべてのファイルは、パイプラインの実行中にローカルで使用できる必要があり、evaluate() 関数の引数に渡されます。
• [パラメーターを入力] セクションに、パイプラインで定義され、使用される環境変数を入力します (存在する場合)。環境変数は次のとおりです。
  • artifacts_directory。既定値は artifacts。このパイプラインに関連する補助データとして保持されるディレクトリへのパスを定義します。ほとんどのユーザーは、UI を使用してこれを上書きする必要はありません。パイプラインの実行中は、画像、pdf、サブフォルダーなど、あらゆるものを保存できます。具体的には、コードがパス os.environ['artifacts_directory'] で指定されたディレクトリに書き込むあらゆるデータは、パイプライン実行の最後にアップロードされて、[パイプラインの詳細] ページに表示されます。
  • save_test_data。既定値は false。true に設定した場合、パイプライン実行の最後に、ph b フォルダーがパイプラインの出力として data_directory ディレクトリにアップロードされます。
    注: パイプラインの実行には時間がかかることがあります。しばらくしてからステータスを確認してください。
    パイプラインの実行後、[パイプライン] ページのパイプラインのステータスは [成功] に変わります。[パイプラインの詳細] ページには、パイプラインの実行に関連する任意のファイルとフォルダーが表示されます。この例では、パイプラインの実行によって my-evaluate-artifact.txt というファイルが作成されます。

独自の評価パイプラインを構築するための概念的な類似性

ここでは、いくつかのパッケージでの類似の概念に基づく評価パイプラインの実行、すなわちバージョン 1.0 でのトレーニング パイプラインをバージョン 1.1 に出力する方法を説明します。

注: これは簡略化された例であり、データセットとパッケージが評価パイプラインでどのように対話するかを示します。これらの手順は概念を示しているに過ぎず、プラットフォームがどのように動作するかを表しているわけではありません。

1. パッケージ バージョン 1.1 を ~/mlpackage にコピーします。
2. UI から選択した評価データセットまたはデータセット サブフォルダーを ~/mlpackage/evaluation_data にコピーします。
3. 以下の Python コードを実行します。

   from train import Main 
   m = Main() 
   score = m.evaluate('./evaluation_data')

   返されたスコアは、パイプラインと results.json ファイルを示すグリッドに表示されます。
4. 成果物が作成されている場合は保持し、save_test_data が true に設定されている場合はデータのスナップショットを作成します。

パイプラインの出力

_results.json ファイルには、パイプライン実行の概要が記載されており、評価パイプラインのすべての入力/出力と実行時間が公開されています。

{
    "parameters": {
        "pipeline": "< Pipeline_name >",
        "inputs": {
            "package": "<Package_name>",
            "version": "<version_number>",
            "evaluation_data": "<storage_directory>",
            "gpu": "True/False"
        },
        "env": {
            "key": "value",
            ...
        }
    },
    "run_summary": {
     "execution_time": <time>, #in seconds 
     "start_at": <timestamp>, #in seconds 
     "end_at": <timestamp>, #in seconds 
     "outputs": {
        "score": <score>, #float
        "train_data": "<test_storage_directory>", 
        "evaluation_data": "<test_storage_directory>/None", 
        "artifacts_data": "<artifacts_storage_directory>",
         }
    }
}

成果物フォルダーはパイプラインで生成されたすべての成果物を再グループ化するフォルダーで、artifacts_directory フォルダーに保存され、空でない場合にのみ表示されます。

データセット フォルダーは評価データセット フォルダーのコピーであり、save_data の値が既定の true に設定されている場合にのみ存在します。

モデルのガバナンス

トレーニング パイプラインと同様に、save_test_data = true パラメーターを設定して、評価用に渡されたデータのスナップショットを作成できます。