ai-center
2022.4
true
- リリース ノート
- はじめる前に
- 基本情報
- プロジェクト
- データセット
- ML パッケージ
- パイプライン
- ML スキル
- ML ログ
- AI Center での Document Understanding
- ライセンス
- 使い方
- 基本的なトラブルシューティング ガイド
重要 :
このコンテンツの一部は機械翻訳によって処理されており、完全な翻訳を保証するものではありません。
AI Center ガイド
Last updated 2024年6月6日
評価パイプライン
評価パイプラインは、トレーニングされたマシン ラーニング モデルを評価するために使用します。このパイプラインを使用するには、モデルを評価するコード (train.py ファイルの
evaluate()
関数) がパッケージに含まれている必要があります。このコードとデータセットまたはデータセット内のサブフォルダーによって、(evaluate()
関数から返された) スコアとユーザーがスコアとともに保持する任意の出力が生成されます。
こちらで説明しているように、新しい評価パイプラインを作成します。以下の評価パイプライン固有の情報を必ず指定してください。
- [パイプラインの種類] フィールドで [評価の実行] を選択します。
- [評価データセットを選択] フィールドで、評価用データのインポート元のデータセットまたはフォルダーを選択します。このデータセット/フォルダーのすべてのファイルは、パイプラインの実行中にローカルで使用できる必要があり、
evaluate()
関数の引数に渡されます。 - [パラメーターを入力] セクションに、パイプラインで定義され、使用される環境変数を入力します (存在する場合)。環境変数は次のとおりです。
artifacts_directory
。既定値は artifacts。このパイプラインに関連する補助データとして保持されるディレクトリへのパスを定義します。ほとんどのユーザーは、UI を使用してこれを上書きする必要はありません。パイプラインの実行中は、画像、pdf、サブフォルダーなど、あらゆるものを保存できます。具体的には、コードがパスos.environ['artifacts_directory']
で指定されたディレクトリに書き込むあらゆるデータは、パイプライン実行の最後にアップロードされて、[パイプラインの詳細] ページに表示されます。save_test_data
。既定値は false。true に設定した場合、パイプライン実行の最後に、ph b フォルダーがパイプラインの出力としてdata_directory
ディレクトリにアップロードされます。
以下のビデオで、新しくトレーニングされたパッケージ バージョン 1.1 での評価パイプラインの作成方法をご確認ください。
ここでは、いくつかのパッケージでの類似の概念に基づく評価パイプラインの実行、すなわちバージョン 1.0 でのトレーニング パイプラインをバージョン 1.1 に出力する方法を説明します。
重要: これは簡略化された例であり、データセットとパッケージが評価パイプラインでどのように対話するかを示します。これらの手順は概念を示しているに過ぎず、プラットフォームがどのように動作するかを表しているわけではありません。
- パッケージ バージョン 1.1 を
~/mlpackage
にコピーします。 - UI から選択した評価データセットまたはデータセット サブフォルダーを
~/mlpackage/evaluation_data
にコピーします。 - 以下の Python コードを実行します。
from train import Main m = Main() score = m.evaluate('./evaluation_data')
from train import Main m = Main() score = m.evaluate('./evaluation_data')返されたスコアは、パイプラインとresults.json
ファイルを示すグリッドに表示されます。 - 成果物が作成されている場合は保持し、
save_test_data
が true に設定されている場合はデータのスナップショットを作成します。
_results.json
ファイルには、パイプライン実行の概要が記載されており、評価パイプラインのすべての入力/出力と実行時間が公開されています。
{
"parameters": {
"pipeline": "< Pipeline_name >",
"inputs": {
"package": "<Package_name>",
"version": "<version_number>",
"evaluation_data": "<storage_directory>",
"gpu": "True/False"
},
"env": {
"key": "value",
...
}
},
"run_summary": {
"execution_time": <time>, #in seconds
"start_at": <timestamp>, #in seconds
"end_at": <timestamp>, #in seconds
"outputs": {
"score": <score>, #float
"train_data": "<test_storage_directory>",
"evaluation_data": "<test_storage_directory>/None",
"artifacts_data": "<artifacts_storage_directory>",
}
}
}
{
"parameters": {
"pipeline": "< Pipeline_name >",
"inputs": {
"package": "<Package_name>",
"version": "<version_number>",
"evaluation_data": "<storage_directory>",
"gpu": "True/False"
},
"env": {
"key": "value",
...
}
},
"run_summary": {
"execution_time": <time>, #in seconds
"start_at": <timestamp>, #in seconds
"end_at": <timestamp>, #in seconds
"outputs": {
"score": <score>, #float
"train_data": "<test_storage_directory>",
"evaluation_data": "<test_storage_directory>/None",
"artifacts_data": "<artifacts_storage_directory>",
}
}
}
成果物フォルダーはパイプラインで生成されたすべての成果物を再グループ化するフォルダーで、
artifacts_directory
フォルダーに保存され、空でない場合にのみ表示されます。
データセット フォルダーは評価データセット フォルダーのコピーであり、
save_data
の値が既定の true に設定されている場合にのみ存在します。