評価パイプライン

評価パイプラインは、トレーニング済みの ML モデルの評価に使用します。

トレーニング済みのモデルを評価する

評価パイプラインを次のように設定します。

• [パイプラインの種類] フィールドで [評価の実行] を選択します。

• [パッケージを選択] フィールドで、評価するパッケージを選択します。

• [パッケージのメジャー バージョンを選択] フィールドで、パッケージのメジャー バージョンを選択します。

• [パッケージのマイナー バージョンを選択] フィールドで、評価するマイナー バージョンを選択します。

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• [パラメーターを入力] セクションには、評価パイプラインに関連する、使用できる環境変数が 1 つあります。

• eval.redo_ocr を true に設定すると、パイプラインの実行時に OCR を再実行して、抽出の精度に OCR が与える影響を評価できます。この前提として、ML パッケージの作成時に OCR エンジンが構成されているものとします。

• [GPU を有効化] スライダーは既定で無効化されており、パイプラインは CPU で実行されます。評価パイプラインの実行は CPU でのみ行うことを強くお勧めします。

• パイプラインの実行頻度として、[今すぐ実行]、[時間ベース]、[定期的] のいずれかのオプションを選択します。

  

After you configure all the fields, select Create. The pipeline is created.

成果物

評価パイプラインの場合、[出力] ペインには、次の 2 つのファイルを含む [成果物]/[eval_metrics] フォルダーも含まれます。

• evaluation_default.xlsx は次の 3 種類のシートを含む Excel スプレッドシートです。
• 1 枚目のシートには、標準フィールド、列フィールド、分類フィールドごとに、全体的なスコアとバッチごとのスコアの概要が記載されています。完全に抽出されたドキュメントの割合も、バッチおよびドキュメント全体の両方に対して表示されます。
• 2 枚目のシートには、色分けされた標準フィールドの比較情報が横並びに表示されます。この情報はドキュメントの精度を向上するために役立ちます。最も精度の低いドキュメントが一番上に表示されるため、診断とトラブルシューティングをスムーズに進められます。
• The third sheet presents a side by side color, coded comparison of the Column Fields. All scores presented in the Excel file represent accuracy scores.
• evaluation_metrics_default.txt には、予測されたフィールドの F1 スコアが含まれます。