評価パイプライン

評価パイプラインは、トレーニング済みの ML モデルの評価に使用します。

トレーニング済みのモデルを評価する

評価パイプラインを次のように設定します。

[パイプラインの種類] フィールドで [評価の実行] を選択します。
[パッケージを選択] フィールドで、評価するパッケージを選択します。
[パッケージのメジャーバージョンを選択] フィールドで、パッケージのメジャーバージョンを選択します。
[パッケージのマイナーバージョンを選択] フィールドで、評価するマイナーバージョンを選択します。
[評価データセットを選択] フィールドで、代表的な評価データセットを選択します。
[パラメーターを入力] セクションには、評価パイプラインに関連する、使用できる環境変数が 1 つあります。
eval.redo_ocr を true に設定すると、パイプラインの実行時に OCR を再実行して、抽出の精度に OCR が与える影響を評価できます。この前提として、ML パッケージの作成時に OCR エンジンが構成されているものとします。
[GPU を有効化] スライダーは既定で無効化されており、パイプラインは CPU で実行されます。評価パイプラインの実行は CPU でのみ行うことを強くお勧めします。
パイプラインの実行頻度として、[今すぐ実行]、[時間ベース]、[定期的] のいずれかのオプションを選択します。

すべてのフィールドを設定したら、[作成] をクリックします。パイプラインが作成されます。

評価パイプラインの場合、[出力] ペインには、次の 2 つのファイルを含む [成果物]/[eval_metrics] フォルダーも含まれます。

evaluation_default.xlsx は次の 3 種類のシートを含む Excel スプレッドシートです。
1 枚目のシートには、標準フィールド、列フィールド、分類フィールドごとに、全体的なスコアとバッチごとのスコアの概要が記載されています。完全に抽出されたドキュメントの割合も、バッチおよびドキュメント全体の両方に対して表示されます。
2 枚目のシートには、色分けされた標準フィールドの比較情報が横並びに表示されます。この情報はドキュメントの精度を向上するために役立ちます。最も精度の低いドキュメントが一番上に表示されるため、診断とトラブルシューティングをスムーズに進められます。
3 枚目のシートには、色分けされた列フィールドの比較情報が横並びに表示されます。

Excel ファイル内のスコアはすべて精度スコアを表します。
evaluation_metrics_default.txt には、予測されたフィールドの F1 スコアが含まれます。