評価パイプライン

評価パイプラインは、トレーニング済みの ML モデルの評価に使用します。

トレーニング済みのモデルを評価する

評価パイプラインを次のように設定します。

• [パイプラインの種類] フィールドで [評価の実行] を選択します。
• [パッケージのメジャー バージョンを選択] フィールドで、パッケージのメジャー バージョンを選択します。
• [パッケージのマイナー バージョンを選択] フィールドで、評価するマイナー バージョンを選択します。
• [評価データセットを選択] フィールドで、代表的な評価データセットを選択します。データセットの構造について詳しくは、「データセットの形式」セクションをご覧ください。
• [パラメーターを入力] セクションには、評価パイプラインに関連する、使用できる環境変数が 1 つあります。
• eval.redo_ocr を true に設定すると、パイプラインの実行時に OCR を再実行して、抽出の精度に OCR が与える影響を評価できます。この前提として、ML パッケージの作成時に OCR エンジンが構成されているものとします。
• [GPU を有効化] スライダーは既定で無効化されており、パイプラインは CPU で実行されます。評価パイプラインの実行は CPU でのみ行うことを強くお勧めします。

• パイプラインの実行頻度として、[今すぐ実行]、[時間ベース]、[定期的] のいずれかのオプションを選択します。

  
  

  

  
  
• すべてのフィールドを設定したら、[作成] をクリックします。パイプラインが作成されます。

成果物

評価パイプラインの場合、[出力] ペインには、次の 2 つのファイルを含む [artifacs]/[eval_metrics] フォルダーも含まれます。

• evaluation_default.xlsx は次の 3 種類のシートを含む Excel スプレッドシートです。
• 1 枚目のシートには、標準フィールド、列フィールド、分類フィールドごとに、全体的なスコアとバッチごとのスコアの概要が記載されています。完全に抽出されたドキュメントの割合も、バッチおよびドキュメント全体の両方に対して表示されます。
• 2 枚目のシートには、色分けされた標準フィールドの比較情報が横並びに表示されます。この情報はドキュメントの精度を向上するために役立ちます。最も精度の低いドキュメントが一番上に表示されるため、診断とトラブルシューティングをスムーズに進められます。
• 3 枚目のシートには、色分けされた列フィールドの比較情報が横並びに表示されます。
• Excel ファイル内のスコアはすべて精度スコアを表します。
• evaluation_metrics_default.txt には、予測されたフィールドの F1 スコアが含まれます。