通知を受け取る

UiPath Document Understanding

UiPath Document Understanding

評価パイプライン

評価パイプラインは、トレーニング済みの ML モデルの評価に使用します。

トレーニング済みのモデルを評価する

評価パイプラインを次のように設定します。

In the Pipeline type field, select Evaluation run.
In the Choose package field, select the package you want to evaluate.
In the Choose package major version field, select a major version for your package.
In the Choose package minor version field, select a minor version you want to evaluate.
In the Choose evaluation dataset field, select a representative evaluation dataset.
In the Enter parameters section, there is one environment variable is relevant for Evaluation pipelines you could use:

  • eval.redo_ocrtrue に設定すると、パイプラインの実行時に OCR を再実行して、抽出の精度に OCR が与える影響を評価できます。この前提として、ML パッケージの作成時に OCR エンジンが構成されているものとします。

The Enable GPU slider is disabled by default, in which case the pipeline is runs on CPU. We strongly recommend that Evaluation pipelines run only on CPU.
Select one of the options when the pipeline should run: Run now, Time based or Recurring.

700700

After you configure all the fields, click Create. The pipeline is created.

Artifacts

評価パイプラインの場合、[出力] ペインには、次の 2 つのファイルを含む [成果物]/[eval_metrics] フォルダーも含まれます。

14791479
  • evaluation_default.xlsx は次の 3 種類のシートを含む Excel スプレッドシートです。
    The first sheet presents a summary of the overall scores and the scores per batch, for each field, Regular, Column, and Classification fields. A percentage of the perfectly extracted documents is also provided for both per batch and overall documents.
    The second sheet presents a side by side, color coded comparison of Regular Fields, for increasing document accuracy. The most inaccurate documents are presented at the top to facilitate diagnosis and troubleshooting.
    The third sheet presents a side by side color, coded comparison of the Column Fields.
    All scores presented in the Excel file represent accuracy scores.
  • evaluation_metrics_default.txt には、予測されたフィールドの F1 スコアが含まれます。

7 か月前に更新


評価パイプライン


改善の提案は、API リファレンスのページでは制限されています

改善を提案できるのは Markdown の本文コンテンツのみであり、API 仕様に行うことはできません。