概要

UiPath Maestro™ Flowの抽出ノードでの IXP モデル バージョンの評価プロセスです。モデルを運用環境にデプロイする前に必要なパフォーマンス、評価、精度のチェックが含まれます。

モデルのパフォーマンスの評価は、運用環境へのデプロイ前にモデルの精度と信頼性を確認するために不可欠です。

モデルの評価プロセス

前提条件:ドキュメントのアノテーションを行う。モデルの予測と比較するには、代表的な一連のドキュメントのグラウンド トゥルースが必要です。

1. 選択したドキュメント セットに対して評価を実行します。
2. 評価の実行のフィールド レベルおよびドキュメント レベルの結果を確認して、モデルのパフォーマンスを分析します。どちらも、モデルの精度を制限する要因を特定するのに役立ちます。
3. 調査結果に基づいて行動する: 別のモデル設定を試すか、タクソノミー内の フィールドの指示 を反復処理するか、アノテーションを修正します。
4. 同じドキュメント セットまたはテストする特定のサブセットで評価を再実行します。
5. 2 つの評価の実行のパフォーマンスを比較します。モデル バージョンを比較する場合は、同じデータセットを使用することをお勧めします。
6. モデルが運用環境で成功するために必要なパフォーマンス目標を達成するまで、このプロセスを繰り返します。

モデルのパフォーマンスを表示する場所

製品の以下の部分には、モデルのメトリックとスコアが表示されます。

• ヘルス スコア - フロー抽出 ノードの 2 か所 (イマーシブ テークオーバーの [プロパティ] ペインと [ 定義 ] タブ) に表示されます。また、スコアの取得元となったモデル バージョンと、使用された抽出モデルも表示されます。
• 評価の実行履歴 - ノードのすべての評価実行が一覧表示され、各実行の F1 スコアとドキュメント エラー率が示されます。実行を選択して詳細を表示します。
• [フィールドのパフォーマンス] の表 - 実行の [フィールド別 ] ビューで使用できます。フィールドまたはフィールド グループごとに 1 つの行が表示され、アノテーション済みのドキュメント全体で計算されたパフォーマンス メトリックとエラー メトリックが表示されます。
• Document performance table - Available in the By document view of a run. Shows one row per document, with its F1 score, document error rate, total errors, total annotations, and annotated values.

各メトリックについて詳しくは、「 モデルのパフォーマンスを評価する」をご覧ください。

ベスト プラクティス

• タクソノミーの各フィールドに対して少なくとも 10 個の値にアノテーションを行い、できるだけ多くの一意のドキュメント (理想的には 10 個) にアノテーションを行い、モデルとフィールドの有意義なスコアを取得します。