モデルのパフォーマンスを評価する

評価の概要と、各評価実行のフィールドおよびドキュメント メトリックを使用して、UiPath Maestro™ Flowの抽出ノードで IXP モデルのパフォーマンスを評価します。

概要

フロー 抽出 ノードのモデルのパフォーマンスは、以下の場所で評価できます。

• [定義 ] タブ - F1 スコアを含む最新の評価の概要が表示されます。
• [評価の実行] タブ - 各実行のドキュメント エラー率を含むすべての評価実行が一覧表示され、各実行のフィールド グループ、フィールド、およびドキュメント レベルのパフォーマンスが表示されます。

ノードのヘルス スコア

ノードのヘルス スコアは、フロー 抽出 ノードの現在のモデル バージョンのパフォーマンスを要約したものです。これは、次の場所に表示されます。

• フロー抽出ノードのプロパティ ペイン
• [ 定義 ] タブこれを開くには、[フロー 抽出 ] ノード上にホバーして [ 全画面表示を開く] を選択します。

ヘルス スコアは以下を示します。

• F1 スコア - タクソノミーに含まれるすべてのフィールドの F1 スコアの平均です。
• Rating - Good, Fair, or Poor.
• アノテーション済みのドキュメント - アノテーション済みのドキュメントの数です。
• スコアの取得元のモデル バージョンと、そのバージョンで使用されている抽出モデル。

F1 スコアは、以下のように色分けされます。

色	F1 スコア
緑	80% or higher
黄	40% to 79%
赤	Below 40%

ヘルス スコアは、ノードのデータセットにあるすべてのアノテーション済みのドキュメントを含む評価の実行から生成されます。ドキュメントのサブセットに対する評価の実行は、ヘルス スコアには影響しません。

スコアの背後にある評価の実行を表示するには、モデル名を選択します (例: Gemini 2.5 Flash)。実行が [ 評価の実行 ] タブで開きます。

注:

健全なモデルのスコアは 「良好」 で、フィールドのパフォーマンス警告はありません。

[評価の実行] タブでの評価

Each evaluation run outputs the performance of a model version tested on a selection of the annotated documents in the dataset of the node. A new model version is created when you run an evaluation that includes changes not yet evaluated, such as changes to your taxonomy, including instructions, or to the model configuration. Making these changes does not create a model version by itself. For details, check Changes not evaluated.

評価の実行を表示する

ノードの評価の実行を表示するには、以下の手順を実行します。

1. [フロー 抽出 ] ノード上でホバーし、[ 全画面表示を開く] を選択します。

2. [ 評価の実行 ] タブに移動します。

   

このリストには、各評価の実行について以下の詳細が表示されます。

• 名前 - 評価の実行の名前です。
• バージョン - 実行で評価されたモデル バージョンです。現在のノード定義に一致する実行には、「 現在の定義に一致 」ラベルが表示されます。
• ステータス - 実行のステータス ( 完了、 キャンセル済み、 実行中、 失敗) です。
• F1 スコア - すべてのフィールドの平均 F1 スコアです。
• ドキュメントのエラー率 - アノテーション済みのドキュメントのエラー率の平均です。
• ドキュメント - 評価されたドキュメントの数です。
• 開始 - 実行が開始された日時です。
• 期間 - 実行にかかった時間。

リストをステータスでフィルター処理するには、フィルター アイコン を選択し、[ 実行中]、[ 完了]、[ 失敗]、[ キャンセル済み] のいずれかのオプションを 1 つ以上選択します。

列を表示または非表示にするには、列アイコンを選択し、表示する列を選択します。

新しい評価を開始するには、[ 評価を実行] を選択します。詳しくは、「 評価を実行する」をご覧ください。

ドキュメントのエラー率

各評価の実行のドキュメント エラー率は、[評価の実行] タブの [ドキュメントのエラー率] 列で確認できます。

ドキュメント エラー率は、モデルがドキュメントに対して行ったエラーの合計アノテーションの割合です。つまり、モデルの予測がユーザーのアノテーションとどの程度異なるかを示します。エラー率は、アノテーション済みのドキュメントでのみ利用可能です。

[評価の実行] タブの [ドキュメントのエラー率] 列の値は、完全にアノテーション済みの各ドキュメントのエラー率の単純平均として計算されます。評価されたモデル バージョンでドキュメントを処理する際にどの程度エラーが発生しやすいかを素早く把握できます。デプロイに向けた準備状況を評価するのに役立ちます。

注:

ドキュメントのエラー率は次のように計算されるため、100% を超えることがあります。

• ドキュメントのエラー率 = エラー数 ÷ アノテーションの合計

エラーには、アノテーションが行われて誤って抽出されたフィールドだけでなく、モデルが行った、対応するアノテーションのない余分な予測も含まれます。たとえば、レビュー担当者がラベル付けしなかったとモデルが予測した追加の行があるとします。

これらの余分な予測はエラーとしてカウントされますが、アノテーションの合計には加算されないため、エラーの数がアノテーションの数を超え、エラー率が 100% を超える可能性があります。

評価の実行を管理する

評価の実行を管理するには、以下の手順を実行します。

1. [フロー 抽出 ] ノードで、[ 評価の実行 ] タブに移動します。

2. 実行の [ アクション ] 列で省略記号ボタンを選択し、以下のいずれかのオプションを選択します。

   • 詳細を表示 - 実行の詳細を開きます。または、実行の行を選択します。
   • 再実行 - 評価を再度実行します。
   • JSON としてエクスポート - 実行を JSON ファイルとしてエクスポートします。
   • CSV としてエクスポート - 実行を CSV ファイルとしてエクスポートします。
   • 評価の実行結果をエクスポート - 実行の結果をエクスポートします。
   • 削除 - 実行を削除します。

   

評価の実行からデータをエクスポートして、オフライン分析、カスタム フィルター処理、関係者との結果の共有を行うことができます。

[評価の実行] タブから、抽出ノードを以前のモデル バージョンに戻すこともできます。

評価の実行の詳細

評価の実行の詳細は、アノテーション済みのドキュメントをデプロイする前に、モデル バージョンのパフォーマンスを評価するのに役立ちます。

評価の実行の詳細を開くには、以下の手順に従います。

1. [フロー 抽出 ] ノード上でホバーし、[ 全画面表示を開く] を選択します。

2. [ 評価の実行 ] タブで、評価の実行の行を選択します。実行の詳細 ( ドキュメントのパフォーマンスの 表を含む) が開きます。このページには、実行の以下の詳細が表示されます。

   • レイテンシ - 抽出のレイテンシです。値にカーソルを合わせると、ドキュメント全体の遅延のパーセンタイルが表示されます。
   • 実行スコア (すべてのフィールドの F1 スコアの平均値)

   

3. 次のいずれかのビューを選択します。

   • By document - Shows the Document performance table, with one row per document. By default, the table shows the following columns: F1 score, Doc error rate, Total errors, Total annotations, and Annotated values.
   • フィールド別 - [フィールドのパフォーマンス] の表を表示します。

[フィールドのパフォーマンス] の表

評価実行の [フィールド別] ビューの [評価の実行] タブで利用可能な [フィールドのパフォーマンス] の表は、モデルのパフォーマンスを分析する主要な方法です。この表には、フィールドまたはフィールド グループごとに 1 つの行と、アノテーション済みのドキュメント全体で計算されたパフォーマンス メトリックとエラー メトリックが表示されます。この表では、メトリックを計算する際に、アノテーション未実施のドキュメントと部分的にアノテーション済みのドキュメントは考慮されません。

この表は以下の質問に答えるのに役立ちます。

• モデルの全体的なパフォーマンスを制限しているのはどのフィールドか
• エラーは少数のフィールドに集中しているか、それとも広範囲に広がっているか
• モデルの最近の変更により、特定のフィールドが改善したか、それとも退化したか

この表には、モデルのパフォーマンスをさまざまな観点から分析するのに役立つメトリックのカテゴリが複数含まれています。各カテゴリから、モデルがフィールドやドキュメントでどのように動作するかについて、診断に役立つ具体的な質問への回答が得られます。

既定では、この表には次の列が表示されます。

• F1 スコア
• エラー率
• エラーの合計
• アノテーションの合計
• アノテーション済みの値
• エラーを含むドキュメント
• アノテーション済みのドキュメント

各フィールドとフィールド グループの F1 スコアは、 ノードのヘルス スコアと同じ範囲を使用して色分けされます。

• 緑 - フィールドのパフォーマンスは良好です。
• Yellow - The performance of the field is less than satisfactory.
• 赤 - フィールドのパフォーマンスが低い。

メトリックを表示または非表示にするには、[ 列] を選択し、各カテゴリからメトリックを選択します。

特定のフィールド グループまたはフィールドを検索するには、[ フィールドを検索 ] ボックスを使用します。

フィルター処理と並べ替えを行う

表内の行をフィルター処理するには、[ 評価の実行 ] タブで利用可能なクイック フィルターを 1 つ以上選択します。各クイック フィルターには、一致する行数が表示されます。

• アノテーション済みの値 < 10
• フィールドの F1 スコア < 50
• 次のフィールドの F1 スコア: 50–70

表内の任意のメトリックで表を並べ替えることもできます。並べ替えを適用すると、値がそれぞれのフィールド グループ内で並べ替えられます。たとえば、表を F1 スコアで並べ替えると、各フィールド グループ内のフィールドがお互いを基準にして並べ替えられます。

パフォーマンス メトリック

パフォーマンス メトリックの目的は、各フィールドまたはフィールド グループについて抽出の全体的な品質を評価することです。

各パフォーマンス メトリックの説明は次のとおりです。

• F1 スコア - 適合率と再現率の調和平均です。「F1 = 2 × (適合率×再現率) / (適合率 + 再現率)」で計算されます。F1 スコアの高い状態が維持されるのは、適合率と再現率が両方とも高い場合のみです。このため、F1 は実際に、値の誤りや見逃しを避けることに注意が必要な抽出タスクの全体的な品質を示す強力な指標になります。したがって、F1 はモデル バージョン間のフィールドのパフォーマンスの変化を分析する場合に最初に確認すべきメトリックとして役に立ちます。
• 適合率 - 予測値が正しい頻度を測定します。「適合率 = 真陽性 / (真陽性 + 偽陽性)」で計算されます。真陽性とは、アノテーション済みの値に一致する予測です。「存在しない」とアノテーション済みの値は除外されます。
• 再現率 - 値が存在する場合に、モデルがその値を見つけた頻度を測定します。「再現率 = 真陽性 / (真陽性 + 偽陰性)」で計算されます。偽陰性とは、モデルが予測しなかったアノテーション済みの値です。「存在しない」とアノテーション済みの値は除外されます。
• エラー率 - 「エラーの合計 / アノテーションの合計」で計算されます。エラーの数とアノテーションの数には、存在しないとしてマーク済みの値が含まれます。
• 欠落を除いたエラー率 - (エラーの合計 – 過剰な予測) / アノテーション済みの値。存在しないとしてマーク済みのアノテーション済みの値は除外されます。

予測とエラー

予測とエラーのメトリックの目的は、低パフォーマンスの原因になっているエラーの量と構成を把握することです。

各メトリックの説明は次のとおりです。

• エラーの合計 - すべてのエラー クラスにわたる、フィールドのエラーの合計数です。「エラーの合計 = 誤った値 + 見逃した予測 + 過剰な予測」で計算されます。
• 予測の合計 - フィールドの予測値の合計数です。「予測の合計 = 正しい値 + 正しい欠落値 + 誤った値」で計算されます。
• 誤った値 - 抽出された値がアノテーションと一致しない予測の数です。予測、および存在しないとしてマーク済みのアノテーション済みの値は除外されます。
• 見逃した予測 - モデルが抽出に失敗した、アノテーション済みの値の数です。
• 過剰な予測 - モデルが抽出すべきではなかったか、対応するアノテーションまたは存在しないとしてマーク済みのアノテーションがなかった予測値の数です。
• 正しい値 - アノテーションと完全に一致する予測値の数です。
• 正しい欠落予測 - 値が欠落していることをモデルが正しく予測したインスタンスの数です。

注釈

アノテーションのメトリックの目的は、各メトリックをサポートしているラベル付けされたデータの数と、パフォーマンス スコアの信頼性についてコンテキストを提供することです。

各メトリックの説明は次のとおりです。

• アノテーションの合計 - アノテーションの合計数です。存在しないとしてマーク済みの値が含まれます。「アノテーションの合計 = アノテーション済みの値 + 存在しないとしてマーク済みのアノテーション済みの値」で計算されます。
• アノテーション済みの値 - アノテーション済みのフィールド値の合計数です。存在しないとしてマーク済みの値は除外されます。
• 「存在しない」とアノテーション済み - フィールドが明示的に「存在しない」とラベル付けされた合計回数です。

ドキュメントのメトリック

ドキュメント メトリックの目的は、エラーがどのように分布しているかを、予測だけでなくドキュメント全体にわたって把握することです。

各メトリックの説明は次のとおりです。

• エラーを含むドキュメント - フィールドに少なくとも 1 つのエラーがあるドキュメントの合計です。
• アノテーション済みのドキュメント - フィールドに少なくとも 1 つのアノテーション済みのフィールド値があるドキュメントの合計です。
• エラーを含むドキュメントの割合 - フィールドに対して少なくとも 1 つのエラーが含まれるアノテーション済みのドキュメントの割合です。「エラーを含むドキュメント / アノテーション済みのドキュメント」で計算されます。

モデル バージョンを比較する

評価の実行が複数ある場合は、ある実行のパフォーマンスを以前の実行と比較して比較できます。これにより、フィールドの指示の変更、アノテーションの変更、またはモデルの設定の更新による影響をより詳しく把握できます。

既定では、この表では選択した実行が前の実行と比較されます。スコアの違いは各値の横に表示され、値が増加したか減少したかを示す矢印が表示されます。

別の実行と比較するには、次の手順を実行します。

1. 評価の実行の [ フィールド別 ] ビューで、[ 比較対象 ] ドロップダウンを選択します。

   

2. 以下のいずれかのオプションを選択します。

   • 以前の実行。実行番号、データセット、日付、モデル バージョン別に表示されます。
   • 比較なし - スコアの違いを非表示にします。

   

シナリオ例

シナリオ 1: F1 が低い + 適合率は低いが再現率は中程度か高い

確認できる状況

F1 が低く、適合率も低く、再現率は中程度か高い。

一般的な意味

• モデルはフィールドの値を抽出していますが、見つかることを予期していた数よりも多くの値が予測されています。
• 一般的な根本原因は次のとおりです。
  • フィールドの指示がおおまかすぎるか、あいまいすぎる。たとえば、フィールドの指示が「金額をキャプチャしてください」であるにもかかわらず、どの金額かが指定されていない。
  • ドキュメントに類似する値が複数あり、互いに混同されている可能性がある (例: 小計と合計、出荷先と請求先)。

次のステップ

誤った値と過剰な予測を比較し、誤った値が抽出されたことに関連する問題であるのか (誤った値の数がゼロではない場合)、それともその値がまったく抽出されるべきではなかったのか (過剰な予測の数がゼロではない場合) を特定します。

あいまいさを取り除く要素 (ラベル、キーワード、形式の制約など) を使用してフィールドの指示を厳格化します。

シナリオ 2: 見逃した予測が多く (再現率が低い)、適合率は中程度か高い

確認できる状況

• 再現率は低く、適合率は中程度か高い (F1 は通常、低または中程度)。
• 見逃した予測が多く、ほとんどの場合、誤った値や過剰な予測よりも多い。

一般的な意味

• 存在する値の抽出にモデルが失敗しています。
• 一般的な根本原因は次のとおりです。
  • フィールドの指示が細かすぎる。つまり、例が過度に制約されているか、ラベルの要件が具体的すぎる。
  • 値が複数の形式 (日付や ID など) で表示され、指示でそれらの別表現がカバーされていない。

次のステップ

• 「見逃した予測 + アノテーション済みの値」を使用して、これが再現率の問題であること、つまり値が存在するにもかかわらず見つからないことを確認します。アノテーション済みの値を調べて、フィールドに妥当な数のアノテーション済みのデータ ポイントがあることを確認します。また、見逃した予測を調べて、モデルが値を誤って予測しているのではなく値を見つけるのに苦労していることを確認します。
• 指示を拡大して、条件に合う別表現を含めます。代替ラベルや類義語、形式の複数のパターン、場所のヒント (「申請者の詳細の近く」「借り手のセクションの下」など) を含めます。

シナリオ 3: エラー率は高いが、エラーを含むドキュメントは少ない (エラーが少数のドキュメントに集中している)

確認できる状況

• エラー率が高いか、エラーの合計が多い。
• エラーを含むドキュメントは、アノテーション済みのドキュメントと比べて少ない。
• 1 つのフィールドに問題があるように見えても、失敗しているのはドキュメントの一部のサブセットだけであることが多い。

一般的な意味

• エラーは、フィールドの全体的な動作ではなく、外れ値のドキュメントによって引き起こされています。
• 一般的な根本原因は次のとおりです。
  • 特定のドキュメントや形式の動作が他とは異なっている。
  • 少数のドキュメントに OCR や品質の問題がある (ぼやけたスキャン、傾き、手書きのオーバーレイなど)。
  • フィールドはほとんどのドキュメントに存在しているが、一部で通常とは異なる形式 (複数行と単一行など) になっている。

次のステップ

• エラーを含むドキュメントとアノテーション済みのドキュメント、および必要に応じて「% ドキュメントにエラーあり」を比較して、集中度を確認します。
• 評価の実行の [ ドキュメント別 ] ビューに切り替え、ドキュメントをスコアで並べ替え、スコアが最も低いドキュメントを調べて、フィールドのパフォーマンスが特定のサブセットで低いかどうかを特定します。

シナリオ 4: アノテーションがほとんどないバージョン間でパフォーマンスが大きく変動する

確認できる状況

• モデル バージョン間で F1 またはエラー率に大きな違いがあるが (増加または減少)、アノテーション済みの値が少ないか、またはアノテーション済みのドキュメントが少ないか、あるいはその両方である。

一般的な意味

• サンプル サイズが小さいため、フィールドのメトリックがまだ安定していません。
• 一般的な根本原因は次のとおりです。
  • 例が少なすぎる - 1 個から 2 個のドキュメントで割合が大きく変化する可能性があります。
  • フィールドがほとんど存在していない。つまり、欠落しているケースが多く、実際の値がほとんどない。
  • 少数の難解なドキュメントがメトリックに大きく影響している。

次のステップ

• アノテーション済みの値、アノテーション済みのドキュメント、および「存在しない」とアノテーション済みを調べて、カバレッジの低さを検証します。
• カバレッジが拡大するまで、メトリックは方向性を示すものとして捉え、確定的なものとして捉えないようにします。
• フィールド専用のラベル付けされたデータをさらに追加します。つまり、フィールドが存在するドキュメントに優先的に対応し、一連の多様なサンプルや別表現を含めます。
• バージョンの比較は、十分なカバレッジが確保されて可変性に起因するノイズが減った後にのみ使用します。