予測値を検証する

アノテーションからモデルを直接トレーニングすることなく、プロンプトの指示を改良した後、UiPath Maestro™ Flow の Extract ノードで IXP モデルの予測を検証し、グラウンド トゥルースを確立します。

概要

現在、このモデルはユーザーのアノテーションからは直接学習しません。モデルのパフォーマンスを向上させるには、プロンプト、指示、またはモデルの設定を変更します。

プロンプトの指示に問題がなければ、モデルの予測の検証を開始して、パフォーマンスの評価のためのグラウンド トゥルースを確立できます。その前に、予測と参照の違いを理解しておくことが重要です。

予測と参照

予測は予測値であり、グラウンド トゥルースと比較されます。

注:

予測が不正確であったり欠落していたりすると、[ 評価の実行 ] タブのモデルのスコアとパフォーマンス メトリックに影響します。

参照とは、ドキュメント内で見つかった予測値に一致する参照です。参照の目的は、ユーザーがドキュメントの正しい部分を特定しやすくすることです。

注:

参照が正しくなかったり欠落したりしても、モデルのスコアやパフォーマンス メトリックには影響しません。ただし、人間による検証エクスペリエンスを向上させるために、参照を追加または修正すると役立つ場合があります。

参照と強調表示された範囲には既知の制限があり、これらは改善すべき重要な優先事項の 1 つです。

以下のいずれかのシナリオが発生する可能性があります。

• 予測は正しく、参照も正しいが、間違った範囲が強調表示されている。通常は、最初に見つかった一致です。
• 予測は正しいが、参照および強調表示された範囲が欠落している。このような場合は、フォールバックとしてページ番号を指定します。

注:

予測と参照は独立しています。つまり、参照が欠落していたり誤っていたりしても、予測値には影響しません。

予測値を検証する

アノテーション ビューでは、抽出された各値が、アノテーション パネルのフィールド名の横に表示されるように、フィールドの色でドキュメント内で強調表示されます。抽出された値は次のように強調表示されます。

• 塗りつぶし - 抽出された値です。塗りつぶしは、確認済みの値と未確認の値で同じです。値が確認されているかどうかを確認するには、[アノテーション] パネルでチェックボックスを使用します。確認済みの値についてはチェックボックスがオンになり、未確認の値の場合はオフになります。

  

• 実線の枠線 - 選択された値です。アノテーション パネルで値を選択すると、ドキュメント内でその値が強調表示され、実線の枠線が表示されます。

  

予測値を検証するには、次の手順を実行します。

1. [フロー 抽出 ] ノード上でホバーし、[ 全画面表示を開く] を選択します。

2. [ データセット ] タブで、検証するドキュメントの [ アノテーションを行う ] を選択します。モデルによってドキュメント内の関連するテキスト範囲が強調表示され、生成された予測がアノテーション パネルに表示されます。口座番号など、フィールド グループの複数のインスタンスに適用できる値には、関連するセクションに移動するのに役立つ矢印ボタンがあります。値をポイントするとボタンが表示されます。

   

3. 予測を確認し、次のいずれかの方法で抽出された値を確認します。

   • 1 つの値を確認するには、そのチェックボックスをオンにします。
   • フィールド グループの行全体を確認するには、[行] チェックボックスをオンにします。
   注:

   加えたが送信しなかった変更は下書きとして保存され、後で戻って更新できます。詳しくは、「 注釈の下書き」をご覧ください。

4. [ 送信 ] を選択してアノテーションを送信します。

[ 定義 ] タブからいつでも抽出スキーマに追加のフィールドを設定できます。

Action Center での予測値を検証する例

検証を停止する

フィールドごとに少なくとも 10 個の例を検証して、モデルが有意義な検証の統計情報を提供できるようにすることをお勧めします。

確認済みおよび未確認の参照と値

検証プロセスでは以下を行う必要があります。

• 抽出された値が正しいかどうかを確認する
• 予測値が正しくない場合は、期待値にアノテーションを行う。
• フィールドがドキュメントに存在しない場合は、存在しないとしてマークする
• 抽出スキーマに追加のフィールドを設定する

このセクションでは、値と参照が確認済みステート (検証済み) と未確認ステート (未検証) でどのように表示されるかを示します。

注:

加えたが送信しなかった変更は下書きとして保存され、後で戻って更新できます。詳しくは、「 注釈の下書き」をご覧ください。

予測値

未確認の値

確認済みとしてマークされた値はありません。

図 1.未確認の値

確認済み

参照は実線の枠線で強調表示されます。

図 2.確認済みの参照

値は確認済みとしてマークされます。

図 3.確認された値

検証済みの値

このセクションでは、モデルの予測がユーザーのアノテーションと一致する場合と一致しない場合のシナリオの例を示します。

アノテーションが予測と一致する場合、値は次のようになります。

図 4.正しい予測

アノテーションが予測と一致しない場合、値は次のようになります。

図 5.誤った予測

注:

予測は参照ではなくアノテーションと比較されます。参照が欠落していたり、正しくなかったりする可能性がありますが、不一致のフラグは付けられません。

期待値にアノテーションを行う

予測値が正しくない場合は、期待値にアノテーションを行います。アノテーションにより、評価の実行でモデルの予測と比較するグラウンド トゥルース (真の期待値) を設定します。モデルや将来の予測は変更されません。

期待値にアノテーションを行うには、以下の手順を実行します。

1. アノテーション パネルで、フィールドの省略記号ボタンを選択し、[ 抽出値を変更] を選択します。値のないフィールド ( 「見つかりません」と表示) の場合は、プラス記号のアイコンを選択します。

2. ドキュメント内の正しい値を強調表示します。

   注:

   加えたが送信しなかった変更は下書きとして保存され、後で戻って更新できます。詳しくは、「 注釈の下書き」をご覧ください。

   

値を編集する

[フロー 抽出 ] ノードのアノテーション ビューで、値を以下のように編集します。

1. [ 値を追加 ] を選択して、ドキュメント内に参照のない新しい値を作成します。

2. フィールドの省略記号ボタンを選択して、以下のいずれかのオプションを使用します。

   • 抽出値を変更
   • 前の値に戻す
   • 存在しないとしてマーク

3. フィールド グループの行の省略記号ボタンを選択して、以下のいずれかのオプションを使用します。

   • 行を強調表示
   • 行を削除

4. 値またはフィールド グループの各行のチェックボックスをオンにして、値を確認します。

   注:

   加えたが送信しなかった変更は下書きとして保存され、後で戻って更新できます。詳しくは、「 注釈の下書き」をご覧ください。

   

フィールド グループの各インスタンスをアノテーション パネルのリストとしてではなく表の行として表示するには、[ 定義 ] タブに移動し、フィールド グループの省略記号を選択して、[ 表として表示] をオンにします。

アノテーションの下書き

ドキュメント上の値と参照に加えた編集内容は、アノテーションとしてモデルに送信するまで、アノテーションの下書きとして保存されます。その結果、ドキュメントのステータスは [ 進行中] となり、すでにアノテーションが行われているドキュメントの場合は [ アノテーション済み (編集中)] と表示されます。下書きを破棄するには、[ 下書きを破棄] を選択します。

値の検証、アノテーション、編集、そしてアノテーションの送信など、前述のすべてのアクションは、変更を加える際に下書きとして保持されます。

ドキュメントが下書きステートにある間に予測を更新すると、システムは新しい予測を再入力する際にアノテーションの下書きを保持し、モデルの新しい予測セットをアノテーションの下書きに一致させます。