抽出データの検証と抽出パフォーマンスについて

注: 抽出データの検証ページはパブリック プレビューの段階です。

[検証] ページには抽出のパフォーマンスの概要が表示され、各抽出の個々のパフォーマンスにドリルダウンできます。

[検証] ページには [検証] 内の [抽出] タブからアクセスできます。これは、データセットに抽出フィールドが定義されている場合にのみ使用できます。​

パフォーマンスの概要

抽出データの検証ページの既定のページは「すべて」の概要ページで、データセット内の抽出データの全体的なパフォーマンスに関する次の要約統計量が表示されます。

• 抽出データの平均 F1 スコア
• 抽出データの平均適合率
• 抽出データの平均再現率

図 1. 抽出データの検証ページ

注: 抽出データの平均 F1 スコアが低い場合は、抽出のパフォーマンスが低いことを示しています​。

個々の抽出

個々のラベルをクリックすると、個々の抽出 (ラベルとそれに関連する抽出フィールド) のパフォーマンスを確認できます。

抽出ごとに、次の値を確認できます。

• F1 スコア
• 適合率
• 再現率

ラベルのすべての抽出フィールドで、次の値を確認できます。

• 平均 F1 スコア
• 平均適合率
• 平均再現率

個々の抽出フィールドで、次の値を確認できます。

• F1 スコア
• 適合率
• 再現率

図 2. 個別の抽出の検証

信頼度レベルと LLM

信頼度レベルの仕組みは、使用する基になる LLM モデルによって異なります。

CommPath LLM を使用する場合

If you use the CommPath LLM, themodel assigns a set of confidence scores for each prediction (%).

CommPath calculates and returns the following:

• 出現の信頼度: 検出された出現が、割り当てられたラベルに対応する可能性です。

• 抽出結果の信頼度: 抽出された内容の正確性に対する信頼度です。

These confidence values enable downstream automations to filter out extractions with confidence levels below a set label threshold. If you set an appropriate threshold, you can ensure that only predictions that meet a desired confidence level are used in workflows.

Preview LLM を使用する場合

生成 AI による抽出の Preview LLM では、抽出ごとにラベルの出現の信頼度が 1 つ提供され、出現の信頼度と抽出の信頼度の両方を置き換えます。 このアプローチは、抽出ごとに個別の信頼度値を返す CommPath とは異なります。

注:

Returning the label confidence helps filtering out extractions downstream if needed, allowing users to improve the precision of some results.

生成 AI による抽出によるオートメーション

注: 以前にエンティティを使用してオートメーションを構築した場合 - 生成 AI による抽出を使用してオートメーションを構築する場合、そのために必要な API エンドポイントとアクティビティは、以前に使用したものとは異なります。​

このセクションでは、[ストリームの結果を取得] アクティビティの出力について説明します。詳しくは、「Communications Mining Dispatcher Framework」のページをご覧ください。​

生成 AI による抽出でのオートメーションには、抽出の出力内容を理解することが重要です。​

発生の信頼度: メッセージに対する要求が発生する可能性のあるインスタンスの数 (つまり、抽出の発生回数) に関するモデルの信頼度を示します。​

例: 請求書を下流のシステムで処理するには、常に請求書 ID、請求書番号、支払金額、および期限日が必要です。

以下の発生の信頼度の例を確認してください。この下流工程が必要になる潜在的な発生が 2 つ存在することを、モデルがどのようにして確実に特定するかを示しています​。

抽出結果の信頼度

抽出結果の信頼度は、モデルの予測に関する信頼度です。これには、ラベルのインスタンスとその関連フィールドの予測に関する正確さも含まれます。また、フィールドの欠落の正確な予測に関するモデルの信頼度も含まれます。

前と同じ例を考えてみましょう。請求書を下流のシステムで処理するには、常に請求書 ID、請求書番号、支払金額、および期限日が必要です。

ただし、今回は、メッセージに請求書番号がなく、期限日もありません (開始日のみ)。

この例の抽出結果の信頼度とは、ラベルに関連付けられた各フィールドに値が存在するかどうかの識別に関するモデルの信頼度です。また、フィールドの欠落の正確な予測に関するモデルの信頼度も含まれます。

この場合、必要とされるすべてのフィールドを完全に抽出するために必要なフィールドがすべて揃っているわけではありません。

ペイロードの例

[get stream response] アクティビティが返す出力の例を以下に示します。

ストリームとは、Communications Mining で設定したしきい値と、メッセージがそのしきい値を満たしているかどうかのことです。

このルートでは、しきい値に基づいて予測をフィルターで除外するのではなく、しきい値を満たした予測の信頼度が返されます。

つまり、しきい値が満たされている場合は、ストリームが返されます。そうでない場合、この値は空です。​

注: これは、さまざまなコンポーネントについて説明するためのサンプル スニペットであり、生成 AI による抽出の応答の完全な出力ではありません。​

また、複数の抽出データがある場合は、それ以前の抽出データで条件付けされています。​

抽出フィールドのないラベルの場合、発生の信頼度は UI に表示されるラベルの信頼度と同じです。​

注: フィールドが多すぎるためにモデルがメッセージ内のすべてのフィールドを正常に抽出できなかった場合は、発生の信頼度と抽出結果の信頼度の値が 0 のストリームの応答で抽出が返されます。