抽出データの検証と抽出パフォーマンスについて

注: 抽出データの検証ページはパブリック プレビューの段階です。

[検証] ページには抽出のパフォーマンスの概要が表示され、各抽出の個々のパフォーマンスにドリルダウンできます。

[検証] ページには [検証] 内の [抽出] タブからアクセスできます。これは、データセットに抽出フィールドが定義されている場合にのみ使用できます。​

パフォーマンスの概要

抽出データの検証ページの既定のページは「すべて」の概要ページで、データセット内の抽出データの全体的なパフォーマンスに関する次の要約統計量が表示されます。

• 抽出データの平均 F1 スコア
• 抽出データの平均適合率
• 抽出データの平均再現率

図 1. 抽出データの検証ページ

注: 抽出データの平均 F1 スコアが低い場合は、抽出のパフォーマンスが低いことを示しています​。

個々の抽出

個々のラベルをクリックすると、個々の抽出 (ラベルとそれに関連する抽出フィールド) のパフォーマンスを確認できます。

抽出ごとに、次の値を確認できます。

• F1 スコア
• 適合率
• 再現率

ラベルのすべての抽出フィールドで、次の値を確認できます。

• 平均 F1 スコア
• 平均適合率
• 平均再現率

個々の抽出フィールドで、次の値を確認できます。

• F1 スコア
• 適合率
• 再現率

図 2. 個別の抽出の検証

信頼度レベルと LLM

信頼度レベルの仕組みは、使用する基になる LLM モデルによって異なります。

Preview LLM を使用する場合

Preview LLM には、予測の信頼度レベルがありません。Preview LLM は、ラベルまたはフィールドが予測か (はい = 1)、そうでないか (いいえ = 0) を返します。

そのため、信頼度のしきい値がさまざまに異なることはありません。

CommPath LLM を使用する場合

CommPath LLM を使用する場合、モデルは [検証] 機能を使用して、コミュニケーションに適用するラベルを予測します。このモデルでは、各予測に信頼度スコア (%) が割り当てられます。これにより、ラベルが適用されるモデルの信頼度がわかります。

生成 AI による抽出によるオートメーション

注: 以前にエンティティを使用してオートメーションを構築した場合 - 生成 AI による抽出を使用してオートメーションを構築する場合、そのために必要な API エンドポイントとアクティビティは、以前に使用したものとは異なります。​

このセクションでは、[ストリームの結果を取得] アクティビティの出力について説明します。詳しくは、「Communications Mining Dispatcher Framework」のページをご覧ください。​

生成 AI による抽出でのオートメーションには、抽出の出力内容を理解することが重要です。​

発生の信頼度: メッセージに対する要求が発生する可能性のあるインスタンスの数 (つまり、抽出の発生回数) に関するモデルの信頼度を示します。​

例: 請求書を下流のシステムで処理するには、常に請求書 ID、請求書番号、支払金額、および期限日が必要です。

以下の発生の信頼度の例を確認してください。この下流工程が必要になる潜在的な発生が 2 つ存在することを、モデルがどのようにして確実に特定するかを示しています​。

抽出結果の信頼度

抽出結果の信頼度は、モデルの予測に関する信頼度です。これには、ラベルのインスタンスとその関連フィールドの予測に関する正確さも含まれます。また、フィールドの欠落の正確な予測に関するモデルの信頼度も含まれます。

前と同じ例を考えてみましょう。請求書を下流のシステムで処理するには、常に請求書 ID、請求書番号、支払金額、および期限日が必要です。

ただし、今回は、メッセージに請求書番号がなく、期限日もありません (開始日のみ)。

この例の抽出結果の信頼度とは、ラベルに関連付けられた各フィールドに値が存在するかどうかの識別に関するモデルの信頼度です。また、フィールドの欠落の正確な予測に関するモデルの信頼度も含まれます。

この場合、必要とされるすべてのフィールドを完全に抽出するために必要なフィールドがすべて揃っているわけではありません。

ペイロードの例

[get stream response] アクティビティが返す出力の例を以下に示します。

ストリームとは、Communications Mining で設定したしきい値と、メッセージがそのしきい値を満たしているかどうかのことです。

このルートでは、しきい値に基づいて予測をフィルターで除外するのではなく、しきい値を満たした予測の信頼度が返されます。

つまり、しきい値が満たされている場合は、ストリームが返されます。そうでない場合、この値は空です。​

注: これは、さまざまなコンポーネントについて説明するためのサンプル スニペットであり、生成 AI による抽出の応答の完全な出力ではありません。​

また、複数の抽出データがある場合は、それ以前の抽出データで条件付けされています。​

抽出フィールドのないラベルの場合、発生の信頼度は UI に表示されるラベルの信頼度と同じです。​

注: フィールドが多すぎるためにモデルがメッセージ内のすべてのフィールドを正常に抽出できなかった場合は、出現の信頼度と抽出結果の信頼度の値が 0 のストリームの応答で抽出が返されます。