概要

このセクションでは、プロジェクト内のモデル バージョンのパフォーマンスを検証する際に必要なプロセスの概要を説明します。モデルのパフォーマンスの検証は、運用環境へのデプロイ前にモデルの精度と信頼性を確認するために不可欠です。

モデルの検証プロセス

1. 異なるモデル バージョンを比較して、モデルのパフォーマンスを評価します。
2. 検証の統計情報を収集します。
3. ユース ケースに適したパフォーマンス レベルに達するまで、以下を行ってモデルを調整します。
   • モデルの予測を確認する
   • 抽出スキーマを反復する

ユーザー インターフェイス

[評価] タブのダッシュボードには、以下の詳細情報が含まれています。

• 特定のフィールド グループと、フィールド グループのすべてのフィールドの完全な抽出パフォーマンス
• 特定のフィールド グループ内のすべてのフィールドの平均パフォーマンス
• 個々のフィールドレベルのパフォーマンス

次のリストに、すべてのフィールドのパフォーマンス インジケーターの説明を示します。

• 赤色のダイヤル - フィールドのパフォーマンスの赤色のダイヤルは、アノテーション済みの例が十分に提供されていないことを示します。
• 琥珀色の円 - 琥珀色のパフォーマンス インジケーターは、フィールドが十分なパフォーマンスを下回っている場合に表示されます。
• 赤色の円 - 赤色のパフォーマンス インジケーターは、フィールドのパフォーマンスが良くない場合に表示されます。
• 再現率 - 正しい抽出データのうち、モデルが実際に予測した抽出データの件数です。
• 適合率 - モデルが適用した抽出データのうち、実際に正しかった抽出データの件数です。
• F1 スコア - 適合率と再現率の調和平均です。

フィールドレベルのパフォーマンスと、フィールドの指示の変更による影響を把握すると、モデルが運用環境で使用できるかどうかを判断するのに役立ちます。

ベスト プラクティス

• プロジェクトとフィールドの有意義なスコアを得るには、少なくとも 10 個のドキュメントと 10 個のフィールドにアノテーションを行います。
• モデルのトレーニングをいつ停止するかは、特定のビジネス ニーズとユース ケースの目的に基づいて決定する必要があります。つまり、特定のフィールドには、他のフィールドよりも高い適合率と再現率が必要な場合があります。

注: 適合率の高いモデルでは偽陽性が最小限に抑えられ、再現率の高いモデルでは偽陰性が減少します。