プロジェクトの成功を評価する

このページで説明されているメトリックを追跡して、プロジェクトの成功を確認できます。

メイン メトリック

追うべき最も関連性の高いメトリックは、推定節約時間です (時間数で表されます)。このメトリックは ROI に直接関連付けることができ、Document Understanding プロセスを使用して節約できた時間を追跡します。追跡にあたっては、1 人の人間がドキュメントを 1 ページ処理するのに、設定した時間が費やされるとみなされます。このメトリックでは、次の式を使用します。

{推定節約時間} = {処理されたドキュメントの数} * {x} (分) - {検証時間}

• 処理されたドキュメントの数: オートメーションを使用して処理されたドキュメントの総数です。
• x: ユーザーが 1 つのドキュメントをオートメーションなしで処理するのにかかると思われる時間です。
• 検証時間: ユーザーが分類ステーションまたは検証ステーションで、処理されたすべてのドキュメントの検証に費やした時間です。検証を必要としないドキュメントでは 0 と見なされます。

例：

10 分 = 2 ドキュメント * 5 分 (手動処理) - 0 分の検証

セカンダリ メトリック

推定節約時間以外にも、プロジェクトのパフォーマンスと成功を評価するために追跡する価値のある重要なメトリックがあります。

表 1. セカンダリ メトリック

メトリック	説明	追跡するタイミング
処理されたドキュメントの数	処理されたドキュメントの総数です。	このメトリックを使用して、次のことを行います。 オートメーションによって処理したドキュメントの数を追跡します。 オートメーションによって処理したドキュメントの数を、手動で処理した数と比較して追跡します。
検証時間	分類と抽出結果の検証に費やされた合計時間です。	このメトリックを使用して、次のことを行います。 人間参加型によってさらに必要とされる時間を追跡します。 オートメーションとモデルの更新によって検証が改善しているかどうかを確認します。
平均処理時間	ドキュメントの処理に必要な平均時間です。ユーザーが検証に費やす時間を含み、検証を必要としないドキュメントでは 0 と見なされます。次の式が使用されます。 {平均処理時間} = ({ドキュメントの処理に要した時間} / {処理されたドキュメント数}) の合計 例: 10 個のドキュメントが処理され、ドキュメントごとに 2 分かかり、人間参加型で検証される 5 つのドキュメントではさらに 2 分余分にかかる場合: (2*5 + 4*5 = 3 分の平均処理時間)	このメトリックを使用して、オートメーションを導入した後、ユーザーがドキュメントを処理するのに必要な時間を追跡します。
フィールドの修正の傾向	変更内容 (編集された値、編集されたボックス、存在しないとしてマーク済みなど) 別の、修正されたフィールドの月ごとの数です。修正に加えて、フィールドの合計数のベースラインも提供するため、修正されたフィールドの合計数を確認できます。	このメトリックを使用して、次のことを行います。 変更されたフィールドの数が時間の経過と共に増加するかどうかを確認します。 モデルのバージョンが新しくなると、人間の入力が多くなるか、または少なくなるかを確認します。 検証に時間がかかりすぎる理由を確認します。

プロジェクトのメトリックの改善

プロジェクト成功のメトリックを改善する方法について、次のヒントとコツを確認してください。

• 推定節約時間を改善するには:
  • 処理されるドキュメントの量を増やします。
  • ビジネス ルールを追加することで、検証時間とストレートスルー処理を改善します。
• 検証時間と平均処理時間を改善するには:
  • 検証用のドキュメントを人間参加型の検証に送信するかどうかを決定するロジックを定義します。
  • モデルを微調整し、正確に抽出されていないフィールドのトレーニング データを追加します。フィールドの修正の傾向に基づいて行動し、最も注意が必要なフィールドを特定して、そこでの抽出の改善に焦点を当てます。
  • 生成 AI による検証機能を使用します。