監視

Document Understanding^TM のオートメーションのパフォーマンス メトリックは、[監視] セクションから次の主要な領域について確認できます。

• プロジェクトのパフォーマンス (プレビュー)
• [処理済みのドキュメント]、および対応する [ドキュメントの詳細]

ヒント: [監視] セクションのユーザー権限について詳しくは、「ロールベースのアクセス制御」をご覧ください。

プロジェクトのパフォーマンス (プレビュー)

注: 現在、[プロジェクトのパフォーマンス] ダッシュボードには、IntelligentOCR アクティビティ パッケージの検証データは含まれていません。

[プロジェクトのパフォーマンス] タブには、処理済みドキュメントの数、ドキュメント処理で短縮できた時間、ドキュメントからのデータ抽出にかかった時間など、プロジェクトに役立つパフォーマンス メトリックが表示されます。

図 1. [プロジェクトのパフォーマンス (プレビュー)] ダッシュボード

ダッシュボードを有効化する

The metrics displayed in the Project performance dashboard are displayed in the form of an Insights dashboard. In order to use the dashboard, you need to enable Insights on your tenant:

1. 画面の右上隅にある 3 点リーダー メニュー ⋮ に移動し、[テナント プロファイル] を選択します。
   
   

   

   
   
2. [Insights のダッシュボードの URL] トグル ボタンを選択して Insights を有効化します。
   
   

   

   
   

注: [プロジェクトのパフォーマンス] ダッシュボードのデータは非同期的に取り込まれます。このプロセスのために、データがダッシュボードに表示されるまでに最大で 10 分から 15 分かかることがあります。詳細については、『Insights ガイド』の「Insights のデータの取り込み」をご覧ください。

メトリック

プロジェクトのパブリッシュ後に、オートメーションのパフォーマンスや重要なビジネス メトリックを確認できます。

表 1. プロジェクト成功のメトリック

メトリック	説明
推定節約時間	Document Understanding プロセスを使用して節約できた時間数が算出されます。算出にあたっては、1 人の人間がドキュメントを 1 ページ処理するのに、設定した時間が費やされるとみなされます。このメトリックでは、次の式を使用します。 {推定節約時間} = {処理されたドキュメントの数} * {x} (分) - {検証時間} 処理されたドキュメントの数: オートメーションを使用して処理されたドキュメントの総数です。 x: ユーザーが 1 つのドキュメントをオートメーションなしで処理するのにかかると思われる時間です。 検証時間: ユーザーが検証ステーションで費やした時間です。
推定コスト	消費された AI ユニットに対して支払われる推定コストです。ダッシュボードの設定で指定した AI ユニットのコストによって異なります。
処理済みドキュメントの月間傾向数 (コンシューマー別)	コンシューマーが 1 か月に処理したドキュメントの総数です。コンシューマーは以下のどれかである可能性があります。 API DocumentUnderstanding.Activities を使用する
検証時間 (検証ごと)	分類と抽出結果の検証に費やされた、検証ごとの合計時間 (時間) です。
ドキュメントが検証の待機に要した時間	ドキュメントがユーザーの操作を待機するのに要した時間です。 最小時間 最大時間 平均時間
平均処理時間	1 つのドキュメントの検証に要した平均時間です。具体的には、ユーザーが分類と抽出結果の検証に要した平均時間です。このメトリックは以下として確認できます。 合計: 平均処理時間の合計。 検証ごと: 検証ごとの平均処理時間。
ストレートスルー処理のドキュメント数と処理済みドキュメントの合計数の比較	ストレートスルー処理されたドキュメントの数は、自動的に処理され、検証アクションまたは分類アクションが作成されていないドキュメントの数です。 処理されたドキュメントの総数は、ストレートスルー処理されたドキュメントの数と、手動で検証されたドキュメントの数を合算した数です。

表 2. 消費のメトリック

メトリック	説明
AI ユニットの消費数の概要	利用可能な AI ユニットの数と、消費された AI ユニットの数を比較した結果です。プロジェクト別にグループ化されています。有効なタイムフレームと合計消費率も利用可能です。
AI ユニットの消費数の詳細	消費された AI ユニットの月別の合計数です。コンシューマー別に分割されています。 モデルをホストするために消費された AI ユニットの合計数です。プロジェクトのバージョンおよび月別に分割されています。 ホストされたモデルのデプロイ イベントごとに消費された AI ユニットの数です。
実行時のコンシューマー	処理されたページ数別のトップ コンシューマーです。 API コンシューマー: 現在のプロジェクトを参照する Document Understanding アクティビティを 1 つ以上含む RPA コンシューマー Studio、StudioX または Studio Web プロジェクト。

表 3. 実行時のメトリック

メトリック	説明
検証が必要な上位のドキュメントの種類	検証アクションまたは分類アクションが作成された上位のドキュメントの種類です。以下の情報が含まれます。 ドキュメントの種類名 処理されたページの数 平均分類信頼度 平均抽出信頼度 要求されたフィールドの数と抽出されたフィールドの数 ドキュメントの検証に要した合計時間 ページあたりの平均時間
フィールドの修正の傾向	修正されたフィールドの数です。変更内容 (編集された値、編集されたボックス、存在しないとしてマーク済みなど) 別に、月ごとにグループ化されています。
フィールドの修理の詳細 (ドキュメントの種類別)	1 つのドキュメントの種類に加えられた上位のフィールドの変更です。以下の情報が含まれます。 ドキュメントの種類 フィールド名 フィールド値 (大文字と小文字を区別) 平均信頼度 平均精度 変更 発生回数
抽出の精度のメトリック	平均出力精度: 変更されていないフィールドの数、または要求されたフィールドの数です。 検証出力精度: 変更されていないフィールドの数、または検証ごとの要求されたフィールドの数です。
分類の精度のメトリック	分類の出力の平均精度です。具体的には、修正済みとしてマークされた分類結果の数、または分類されたドキュメントの数です。
分類の混同行列	どのドキュメントの種類が他の種類と混同されているかを確認します。
検証アクションの概要	RPA または API を使用して作成された検証タスクです。ステータス別にグループ化されています。 割り当て 未割り当て 提出済み 却下済み
発生した例外の上位	ワークフローの実行中、または API を使ったモデルの使用中に発生した上位の例外です。例外の発生回数、および例外が発生したコンシューマーも表示されます。

ダッシュボードをフィルター処理する

ダッシュボードをフィルター処理する方法は複数あります。利用可能なオプションについて正確に、より深く理解するため、すべてのオプションについて見てみましょう。

ダッシュボードに表示されるデータをフィルター処理するには、いくつかのオプションを使用できます。

• ドキュメントの手動処理時間 (分)
• 期間
• 次の項目でグループ化
• AI ユニットのコスト (セント)

オプション	説明
ドキュメントの手動処理時間 (分)	ドキュメントを手動で処理するのにかかる時間 (分) を選択します。
期間	情報を表示する期間を選択します。 Is in the last Is on the day Is in range is before Is on or after Is in the year Is in the month Is this Is next Is previous 次の値に等しい Is null Is any time Is not null Matches a user attribute Matches (advanced)
次の項目でグループ化	情報をグループ化する方法を選択します。 Day (日) 週 Month (月) 四半期 Year (年)
AI ユニットのコスト (セント)	1 AI ユニットのコストを米ドル (セント) で選択します。
情報を再読み込み	利用可能な情報を更新します。
フィルターの表示/非表示を切り替え	フィルターをダッシュボードに表示するかどうかを選択します。
ダウンロードする	ダッシュボードに表示される情報を PDF または CSV としてダウンロードします。
Schedule delivery	ダッシュボードのエクスポートの頻度 (日次、月次、週次、または特定の日) を設定します。PDF、CSV の zip ファイル、または PNG ビジュアリゼーションのいずれかの形式を利用できます。
フィルターをリセット	カスタマイズしたフィルターをすべてリセットします。
ビューアーのタイムゾーン	ビューアーのタイムゾーンを選択します。

Schedule delivery

ダッシュボードのデータを使用してメールの配信をスケジュールできます。3 点リーダー メニュー ⋮ を選択し、[スケジュールを送信] オプションを選択してから、必要に応じてカスタマイズします。

タブ	オプション	説明
設定	Schedule Name	スケジュールされた配信に名前を付けます。
	Recurrence	メール配信の繰り返し期間を設定します。
	Time	スケジュールされた配信の時間を設定します。
	ターゲット	スケジュールされた配信の宛先を設定します。
	メール アドレス	ダッシュボードの情報を送信する必要のあるメール アドレスを設定します。
	形式	スケジュールされた配信の形式を設定します。
	Test now	スケジュールされた配信のオプションをテストします。
フィルター	ドキュメントの手動処理時間 (分)	ドキュメントを手動で処理するのにかかる時間 (分) を選択します。
	期間	ダッシュボードにどの期間の情報が表示されるかを設定します。
	次の項目でグループ化	情報をグループ化する方法を選択します。
	AI ユニットのコスト (セント)	1 AI ユニットのコストを米ドル (セント) で選択します。
	Test now	スケジュールされた配信のオプションをテストします。
詳細オプション	Custom message	スケジュールされた配信にカスタム メッセージを追加します。
	Include links	スケジュールされた配信にアクセス可能なリンクを含めます。
	Expand tables to show all rows	すべての行をエクスポートに表示するかどうかを選択します。 大きなテーブルはプレーン テキストとして表示されたり、表示される行が制限されたりする場合があります。
	Arrange dashboard tiles in a single column	情報を一列に並べて表示するかどうかを選択します。
	Paper size	目的の用紙サイズを選択します。[Fit page to dashboard]、[Letter]、[Legal]、[Tabloid]、[A0]、[A1]、[A2]、[A3]、[A4]、[A5] から選択します。
	Delivery timezone	スケジュールされた配信に使用するタイムゾーンを選択します。
	Test now	スケジュールされた配信の設定をテストします。

処理済みのドキュメント

[処理済みのドキュメント] タブには、API または UiPath.DocumentUnderstanding.Activities パッケージに含まれるアクティビティを使用して、選択したプロジェクトで処理されたドキュメントのリストが表示されます。API を使用してデジタル化以上の処理が行われたドキュメント、またはプロジェクトを参照しているアクティビティによって何らかの処理が行われたドキュメントは、ここに表示されます。次のメトリックを使用できます。

• ファイル名: 処理されたドキュメントの名前です。ドキュメント名を選択すると、[ドキュメントの詳細] ビューに移動します。
• ドキュメントの種類: 処理されたドキュメントの種類です。
• コンシューマー:
  • API: 選択したプロジェクトを使用して少なくとも 1 つのページをデジタル化したコンシューマーです。フィールド上でマウスをホバーすると、外部アプリケーションの設定時に設定した、コンシューマーを一意に識別するアプリ ID が表示されます。
  • RPA: 現在のプロジェクトを参照する Document Understanding アクティビティを 1 つ以上含むデスクトップ版の Studio または Studio Web プロジェクト。フィールド上にマウスをホバーすると、プロセス名が表示されます。
• 更新日: ドキュメントでの最後の操作が実行された日付です。
• 検証者: タスクを検証したユーザーのユーザー名です。当該ドキュメントに対して検証タスクが作成されていない場合、フィールドに [該当なし] と表示されます。
• AI ユニット: 消費された AI ユニットの数です。

処理済みドキュメントをファイル名で検索するには、検索バーを使用します。

注: ドキュメントは [処理済みのドキュメント] タブで 6 か月間利用できます。

ドキュメントの詳細

[処理済みのドキュメント] タブでファイル名を選択すると、[ドキュメントの詳細] ビューが表示されます。このビューには、次の情報が表示されます。

• メトリック:
  • 合計消費数: ドキュメントによって消費された AI ユニットの数です。
  • 作成日時: ドキュメントが作成された日付です。
  • 最終更新日: ドキュメントでの最後の操作が実行された日付です。
  • コンシューマー: RPA プロジェクトで作成したワークフローの名前です。
• 分類:
  • バージョン: 使用された分類モデルのバージョンです。
  • 検証前のドキュメントの種類: 分類器によって自動的に決定されたドキュメントの種類です。
  • 検証後のドキュメントの種類: 手動で変更した場合は、検証後のドキュメントの種類です。検証後にドキュメントの種類が変更されなかった場合、値は該当なしになります。
  • 信頼度: 分類器によって決定された信頼度スコアです。
• 抽出:
  • モデル: 使用された抽出モデルです。
  • バージョン: 使用された抽出モデルのバージョンです。
  • 抽出フィールド: ドキュメントの種類の各フィールドに関連する情報です。
    • 予測値: モデルによって予測された値です。
    • 抽出結果の信頼度: 抽出器によって決定される信頼度スコアです。
    • OCR の信頼度: OCR エンジンにより決定される信頼度スコア。
    • 検証後の値: 手動で変更した場合は、検証後の値です。検証後にドキュメントの種類が変更されていない場合、値は [該当なし] になります。
• 検証:
  • タスク名: 検証タスクの名前です。
  • タスクの種類: 検証タスクの種類です。考えられる値: 分類または抽出。
  • タスク カタログ名: 検証タスク カタログの名前です。
  • 担当者: 検証タスクの担当者です (ユーザーがまだ割り当てられていない場合は [未割り当て])。
  • 緊急度: 検証タスクの優先度レベルです。
  • タスクの作成日時: 検証タスクが作成された日付です。
  • タスクの完了日時: 検証タスクが作成された日付です。
  • 有効なフィールド: 人間参加型の検証後の検証済み (有効としてマークされた) フィールドの数です。
  • 変更されたフィールド: 人間参加型の検証後の変更されたフィールドの数です。
  • タスクの結果: タスクの結果です。