トレーニング可能な分割器 (プレビュー)

概要

トレーニング可能な分割器は、Helix Classifier モデルを使用して、複数ドキュメントのパケットを分割および分類します。ドキュメントの境界を自動的に検出し、検出された各サブドキュメントにドキュメントの種類を割り当てます。

このモデルは、欧州と米国のテナントでのみ利用できます。

使用すべきタイミング

トレーニング可能な分割器を使用するシナリオは次のとおりです。

• 住宅ローンの申請書類: ID、申請書、銀行預金残高証明書を含むパケットを分割します。
• 医療オンボーディング: 診断書、NPI フォーム、ID などの必要書類が揃っているかどうかを確認します。
• 保険金請求: 請求フォーム、医療記録、領収書を分離します。
• 請求書の処理: 複数のベンダーが含まれる請求書パケットを処理します。
• ドキュメントのクリーンアップ: 関係のないページを削除し、関連するコンテンツのみが下流で処理されるようにします。

新しいプロジェクトを作成する

新しいプロジェクトを作成する際に、欧州と米国にあるテナントでは、新しい分割器および分類器モデルを有効化できます。このトレーニング可能なモデルは、複雑なドキュメントを分割および分類するようにトレーニングできるため、ドキュメント パケットを処理できます。

このページの手順に従って Document Understanding^TM プロジェクトを作成し、新しい分割器と分類器モデルを有効化します。

前提条件

開始する前に、次の条件が満たされていることを確認します。

• テナントが欧州または米国にある
• IntelligentOCR.Activities バージョン 6.27.0 以降がインストールされている
• Automation Cloud テナントでモダン プロジェクトが有効化されている
• 運用環境のユース ケースを代表するサンプル ドキュメント パケットがある

1. Document Understanding を開きます。
2. [ プロジェクトを作成] を選択します。
3. 目的のプロジェクト名を入力します。
4. モダン エクスペリエンスを表す [モダン] を選択します。
5. 必要に応じて [詳細オプション] を設定します。
   1. [分割を有効化] トグルをオンにして、分類前にモデルがドキュメントを個別のファイルに分割できるようにします。このオプションは、[プロジェクト設定] 画面からも有効化できます。
      重要: [分割を有効化] オプションをオフにすると、モデルは分類専用モードで実行されます。

      • 分割アノテーション インターフェイスは使用できません。
      • ドキュメントを手動で分割することはできません。
      • トレーニングの場合は、同じ種類の単一ページのドキュメントまたは複数ページのドキュメントをアップロードします。
      • その他のすべての機能に変更はありません。
      
      
      
      
      
   2. [OCR メソッド] ドロップダウン リストから OCR メソッドを選択します。
   3. [OCR API キー] に入力します。
      注: UiPath® の OCR を選択した場合、このフィールドは自動的に設定されます。
   4. [OCR の URL] を入力します。UiPath の OCR の URL の完全なリストについては、「 パブリック エンドポイント 」をご覧ください。
   5. [PDF に OCR を適用] で、PDF に OCR を適用するかどうかを選択します。既定値は [自動] です。
6. [作成] を選択します。
   
   
   
   

結果

プロジェクトが作成されます。[構築] セクションが利用可能になり、抽出または分類用のドキュメントをアップロードできます。

利用可能な次の 2 つのオプションのいずれかを選択します。

• ドキュメントからデータを抽出: 請求書番号、日付、合計数などの特定のフィールドをドキュメントから取得します。このオプションは、ドキュメントからフィールドを抽出する必要がある場合に使用します。
• ドキュメントを分類および分割: ドキュメントを種類別に並べ替え、1 つのファイル内で複数のドキュメントを区分します。このオプションは、ドキュメントを分割および分類する必要がある場合に使用します。

ドキュメントからデータを抽出する

1. ドキュメントの種類を選択します。
2. [アップロード] を選択するか、新しいドキュメントの種類内にファイルをドラッグ アンド ドロップします。アップロードが完了するまで待ちます。

ドキュメントを分類および分割

特定の複合ファイルには、複数のドキュメントの種類が含まれます。トレーニング可能な分割器は、各サブドキュメントの開始位置と終了位置を検出し、それに応じて各セクションを分類します。

1. [ドキュメントを分類および分割] を選択します。
2. ドキュメント パケットをアップロードします。アップロードと処理が完了するまで待ちます。
3. アップロード セクションからドキュメントを選択します。
4. [分割] を選択します。分割アノテーション インターフェイスが開きます。
   注: プロジェクトにトレーニング済みのモデルがすでにある場合は、そのモデルを使用して、アップロードされたドキュメントに事前にアノテーションが行われます。これにより、アノテーションが高速化され、新しいドキュメントの予測結果を確認できるようになります。
5. [新しいドキュメントの種類] を選択して、タクソノミー内の各項目に対してドキュメントの種類を作成します。定義済みのドキュメントの種類を選択するか、カスタムのドキュメントの種類を作成します。

   カスタムのドキュメントの種類の場合は、以下を指定します。

   • 名前: ドキュメントの種類の明確でわかりやすい名前です。
   • 説明: ドキュメントの目的、および類似する種類との違いを説明する 1 つから 3 つの文です。
   • 主要なインジケーター: このドキュメントの種類を一意に識別するコンマ区切りのフィールドまたは用語です。
   
   
   
   
   

   説明と主要なインジケーターは、モデルの精度に直接影響します。分類スコアが低い場合は、トレーニング データを追加する前に説明を改良します。

   請求書のドキュメントの種類の場合の例:

   • 説明: 売り手が買い手に発行する正式な支払い要求であり、品目、数量、および合計金額が記載されています。
   • 主要なインジケーター: 請求書番号、請求日、合計金額、売り手の情報、買い手の情報、支払い条件。

   効果的な説明を記述するためのヒント:

   • ドキュメントの種類に固有の用語を含めます。
   • 2 つのドキュメントの種類が頻繁に混同される場合は、特徴的な詳細を両方の説明に追加します。
6. 下流での処理に必要ないページは [不明] の種類に割り当てます。これには、表紙、空白のページ、区切り紙が含まれます。モデルは、実行時にこれらのページを [不明] として予測します。
7. ドキュメントの種類の間の境界を選択して、各ドキュメントの開始位置と終了位置を指定します。
8. ドロップダウン メニューを使用して、各ページ範囲をドキュメントの種類に割り当てます。
9. ドキュメントのアノテーションが完了したら、[確認] を選択します。

結果

各サブドキュメントは [構築] セクション内の対応するドキュメントの種類の下に表示されます。各サブドキュメントには、割り当てられたドキュメントの種類のスキーマで事前アノテーションが行われます。

トレーニングのベスト プラクティス

事前に分割済みの個別のドキュメントでトレーニングするのではなく、分割されていない元の運用ドキュメント パケットでトレーニングします。

モデルは、各ドキュメントの種類のコンテキスト (実際のパケットで前後に出現する内容) からドキュメントのバンドル パターンを学習します。以前に分割済みのドキュメントでトレーニングすると、このコンテキストが取り除かれ、分割の精度が低下します。

推奨されるアプローチ:

• 複数のドキュメントの種類を含む運用パケットをアップロードします。
• 運用環境で見られる順序とドキュメント数の範囲を代表するパケットを含めます。
• すべてのドキュメントの種類を網羅するバランスの取れたデータセットを目指します。

注: 事前に分割済みのドキュメントでトレーニングしても、動作するモデルは生成されますが、分割の精度は元のパケットでトレーニングした場合よりも低くなります。

モデルのトレーニング

モデルのトレーニングは、次の条件が両方とも満たされると自動的に開始されます。

• 少なくとも 5 つのサブドキュメントが作成され、アノテーションが行われた。
  注: たとえば、1 つの PDF を使用している場合、少なくとも 5 つのサブドキュメントが含まれている必要があります。PDF を 2 つ使用している場合は、一方に少なくとも 2 つのサブドキュメント、もう一方に少なくとも 3 つのサブドキュメントを含める必要があります。
• ドキュメントが確定された。

トレーニングのステータスは [分類] ペインの右上隅に表示されます。

トレーニング データの要件

要件	詳細
ドキュメントの種類の最小数	1
サンプルの合計最小数	すべてのドキュメントの種類を網羅する 5 つのドキュメント
種類あたりの最小サンプル数	1
信頼性の高い結果を得るために推奨される数	50 から 100 パケット
ドキュメントの最大サイズ	160 MB または 500 ページ
トレーニング/テストの分割割合	自動: トレーニング 80%、テスト 20%

トレーニング結果を改善する

パフォーマンスが不十分な場合は、次のいずれかの方法を使用します。

1. パフォーマンスの低いドキュメントの種類の説明と主要なインジケーターを改良します。
2. 精度の低いドキュメントの種類にさらにトレーニング サンプルを追加します。

分割と分類の予測

新しいモデルをトレーニングすると、必ずプロジェクト内のすべてのドキュメントがトレーニング済みのモデルから予測を受け取ります。これにより、分類モデルのパフォーマンスを確認できます。

[種類] 列には、アノテーションが行われたドキュメントの種類であるグラウンド トゥルースが表示されます。[予測された種類] 列には、モデルによって予測された種類が表示されます。

デフォルトでは、ドキュメント パケットのみが表示されます。各パケット内のサブドキュメントを表示するには、[ 表示 ] を選択し、[ サブドキュメントを含める] をオンにします。

アノテーション インターフェイスで [予測を表示 ] トグルを有効化すると、予測を使用することもできます。

メトリックを理解する

[ 評価 ] タブを選択して、モデルのパフォーマンスを確認します。

メトリック	測定内容	低い場合の対処方法
F1 の分割	分類に依存しないドキュメント境界検出の精度	より多様な境界の例を含むトレーニング データを追加する
分類F1	境界に依存しないドキュメントの種類の割り当ての精度	パフォーマンスの低いドキュメントの種類に関するトレーニング ページを追加する
F1総合	スコアの合計: 境界と型の割り当ての両方が正しい必要があります	分割と分類のどちらが低いかを特定し、最初にそれに対処します

サブドキュメントは、境界検出とタイプ割り当ての両方が正しい場合にのみ正しいものとしてカウントされます。

注: テスト セットに不明なページが多数含まれる大きなドキュメントでは、スコアが不均衡に低下する可能性があります。スコアが予想外に低い場合は、外れ値のドキュメントがテスト セットを歪めているかどうかを確認します。

実行時にモデルを使用する

IntelligentOCR アクティビティ経由

IntelligentOCR パッケージの [ Document Understanding プロジェクト分類器 ] アクティビティを使用します。プロジェクトで分割が有効化されている場合、アクティビティは複数の分類結果 (検出されたサブドキュメントごとに 1 つ) を返します。結果を反復処理して、各サブドキュメントに対して検証または抽出を実行します。

Document Understanding アクティビティ経由

[ ドキュメントを分類 ] アクティビティを使用します。

API 経由

classify エンドポイントを使用します。プロジェクトのバージョンで分割が有効化されている場合、エンドポイントは分割を実行し、識別された各サブドキュメントの分類結果を返します。

インポートおよびエクスポートする

トレーニング済みのモデル データセットをエクスポートする

プロジェクトのバージョンにトレーニング済みの分割分類器が含まれている場合、次の 2 つのエクスポート オプションを使用できます。

• ドキュメントの種類のデータセットのエクスポート: アノテーション済みデータの標準エクスポート。
• 分割器と分類器のエクスポート: トレーニング済みのモデルを含むプロジェクト全体のエクスポート

[ 分割器と分類器のエクスポート ] ドロップダウン リストには、トレーニング済みの分割分類器があるプロジェクトのバージョンのみが表示されます。

新しいプロジェクトにインポートする

インポート オプションは、空の分類のページで使用できます。zip ファイルをインポートすると、ドキュメントがそのドキュメントの種類に割り当てられ、トレーニングが自動的にトリガーされます。

制限事項

• 欧州と米国にあるテナントでのみ利用可能です。
• アノテーションインターフェイスでは、ページを並べ替えたり削除したりすることはできません。
• 分割情報は [監視] ページでは使用できません。
• 分割モデルと分類モデルでは、Action Center からの再トレーニングはサポートされていません。