トレーニング可能な分割器 (プレビュー)

概要

トレーニング可能な分割器は、Helix Classifier モデルを使用して、複数ドキュメントのパケットを分割および分類します。この分割器は、ドキュメントの境界を自動的に検出し、検出された各サブドキュメントにドキュメントの種類を割り当てます。

このモデルは、欧州と米国のテナントでのみ利用できます。

使用すべきタイミング

トレーニング可能な分割器は、以下のシナリオで使用します。

• 住宅ローンの申請書類: ID、申請書、銀行預金残高証明書を含むパケットを分割します。
• 医療オンボーディング: 診断書、NPI フォーム、ID などの必要なドキュメントが揃っているかどうかを確認します。
• 保険金請求: 請求フォーム、医療記録、領収書を分離します。
• 請求書の処理: 複数のベンダーが含まれる請求書のパケットを処理します。
• ドキュメントのクリーンアップ: 関係がないページを削除し、関連するコンテンツのみが下流で処理されるようにします。

新しいプロジェクトを作成する

新しいプロジェクトを作成する際に、欧州と米国にあるテナントでは、新しい分割器および分類器モデルを有効化できます。このトレーニング可能なモデルは、複雑なドキュメントを分割および分類するようにトレーニングできるため、ドキュメント パケットを処理できます。

このページの手順に従って Document Understanding^TM プロジェクトを作成し、新しい分割器と分類器モデルを有効化します。

前提条件

開始する前に、次の条件が満たされていることを確認します。

• テナントが欧州または米国にある
• IntelligentOCR.Activities バージョン 6.27.0 以降がインストールされている
• Automation Cloud のテナントでモダン プロジェクトが有効化されている
• 運用環境のユース ケースを代表するサンプル ドキュメント パケットがある

1. Document Understanding を開きます。
2. [ プロジェクトを作成] を選択します。
3. 目的のプロジェクト名を入力します。
4. モダン エクスペリエンスを表す [モダン] を選択します。
5. 必要に応じて [詳細オプション] を設定します。
   1. [分割を有効化] トグルをオンにして、分類前にモデルがドキュメントを個別のファイルに分割できるようにします。このオプションは、[プロジェクトの設定] 画面からも有効化できます。
      重要: [分割を有効化] オプションをオフにすると、モデルは分類専用モードで実行されます。

      • 分割アノテーション インターフェイスは使用できません。
      • ドキュメントを手動で分割することはできません。
      • トレーニングの場合は、同じ種類の単一ページのドキュメントまたは複数ページのドキュメントをアップロードします。
      • その他のすべての機能に変更はありません。
      
      
      
      
      
   2. [OCR メソッド] ドロップダウン リストから OCR メソッドを選択します。
   3. [OCR API キー] に OCR API キーを入力します。
      注: UiPath® の OCR を選択した場合、このフィールドは自動的に設定されます。
   4. [OCR の URL] に OCR の URL を入力します。UiPath の OCR の URL の完全なリストについては、「パブリック エンドポイント」をご覧ください。
   5. [PDF に OCR を適用] で、PDF に OCR を適用するかどうかを選択します。既定値は [自動] です。
6. [作成] を選択します。
   
   
   
   

結果

プロジェクトが作成されます。[構築] セクションが利用可能になり、抽出または分類するドキュメントをアップロードできます。

利用可能な次の 2 つのオプションのいずれかを選択します。

• ドキュメントからデータを抽出: 請求書番号、日付、合計などの特定のフィールドをドキュメントから取得します。このオプションは、ドキュメントからフィールドを抽出する必要がある場合に使用します。
• ドキュメントを分類および分割: ドキュメントを種類別に並べ替え、1 つのファイル内で複数のドキュメントを区分します。このオプションは、ドキュメントを分割および分類する必要がある場合に使用します。

ドキュメントからデータを抽出する

1. ドキュメントの種類を選択します。
2. [アップロード] を選択するか、新しいドキュメントの種類内にファイルをドラッグ アンド ドロップします。アップロードが完了するまで待ちます。

ドキュメントを分類および分割

特定の複合ファイルには、複数のドキュメントの種類が含まれます。トレーニング可能な分割器は、各サブドキュメントの開始位置と終了位置を検出し、それに応じて各セクションを分類します。

1. [ドキュメントを分類および分割] を選択します。
2. ドキュメント パケットをアップロードします。アップロードと処理が完了するまで待ちます。
3. アップロード セクションからドキュメントを選択します。
4. [分割] を選択します。分割アノテーション インターフェイスが開きます。
   注: プロジェクトにトレーニング済みのモデルがすでにある場合は、そのモデルを使用して、アップロードされたドキュメントに事前にアノテーションが行われます。これにより、アノテーションが高速化され、新しいドキュメントの予測結果を確認できるようになります。
5. [新しいドキュメントの種類] を選択して、タクソノミー内の各項目に対してドキュメントの種類を作成します。定義済みのドキュメントの種類を選択するか、カスタムのドキュメントの種類を作成します。

   カスタムのドキュメントの種類の場合は、以下を指定します。

   • 名前: ドキュメントの種類の明確でわかりやすい名前です。
   • 説明: ドキュメントの目的、および似たような種類との違いを説明する 1 つから 3 つの文です。
   • 主要なインジケーター: このドキュメントの種類を一意に識別するコンマ区切りのフィールドまたは用語です。
   
   
   
   
   

   説明と主要なインジケーターは、モデルの精度に直接影響します。分類スコアが低い場合は、トレーニング データをさらに追加する前に、より詳しい説明に変更します。

   請求書のドキュメントの種類の場合の例:

   • 説明: 売り手が買い手に発行する正式な支払い要求であり、品目、数量、および合計金額が記載されています。
   • 主要なインジケーター: 請求書番号、請求日、合計金額、売り手の情報、買い手の情報、支払い条件。

   効果的な説明を記述するためのヒント:

   • ドキュメントの種類に固有の用語を含めます。
   • 2 つのドキュメントの種類が混同されることが多い場合は、特徴的な詳細情報を両方の説明に追加します。
6. 下流での処理に必要ないページは [不明] の種類に割り当てます。これには、表紙、空白のページ、区切り紙が含まれます。モデルは、実行時にこれらのページを「不明」として予測します。
7. ドキュメントの種類の間にある境界を選択して、各ドキュメントの開始位置と終了位置を指定します。
8. ドロップダウン メニューを使用して、各ページ範囲をドキュメントの種類に割り当てます。
9. ドキュメントのアノテーションが完了したら、[確認] を選択します。

結果

各サブドキュメントが [構築] セクション内の対応するドキュメントの種類の下に表示されます。各サブドキュメントには、割り当てられたドキュメントの種類のスキーマで事前アノテーションが行われています。

トレーニングのベスト プラクティス

事前に分割済みの個別のドキュメントではなく、分割されていない、元の運用ドキュメント パケットでトレーニングします。

モデルは、各ドキュメントの種類のコンテキスト (実際のパケット内でその前後に出現する内容) からドキュメントのバンドル パターンを学習します。事前に分割済みのドキュメントでトレーニングすると、このコンテキストが取り除かれ、分割の精度が低下します。

推奨されるアプローチ:

• 複数のドキュメントの種類を含む運用パケットをアップロードします。
• 運用環境で見られる順序とドキュメント数の範囲を代表するパケットを含めます。
• すべてのドキュメントの種類を網羅する、バランスの取れたデータセットを目指します。

注: 事前に分割済みのドキュメントでトレーニングしても実用的なモデルが生成されますが、元のパケットでトレーニングした場合よりも分割精度が低くなります。

モデルのトレーニング

モデルのトレーニングは、次の条件が両方とも満たされると自動的に開始されます。

• 少なくとも 5 つのサブドキュメントが作成され、アノテーションが行われた。
  注: たとえば、1 つの PDF を使用している場合、少なくとも 5 つのサブドキュメントが含まれている必要があります。PDF を 2 つ使用している場合は、一方に少なくとも 2 つのサブドキュメント、もう一方に少なくとも 3 つのサブドキュメントを含める必要があります。
• ドキュメントが確定された。

トレーニングのステータスは [分類] ペインの右上隅に表示されます。

トレーニング データの要件

要件	詳細
ドキュメントの種類の最小数	1
サンプルの最小合計数	すべてのドキュメントの種類を網羅する 5 つのドキュメント
種類あたりの最小サンプル数	1
信頼性の高い結果を得るために推奨される数	50 から 100 パケット
ドキュメントの最大サイズ	160 MB または 500 ページ
トレーニング/テスト分割	自動: トレーニング 80%、テスト 20%

トレーニング結果を改善する

パフォーマンスが不十分な場合は、以下のいずれかの方法を使用します。

1. パフォーマンスの低いドキュメントの種類の説明と主要なインジケーターを改良します。
2. 精度の低いドキュメントの種類にさらにトレーニング サンプルを追加します。

分割と分類の予測

新しいモデルをトレーニングすると、必ずプロジェクト内のすべてのドキュメントがトレーニング済みのモデルから予測を受け取ります。これにより、分類モデルのパフォーマンスを確認できます。

[種類] 列には、アノテーションが行われたドキュメントの種類であるグラウンド トゥルースが表示されます。[予測された種類] 列には、モデルによって予測された種類が表示されます。

既定では、ドキュメント パケットのみが表示されます。各パケット内のサブドキュメントを表示するには、[表示] を選択し、[サブ ドキュメントを含む] をオンにします。

[予測を表示] トグルを有効化すると、アノテーション インターフェイスで予測を利用することもできます。

メトリックを理解する

[評価] タブを選択して、モデルのパフォーマンスを確認します。

メトリック	評価項目	低い場合の対処方法
分割の F1	ドキュメントの境界の検出精度 (分類とは無関係)	より多様な境界の例を含むトレーニング データを追加する
分類の F1	ドキュメントの種類の割り当て精度 (境界とは無関係)	パフォーマンスの低いドキュメントの種類のトレーニング ページをさらに追加する
全体的な F1	合計スコア: 境界と種類の割り当てが両方とも正しい必要がある	分割と分類のどちらが低いかを特定し、まず低い方に対処する

サブドキュメントが正しいものとしてカウントされるのは、境界の検出と種類の割り当てが両方とも正しい場合だけです。

注: テスト セットに「不明」のページが多数含まれる、サイズの大きいドキュメントでは、スコアが過度に低くなる可能性があります。スコアが予想外に低い場合は、外れ値のドキュメントによってテスト セットに偏りが生じているどうかを確認します。

実行時にモデルを使用する

IntelligentOCR アクティビティ経由

IntelligentOCR パッケージの [Document Understanding プロジェクト分類器] アクティビティを使用します。プロジェクトで分割が有効化されている場合、このアクティビティは、検出されたサブドキュメントごとに 1 つずつ、複数の分類結果を返します。この結果を反復処理して、各サブドキュメントに対して検証または抽出を実行します。

Document Understanding アクティビティ経由

[ドキュメントを分類] アクティビティを使用します。

API 経由

classify エンドポイントを使用します。プロジェクトのバージョンで分割が有効化されている場合、このエンドポイントは、分割を実行して、識別されたサブドキュメントごとに分類結果を返します。

インポートおよびエクスポートする

トレーニング済みのモデルのデータセットをエクスポートする

プロジェクトのバージョンにトレーニング済みの分割器と分類器が含まれている場合、以下の 2 つのエクスポート オプションを使用できます。

• ドキュメントの種類のデータセットのエクスポート: 標準のエクスポートです。アノテーション済みデータをエクスポートします。
• 分割器と分類器のエクスポート: トレーニング済みのモデルを含むプロジェクト全体をエクスポートします。

[分割器と分類器のエクスポート] ドロップダウン リストには、トレーニング済みの分割器と分類器が含まれるプロジェクトのバージョンのみが表示されます。

新しいプロジェクトにインポートする

インポート オプションは、空の分類ページで利用できます。zip ファイルをインポートすると、ドキュメントがそのドキュメントの種類に割り当てられ、トレーニングが自動的にトリガーされます。

制限事項

• 欧州と米国にあるテナントでのみ利用可能です。
• アノテーション インターフェイスでページを並べ替えたり削除したりすることはできません。
• [監視] ページで分割情報を利用できません。
• 分割モデルと分類モデルの Action Center からの再トレーニングはサポートされません。