トレーニング可能な分割器 (プレビュー)

概要

トレーニング可能な分割器は、Helix Classifier モデルを使用して、複数ドキュメントのパケットを分割および分類します。この分割器は、ドキュメントの境界を自動的に検出し、検出された各サブドキュメントにドキュメントの種類を割り当てます。

このモデルは、欧州と米国のテナントでのみ利用できます。

重要:

この機能は、ベンダー管理のキーのみをサポートします。組織レベルで CMK が有効化されていても、顧客管理のキー (CMK) を使用してこの機能のデータを暗号化することはできません。

使用すべきタイミング

トレーニング可能な分割器は、以下のシナリオで使用します。

• 住宅ローンの申請書類: ID、申請書、銀行預金残高証明書を含むパケットを分割します。
• 医療オンボーディング: 診断書、NPI フォーム、ID などの必要なドキュメントが揃っているかどうかを確認します。
• 保険金請求: 請求フォーム、医療記録、領収書を分離します。
• 請求書の処理: 複数のベンダーが含まれる請求書のパケットを処理します。
• ドキュメントのクリーンアップ: 関係がないページを削除し、関連するコンテンツのみが下流で処理されるようにします。

新しいプロジェクトを作成する

新しいプロジェクトを作成する際に、欧州と米国にあるテナントでは、新しい分割器および分類器モデルを有効化できます。このトレーニング可能なモデルは、複雑なドキュメントを分割および分類するようにトレーニングできるため、ドキュメント パケットを処理できます。

このページの手順に従い、Document Understanding^TM プロジェクトを作成し、新しい分割器と分類器モデルを有効化します。

前提条件

開始する前に、次の条件が満たされていることを確認します。

• テナントが欧州または米国にある
• IntelligentOCR.Activities バージョン 6.27.0 以降がインストールされている
• Automation Cloud のテナントでモダン プロジェクトが有効化されている
• 運用環境のユース ケースを代表するサンプル ドキュメント パケットがある

1. Document Understanding を開きます。

2. [ プロジェクトを作成] を選択します。

3. 目的のプロジェクト名を入力します。

4. Automation Cloud および Test Cloud の場合は、[ モダン ] を選択してモダン エクスペリエンスを使用します。

5. [新しい分割器および分類器モデルを有効化] トグルをオンにします。

6. 必要に応じて [詳細オプション] を設定します。

   1. [ 分割を有効化 ] トグルをオンにして、分類前にモデルがドキュメントを個別のファイルに分割できるようにします。このオプションは [ プロジェクト設定 ] 画面から有効化することもできます。
      重要:

      [ 分割を有効化 ] オプションをオフにすると、モデルは分類のみモードで実行されます。

      • 分割アノテーション インターフェイスは使用できません。
      • ドキュメントを手動で分割することはできません。
      • トレーニングの場合は、同じ種類の単一ページのドキュメントまたは複数ページのドキュメントをアップロードします。
      • その他のすべての機能に変更はありません。
   2. [OCR メソッド] ドロップダウン リストから OCR メソッドを選択します。
   3. [OCR API キー] に OCR API キーを入力します。
      注:

      UiPath® の OCR を選択した場合、このフィールドには自動的に入力されます。

   4. [OCR の URL] を入力します。UiPath の OCR の URL の完全なリストについては、「 パブリック エンドポイント 」をご覧ください。
   5. PDF に OCR を適用するかどうかを選択します。既定値は [自動] です。

7. [作成] を選択します。

   

結果

プロジェクトが作成されます。[構築] セクションが利用可能になり、抽出または分類するドキュメントをアップロードできます。

利用可能な次の 2 つのオプションのいずれかを選択します。

• ドキュメントからデータを抽出: 請求書番号、日付、合計などの特定のフィールドをドキュメントから取得します。このオプションは、ドキュメントからフィールドを抽出する必要がある場合に使用します。
• ドキュメントを分類および分割: ドキュメントを種類別に並べ替え、1 つのファイル内で複数のドキュメントを区分します。このオプションは、ドキュメントを分割および分類する必要がある場合に使用します。

ドキュメントからデータを抽出する

1. ドキュメントの種類を選択します。
2. [ アップロード ] を選択するか、新しいドキュメントの種類内にファイルをドラッグ アンド ドロップします。アップロードが完了するまで待ちます。

ドキュメントを分類および分割

特定の複合ファイルには、複数のドキュメントの種類が含まれます。トレーニング可能な分割器は、各サブドキュメントの開始位置と終了位置を検出し、それに応じて各セクションを分類します。

1. [ドキュメントを分類および分割] を選択します。
2. ドキュメント パケットをアップロードします。アップロードと処理が完了するまで待ちます。
3. アップロード セクションからドキュメントを選択します。
4. [ 分割] を選択します。分割アノテーションのインターフェースが開きます。
   注:

   プロジェクトにトレーニング済みのモデルがすでにある場合は、アップロードされたドキュメントにそのモデルを使用して事前アノテーションが行われます。これにより、アノテーションが迅速化され、新しいドキュメントの予測結果を確認できます。

5. [新しいドキュメントの種類] を選択して、タクソノミー内の各項目に対してドキュメントの種類を作成します。定義済みのドキュメントの種類を選択するか、カスタムのドキュメントの種類を作成します。 カスタムのドキュメントの種類の場合は、以下を指定します。
   • 名前: ドキュメントの種類の明確でわかりやすい名前です。
   • 説明: ドキュメントの目的、および似たような種類との違いを説明する 1 つから 3 つの文です。
   • 主な指標: このドキュメントの種類を一意に識別するコンマ区切りのフィールドまたは用語。説明と主要インジケーターは、モデルの精度に直接影響します。分類スコアが低い場合は、説明を改良してからトレーニング データを追加します。ドキュメントの種類が請求書の場合の例:
   • 説明: 売り手が買い手に発行する正式な支払い要求であり、品目、数量、および合計金額が記載されています。
   • 重要な指標: 請求書番号、請求日、合計金額、販売者情報、購入者情報、支払い条件効果的な説明を書くためのヒント:
   • ドキュメントの種類に固有の用語を含めます。
   • 2 つのドキュメントの種類が混同されることが多い場合は、特徴的な詳細情報を両方の説明に追加します。
6. 下流での処理に必要ないページは [不明] の種類に割り当てます。これには、表紙、空白のページ、区切り紙が含まれます。モデルは、実行時にこれらのページを「不明」として予測します。
7. ドキュメントの種類の間にある境界を選択して、各ドキュメントの開始位置と終了位置を指定します。
8. ドロップダウン メニューを使用して、各ページ範囲をドキュメントの種類に割り当てます。
9. ドキュメントのアノテーションが完了したら、[確認] を選択します。

結果

各サブドキュメントが [構築] セクション内の対応するドキュメントの種類の下に表示されます。各サブドキュメントには、割り当てられたドキュメントの種類のスキーマで事前アノテーションが行われています。

トレーニングのベスト プラクティス

事前に分割済みの個別のドキュメントではなく、分割されていない、元の運用ドキュメント パケットでトレーニングします。

モデルは、各ドキュメントの種類のコンテキスト (実際のパケット内でその前後に出現する内容) からドキュメントのバンドル パターンを学習します。事前に分割済みのドキュメントでトレーニングすると、このコンテキストが取り除かれ、分割の精度が低下します。

推奨されるアプローチ:

• 複数のドキュメントの種類を含む運用パケットをアップロードします。
• 運用環境で見られる順序とドキュメント数の範囲を代表するパケットを含めます。
• すべてのドキュメントの種類を網羅する、バランスの取れたデータセットを目指します。
  注:

  分割前のドキュメントでトレーニングすると、動作するモデルが生成されますが、分割の精度は元のパケットでトレーニングする場合よりも低くなります。

モデルのトレーニング

モデルのトレーニングを手動で開始するには、[分類] ペインの右上隅に表示される [モデルのトレーニング] ステータス ピルの [トレーニングを開始] ボタンを使用します。トレーニングは自動的には開始されません。

ボタンは、次の両方の条件が満たされると有効になります。

• 少なくとも 5 つのサブドキュメントが作成され、アノテーションが行われた。
  注:

  たとえば、1 つの PDF を使用する場合は、少なくとも 5 つのサブドキュメントが含まれている必要があります。PDF を 2 つ使用する場合、一方には少なくとも 2 つのサブドキュメントが含まれ、もう一方には少なくとも 3 つのサブドキュメントが含まれる必要があります。

• ドキュメントが確定された。

しきい値に達したら、[ トレーニングを開始 ] を選択して実行をキューに登録します。ステータス ピルは、[ キューに登録済み]、[トレーニング中]、[トレーニング中] と遷移し 、スコア、 最後のトレーニングの日付、期間、ベース モデルのバージョンが表示されます。トレーニングに失敗した場合、ピルにはエラーと 再試行 アクションが表示されます。

ボタンの状態、変更カウンター、トレーニング ライフサイクル全体について詳しくは、「 トレーニングの実行を開始する」をご覧ください。

トレーニング データの要件

要件	詳細
ドキュメントの種類の最小数	1
サンプルの最小合計数	すべてのドキュメントの種類を網羅する 5 つのドキュメント
種類あたりの最小サンプル数	1
信頼性の高い結果を得るために推奨される数	50 から 100 パケット
ドキュメントの最大サイズ	160 MB または 500 ページ
トレーニング/テスト分割	自動: トレーニング 80%、テスト 20%

トレーニング結果を改善する

パフォーマンスが不十分な場合は、以下のいずれかの方法を使用します。

1. パフォーマンスの低いドキュメントの種類の説明と主要なインジケーターを改良します。
2. 精度の低いドキュメントの種類にさらにトレーニング サンプルを追加します。

分割と分類の予測

新しいモデルをトレーニングすると、必ずプロジェクト内のすべてのドキュメントがトレーニング済みのモデルから予測を受け取ります。これにより、分類モデルのパフォーマンスを確認できます。

[タイプ] 列には、グラウンド トゥルース (アノテーション済みのドキュメントの種類) が表示されます。[予測された型] 列には、モデルによって予測された型が表示されます。

既定では、ドキュメント パケットのみが表示されます。各パケット内のサブドキュメントを表示するには、[表示] を選択し、[サブ ドキュメントを含む] をオンにします。

[予測を表示] トグルを有効化すると、アノテーション インターフェイスで予測を利用することもできます。

メトリックを理解する

[評価] タブを選択して、モデルのパフォーマンスを確認します。

メトリック	評価項目	低い場合の対処方法
分割	ドキュメントの境界の検出精度 (分類とは無関係)	より多様な境界の例を含むトレーニング データを追加する
分類	ドキュメントの種類の割り当て精度 (境界とは無関係)	パフォーマンスの低いドキュメントの種類のトレーニング ページをさらに追加する
全般	合計スコア: 境界と種類の割り当てが両方とも正しい必要がある	分割と分類のどちらが低いかを特定し、まず低い方に対処する

サブドキュメントが正しいものとしてカウントされるのは、境界の検出と種類の割り当てが両方とも正しい場合だけです。

分割

How well the model detects document boundaries, where one document ends and the next begins within a file. Shown as an F1 score at the page level, measured independently of classification so it reflects split quality alone.

Interpret the score as follows:

• High score: A higher score is better.
• Low score: The model likely detects document transitions into that type that it did not encounter in training. Add more examples that include those transitions.
• N/A: There are not enough relevant transitions in the evaluation set to compute a splitting score for this type.

分類

How well the model assigns the correct type to each page, measured independently of splitting. Shown as an F1 score at the page level.

Interpret the score as follows:

• High score: A higher score is better.
• Low score: Add more examples of that type so the model covers more layout and content variations.

全般

The combined measure of how well the model both splits and classifies this document type. It reflects end-to-end quality, so it fails if either splitting or classification is weak. A higher score is better.

注:

テスト セットに不明なページが多数含まれる大きなドキュメントでは、スコアが不均衡に低下する可能性があります。スコアが予想外に低い場合は、外れ値のドキュメントがテスト セットを歪めているかどうかを確認します。

実行時にモデルを使用する

IntelligentOCR アクティビティ経由

IntelligentOCR パッケージの [Document Understanding プロジェクト分類器] アクティビティを使用します。プロジェクトで分割が有効化されている場合、このアクティビティは、検出されたサブドキュメントごとに 1 つずつ、複数の分類結果を返します。この結果を反復処理して、各サブドキュメントに対して検証または抽出を実行します。

Document Understanding アクティビティ経由

[ドキュメントを分類] アクティビティを使用します。

API 経由

classify エンドポイントを使用します。プロジェクトのバージョンで分割が有効化されている場合、このエンドポイントは、分割を実行して、識別されたサブドキュメントごとに分類結果を返します。

インポートおよびエクスポートする

トレーニング済みのモデルのデータセットをエクスポートする

プロジェクトのバージョンにトレーニング済みの分割器と分類器が含まれている場合、以下の 2 つのエクスポート オプションを使用できます。

• ドキュメントの種類のデータセットのエクスポート: 標準のエクスポートです。アノテーション済みデータをエクスポートします。
• 分割器と分類器のエクスポート: トレーニング済みのモデルを含むプロジェクト全体をエクスポートします。

[分割器と分類器のエクスポート] ドロップダウン リストには、トレーニング済みの分割器と分類器が含まれるプロジェクトのバージョンのみが表示されます。

新しいプロジェクトにインポートする

インポート オプションは、空の分類ページで利用できます。zip ファイルをインポートすると、ドキュメントがそのドキュメントの種類に割り当てられ、トレーニングが自動的にトリガーされます。

制限事項

• 欧州と米国にあるテナントでのみ利用可能です。
• アノテーション インターフェイスでページを並べ替えたり削除したりすることはできません。
• [監視] ページで分割情報を利用できません。
• 分割モデルと分類モデルの Action Center からの再トレーニングはサポートされません。