抽出器を再トレーニングする

検証ステーションで検証されたドキュメントを使用して、モデルのパフォーマンスをさらに向上させることができます。

以下のアクティビティを使用して、処理されたドキュメントを再トレーニングできます。

• UiPath.DocumentUnderstanding.Activities: このアクティビティ パッケージを使用して処理され、検証ステーションで検証されたすべてのドキュメントが自動的に収集され、再トレーニングに使用できます。
  注: 検証タスクが Document Understanding プロジェクトとは異なる環境にある場合、処理されたドキュメントは収集されず、再トレーニングに利用できません。
• UiPath.IntelligentOCR.Activities (バージョン 6.25.0-preview 以降): このアクティビティ パッケージを使用して処理されたドキュメントを再トレーニングするには、ワークフローで [Document Understanding プロジェクト抽出器トレーナー] アクティビティを使用します。これにより、再トレーニングのためにドキュメントを収集できます。

収集されたドキュメントが少なくとも 1 つある場合、[構築] セクション内で、対応するドキュメントの種類に対して [レビューの例外] ボタンが利用可能になります。

注: 収集されたドキュメントは、自動的にはトレーニング セットに含まれません。ドキュメントを確認し、モデルを再トレーニングするためにトレーニング セットに追加することを確定する必要があります。

レビューの例外

検証ステーションからのドキュメントを使用してモデルを微調整するには、以下の手順に従います。

注: 例外として収集されたドキュメントは 30 日間保存され、その後自動的に削除されます。

期間が 7 日を超える検証タスクでは、ドキュメントは収集されません。

1. [レビューの例外] ボタンを選択します。
   
   

   

   
   
2. 微調整の例外メニューから例外文書を確認します。
   各ドキュメントについて、次の情報を確認できます。

   • ファイル名: 例外を含むドキュメントのファイル名です。
   • ステータス: ドキュメントのステータスです。
   • ページ数: ドキュメントに含まれるページ数です。
   • プロジェクトのバージョン: ドキュメントを含むプロジェクトのバージョンです。
   • 処理日時: ドキュメントが処理された日付です。
   • 抽出されたフィールド数: 例外を含むドキュメントに対して抽出されたフィールドの数です。
   • 修正されたフィールド数: 検証手順中に変更されたフィールドの数です。
   • 検証者名: ドキュメントを検証したユーザーのユーザー名です。

   
   

   

   
   
3. 微調整に使用するドキュメントをリストから選択します。
   各ドキュメントについて、次の情報を確認できます。

   • 抽出されたすべてのフィールドが、モデルの信頼度とともに表示されます。信頼度の値が [該当なし] の場合は、そのフィールドが自動的には抽出されず、検証者によって手動で追加されたことを示します。
   • 修正されたフィールドには、抽出されたフィールドの名前の横に黄色の点が表示されます。
   • 修正されたすべてのフィールドについて、次の情報を確認できます。
     • 予測値: モデルによって予測された値です。
     • 修正後の値: 手動で変更した場合は、検証後の値です。検証後にドキュメントの種類が変更されていない場合、値は [該当なし] になります。
     • 参照: ドキュメント上で強調表示されている元の値です。このドキュメントを微調整に使用する場合、この値がアノテーションに使用されます。
   • 信頼度で並べ替えると、信頼度が低く修正されていないフィールドを簡単に確認できます。
   • 修正されたフィールドでフィルター処理すると、そのフィールドにのみ焦点を当てることができます。

   
   

   

   
   
4. このドキュメントにさらにアノテーションを行う場合は [アノテーションを行う] を選択します。このドキュメントを使用してモデルを再トレーニングする場合は、[微調整に使用] を選択します。
   • 微調整に使用:
     • ドキュメントがモデルの微調整に適した例であり、ドキュメント内のすべてのフィールドが正しく参照されている場合に選択します。
     • ドキュメントは、例外タグが付けられ、すべてのアノテーションが確認済みの状態でトレーニングにインポートされます。このドキュメントを使用して微調整が行われます。
   • アノテーションを行う:
     • ドキュメントはモデルの微調整に適した例であるものの、検証エラーがいくつかある場合に選択します。たとえば、ドキュメント内で一部のフィールドが正しく参照されておらず、さらに修正が必要である場合などです。
     • ドキュメントは、例外タグが付けられ、すべてのアノテーションが未確認の状態でトレーニングにインポートされます。ドキュメントを使用してモデルを微調整するには、[構築] セクションでアノテーションを確認する必要があります。
     • さらにドキュメントのアノテーションを行う場合、ドキュメントのアノテーションを行う方法について詳しくは、「ドキュメントのアノテーションを行う」をご覧ください。
   • 除外:
     • ドキュメントが適切な例ではないため、レビューの例外のリストから削除し、今後のレビュー セッションでレビューする必要がない場合に選択します。
     • ドキュメントのステータスを変更して、変更を元に戻すことができます。

   Figure 1. Selected document used for fine-tuning or annotation
   

   

   
   

微調整用のドキュメントをすべて選択すると、モデルは、検証ステーションからの新しいデータを使用して再トレーニングされます。

新しいプロジェクトのバージョンを作成し、[評価] セクションの [モデルを比較] 機能を使用して、モデルのパフォーマンスを比較できます。

Exporting and importing re-training candidates

Document Understanding allows you to export re-training candidates from one environment and import them into another.

Exporting re-training candidates

You can export re-training candidates directly from the Exceptions for review page by clicking the Export button.

Note: Click View exports to access the list of exported files.

Importing re-training candidates

Importing is done from the Exceptions for review page. Imported documents are displayed in a similar manner to documents automatically collected from Validation Station, with the status To review.

Imported documents are not added directly to the training dataset. You must review and confirm them before they can be included in a retraining dataset.