抽出器を再トレーニングする

検証ステーションで検証されたドキュメントを使用して、モデルのパフォーマンスをさらに向上させることができます。

以下のアクティビティを使用して、処理されたドキュメントを再トレーニングできます。

• UiPath.DocumentUnderstanding.Activities: このアクティビティ パッケージを使用して処理され、検証ステーションで検証されたすべてのドキュメントが自動的に収集され、再トレーニングに使用できます。
• UiPath.IntelligentOCR.Activities (バージョン 6.25.0-preview 以降): このアクティビティ パッケージを使用して処理されたドキュメントを再トレーニングするには、ワークフローで [Document Understanding プロジェクト抽出器トレーナー] アクティビティを使用します。これにより、再トレーニングのためにドキュメントを収集できます。

The Exceptions for review button is now always visible for the corresponding document type within the Build section. If no documents have been collected, the button remains available and displays a count of 0.

注: 収集されたドキュメントは、自動的にはトレーニング セットに含まれません。ドキュメントを確認し、モデルを再トレーニングするためにトレーニング セットに追加することを確定する必要があります。

レビューが必要な例外

検証ステーションからのドキュメントを使用してモデルを微調整するには、以下の手順に従います。

Note: Documents collected for exceptions are stored for a period of 90, after which they are automatically deleted.

期間が 7 日を超える検証タスクでは、ドキュメントは収集されません。

1. [レビューが必要な例外] ボタンを選択します。
2. 微調整の例外メニューから例外文書を確認します。
   各ドキュメントについて、次の情報を確認できます。

   • ファイル名: 例外を含むドキュメントのファイル名です。
   • ステータス: ドキュメントのステータスです。
   • ページ数: ドキュメントに含まれるページ数です。
   • プロジェクトのバージョン: ドキュメントを含むプロジェクトのバージョンです。
   • 処理日時: ドキュメントが処理された日付です。
   • 抽出されたフィールド数: 例外を含むドキュメントに対して抽出されたフィールドの数です。
   • 修正されたフィールド数: 検証手順中に変更されたフィールドの数です。
   • 検証者名: ドキュメントを検証したユーザーのユーザー名です。

   Note: The Exceptions for fine-tunning list may include documents imported from other Document Understanding projects or environments.

   
   

   

   
   
3. 微調整に使用するドキュメントをリストから選択します。
   各ドキュメントについて、次の情報を確認できます。

   • 抽出されたすべてのフィールドが、モデルの信頼度とともに表示されます。信頼度の値が [該当なし] の場合は、そのフィールドが自動的には抽出されず、検証者によって手動で追加されたことを示します。
   • 修正されたフィールドには、抽出されたフィールドの名前の横に黄色の点が表示されます。
   • 修正されたすべてのフィールドについて、次の情報を確認できます。
     • 予測値: モデルによって予測された値です。
     • 修正後の値: 手動で変更した場合は、検証後の値です。検証後にドキュメントの種類が変更されていない場合、値は [該当なし] になります。
     • 参照: ドキュメント上で強調表示されている元の値です。このドキュメントを微調整に使用する場合、この値がアノテーションに使用されます。
   • 信頼度で並べ替えると、信頼度が低く修正されていないフィールドを簡単に確認できます。
   • 修正されたフィールドでフィルター処理すると、そのフィールドにのみ焦点を当てることができます。

   
   

   

   
   
4. このドキュメントにさらにアノテーションを行う場合は [アノテーションを行う] を選択します。このドキュメントを使用してモデルを再トレーニングする場合は、[微調整に使用] を選択します。
   • 微調整に使用:
     • ドキュメントがモデルの微調整に適した例であり、ドキュメント内のすべてのフィールドが正しく参照されている場合に選択します。
     • ドキュメントは、例外タグが付けられ、すべてのアノテーションが確認済みの状態でトレーニングにインポートされます。このドキュメントを使用して微調整が行われます。
   • アノテーションを行う:
     • ドキュメントはモデルの微調整に適した例であるものの、検証エラーがいくつかある場合に選択します。たとえば、ドキュメント内で一部のフィールドが正しく参照されておらず、さらに修正が必要である場合などです。
     • ドキュメントは、例外タグが付けられ、すべてのアノテーションが未確認の状態でトレーニングにインポートされます。ドキュメントを使用してモデルを微調整するには、[構築] セクションでアノテーションを確認する必要があります。
     • さらにドキュメントのアノテーションを行う場合、ドキュメントのアノテーションを行う方法について詳しくは、「ドキュメントのアノテーションを行う」をご覧ください。
   • 除外:
     • ドキュメントが適切な例ではないため、レビューが必要な例外のリストから削除し、今後のレビュー セッションでレビューする必要がない場合に選択します。
     • ドキュメントのステータスを変更して、変更を元に戻すことができます。

   図 1. 微調整またはアノテーションに使用する、選択したドキュメント
   

   

   
   

微調整用のドキュメントをすべて選択すると、モデルは、検証ステーションからの新しいデータを使用して再トレーニングされます。

新しいプロジェクトのバージョンを作成し、[評価] セクションの [モデルを比較] 機能を使用して、モデルのパフォーマンスを比較できます。

[Preview] Exporting and importing retraining candidates

Document Understanding allows you to export retraining candidates from one environment and import them into another.

This setup is commonly used in scenarios where you maintain a development–test–production environment structure, and your process involves creating a copy of the development Document Understanding project in higher environments, such as test, UAT, or production. In this arrangement, retraining documents are gathered within the production project, and the export–import feature allows you to bring the documents back into the development environment for model retraining, before promoting the updates back to the higher environments.

Exporting retraining candidates

You can export retraining candidates directly from the Exceptions for review page by selecting the Export button. Select View exports to access the list of exported files.

You may choose to export all collected documents or only a selected subset, depending on how you prefer to manage the review process, as explained in the following examples:

• You can export all collected documents and triage them in the environment where you plan to import them and retrain the model.
• You can complete the review in the current environment and export only the specific documents you want to use for retraining.

Importing retraining candidates

Importing is done from the Exceptions for review page. Imported documents are displayed in a similar manner to documents automatically collected from the Validation Station, with the To review status.

Imported documents are added as retraining candidates. For model fine-tuning, simply follow the same steps as for documents collected directly in a project. Remember to review and confirm the retraining candidates before adding them to the training set.