抽出器を再トレーニングする

検証ステーションで検証されたドキュメントを使用して、モデルのパフォーマンスをさらに向上させることができます。

The Exceptions for review button is now always visible for the corresponding document type within the Build section. If no documents have been collected, the button remains available and displays a count of 0.

注:

Collected documents are not automatically included in the training set. You need to review the documents and confirm their addition in the training set to retrain your model.

レビューが必要な例外

検証ステーションからのドキュメントを使用してモデルを微調整するには、以下の手順に従います。

注:

Documents collected for exceptions are stored for a period of 90, after which they are automatically deleted. Documents are not collected for validation tasks with a duration greater than 7 days.

1. Select the Exceptions for review button.

2. Check the exception documents from the Exceptions for fine-tuning menu.

   各ドキュメントについて、次の情報を確認できます。

   • File name: the file name of the document containing an exception.

   • Status: the status of the document.

   • Pages: the number of pages that the document contains.

   • Project version: the project version that contains the document.

   • Processed date: the date when the document was processed.

   • No of extracted fields: the number of extracted fields for the document containing an exception.

   • No of corrected fields: the number of modified fields during validation step.

   • Validator name: the username of the person who validated the document.

     注:

     The Exceptions for fine-tunning list may include documents imported from other Document Understanding projects or environments.

     

3. 微調整に使用するドキュメントをリストから選択します。

   各ドキュメントについて、次の情報を確認できます。

   • All extracted fields are displayed, along with their model confidence. If the confidence value is N/A, this indicates that the field was not automatically extracted and was instead manually added by the validator.

   • 修正されたフィールドには、抽出されたフィールドの名前の横に黄色の点が表示されます。

   • 修正されたすべてのフィールドについて、次の情報を確認できます。

     • Predicted value: the value predicted by the model.
     • Corrected value: if changed manually, the value after validation. If the document type was not changed after validation, the value will be N/A.
     • Reference: the original value that is highlighted on the document. This value is used for annotation if you decide to use the document for fine-tuning.

   • 信頼度で並べ替えると、信頼度が低く修正されていないフィールドを簡単に確認できます。

   • 修正されたフィールドでフィルター処理すると、そのフィールドにのみ焦点を当てることができます。

     

4. Choose Annotate if you want to further annotate this document or choose Use for fine-tuning if you want to use this document to retrain your model.

   • Use for fine-tuning:
     • ドキュメントがモデルの微調整に適した例であり、ドキュメント内のすべてのフィールドが正しく参照されている場合に選択します。
     • The document is imported in the training with the Exception tag and all annotations confirmed. The document will be used for fine-tuning.
   • Annotate:
     • ドキュメントはモデルの微調整に適した例であるものの、検証エラーがいくつかある場合に選択します。たとえば、ドキュメント内で一部のフィールドが正しく参照されておらず、さらに修正が必要である場合などです。
     • The document is imported in the training set with the Exception tag and all annotations unconfirmed. Annotations must be confirmed in the Build section in order for the document to be used to fine-tune the model.
     • If you choose to further annotate your document, check the Annotate documents page for more information on how to annotate documents.
   • Exclude:

     • ドキュメントが適切な例ではないため、レビューが必要な例外のリストから削除し、今後のレビュー セッションでレビューする必要がない場合に選択します。

     • ドキュメントのステータスを変更して、変更を元に戻すことができます。

       Figure 1. Selected document used for fine-tuning or annotation

       

微調整用のドキュメントをすべて選択すると、モデルは、検証ステーションからの新しいデータを使用して再トレーニングされます。

You can create a new project version and use the feature from the Measure section to compare the performance of your model.

[プレビュー] 再トレーニング候補者をエクスポートおよびインポートする

Document Understanding では、再トレーニングの候補をある環境からエクスポートして、別の環境にインポートできます。

この設定は、開発・テスト・運用の環境の構造を維持するシナリオで一般的に使用されます。このプロセスでは、開発環境の Document Understanding プロジェクトをテスト、UAT、または本番環境といった上位の環境にコピーして使用します。この構成では、再トレーニング用のドキュメントが運用プロジェクト内で収集されます。エクスポート/インポート機能を使用することで、ドキュメントを開発環境に戻し、モデルを再トレーニングできます。その後、更新された内容をテストや本番などの上位環境に反映します。

再トレーニング候補をエクスポートする

You can export retraining candidates directly from the Exceptions for review page by selecting the Export button. Select View exports to access the list of exported files.

レビュー プロセスの管理方法に応じて、収集したすべてのドキュメントをエクスポートするか、選択したサブセットだけをエクスポートするかを選択できます。以下の説明をご確認ください。

• 収集したすべてのドキュメントをエクスポートし、インポート後にモデルを再トレーニングする予定の環境で選別できます。
• 現在の環境でレビューを完了して、再トレーニングに使用する特定のドキュメントのみをエクスポートできます。

再トレーニング候補をインポートする

Importing is done from the Exceptions for review page. Imported documents are displayed in a similar manner to documents automatically collected from the Validation Station, with the To review status.

Imported documents are added as retraining candidates. For model fine-tuning, simply follow the same steps as for documents collected directly in a project. Remember to review and confirm the retraining candidates before adding them to the training set.