Réentraînement d’extracteurs

Vous pouvez utiliser des documents qui ont été validés dans la Station de validation pour améliorer encore les performances de vos modèles.

The Exceptions for review button is now always visible for the corresponding document type within the Build section. If no documents have been collected, the button remains available and displays a count of 0.

Remarque :

Collected documents are not automatically included in the training set. You need to review the documents and confirm their addition in the training set to retrain your model.

Exceptions pour révision

Suivez les étapes de cette procédure pour affiner votre modèle à l’aide de documents de la Station de validation.

Remarque :

Documents collected for exceptions are stored for a period of 90, after which they are automatically deleted. Documents are not collected for validation tasks with a duration greater than 7 days.

1. Select the Exceptions for review button.

2. Check the exception documents from the Exceptions for fine-tuning menu.

   Les informations suivantes sont disponibles pour chaque document :

   • File name: the file name of the document containing an exception.

   • Status: the status of the document.

   • Pages: the number of pages that the document contains.

   • Project version: the project version that contains the document.

   • Processed date: the date when the document was processed.

   • No of extracted fields: the number of extracted fields for the document containing an exception.

   • No of corrected fields: the number of modified fields during validation step.

   • Validator name: the username of the person who validated the document.

     Remarque :

     The Exceptions for fine-tunning list may include documents imported from other Document Understanding projects or environments.

     

3. Dans la liste, sélectionnez le document que vous souhaitez utiliser pour le réglage.

   Les informations suivantes sont disponibles pour chaque document :

   • All extracted fields are displayed, along with their model confidence. If the confidence value is N/A, this indicates that the field was not automatically extracted and was instead manually added by the validator.

   • Les champs corrigés sont indiqués par un point jaune en regard du nom du champ extrait.

   • Les informations suivantes sont disponibles pour tous les champs corrigés :

     • Predicted value: the value predicted by the model.
     • Corrected value: if changed manually, the value after validation. If the document type was not changed after validation, the value will be N/A.
     • Reference: the original value that is highlighted on the document. This value is used for annotation if you decide to use the document for fine-tuning.

   • Choisissez le tri par niveaux de confiance pour vérifier les champs avec des valeurs de confiance faibles sans avoir à apporter de corrections.

   • Filtrez par champs corrigés pour vous concentrer uniquement sur eux.

     

4. Choose Annotate if you want to further annotate this document or choose Use for fine-tuning if you want to use this document to retrain your model.

   • Use for fine-tuning:
     • Choisissez cette option lorsque le document est un bon exemple de réglage du modèle et que tous les champs sont correctement mentionnés dans le document.
     • The document is imported in the training with the Exception tag and all annotations confirmed. The document will be used for fine-tuning.
   • Annotate:
     • Choisissez cette option si le document est un bon exemple pour l'ajustement du modèle, mais que certaines erreurs de validation existent, par exemple tous les champs ne sont pas correctement référencés dans le document et d'autres corrections sont nécessaires.
     • The document is imported in the training set with the Exception tag and all annotations unconfirmed. Annotations must be confirmed in the Build section in order for the document to be used to fine-tune the model.
     • If you choose to further annotate your document, check the Annotate documents page for more information on how to annotate documents.
   • Exclude:

     • Choisissez cette option lorsque le document n’est pas un bon exemple et que vous souhaitez le supprimer de la liste des exceptions pour la révision et que vous n’avez pas besoin de l’examiner lors des futures sessions de révision.

     • Vous pouvez modifier le statut du document pour rétablir les modifications.

       Figure 1. Selected document used for fine-tuning or annotation

       

Une fois que vous avez sélectionné tous vos documents pour le réglage, votre modèle est réentraîné à l’aide des nouvelles données de la Station de validation.

You can create a new project version and use the feature from the Measure section to compare the performance of your model.

[Aperçu] Exportation et importation de candidats à la réentraînement

Document Understanding vous permet d'exporter les candidats à la réentraînement depuis un environnement et de les importer dans un autre.

Cette configuration est couramment utilisée dans les scénarios où vous maintenez une structure d'environnement de développement-test-production et votre processus implique la création d'une copie du projet de développement Document Understanding dans des environnements supérieurs tels que test, UAT ou production. Dans cet arrangement, les documents de reformation sont rassemblés dans le projet de production et la fonctionnalité d'exportation-importation vous permet de ramener les documents dans l'environnement de développement pour la reformation du modèle avant de promouvoir les mises à jour vers les environnements supérieurs.

Exportation des candidats à la reformation

You can export retraining candidates directly from the Exceptions for review page by selecting the Export button. Select View exports to access the list of exported files.

Vous pouvez choisir d'exporter tous les documents collectés ou uniquement un sous-ensemble sélectionné, en fonction de la façon dont vous préférez gérer le processus de révision, comme expliqué dans les exemples suivants :

• Vous pouvez exporter tous les documents collectés et les trier dans l'environnement où vous prévoyez de les importer et de réentraîner le modèle.
• Vous pouvez terminer l'examen dans l'environnement actuel et exporter uniquement les documents spécifiques que vous souhaitez utiliser pour la reformation.

Importation de candidats à la reformation

Importing is done from the Exceptions for review page. Imported documents are displayed in a similar manner to documents automatically collected from the Validation Station, with the To review status.

Imported documents are added as retraining candidates. For model fine-tuning, simply follow the same steps as for documents collected directly in a project. Remember to review and confirm the retraining candidates before adding them to the training set.