Valider les prédictions d'extraction

Le modèle n'apprend pas actuellement directement des annotations de l'utilisateur. Pour améliorer les performances du modèle, modifiez vos instructions d'invite ou la configuration du modèle.

Si vous êtes satisfait de vos instructions, vous pouvez commencer à valider les prédictions du modèle pour établir la vérité du terrain de l'évaluation de ses performances. Avant de le faire, il est important de comprendre les différences entre les prédictions et les références.

Prédictions et références

Les prédictions sont les valeurs prédites et sont comparées à la vérité terrain.

Remarque :

Les prédictions incorrectes ou manquantes ont un impact sur le score du modèle et les indicateurs de performances dans l’onglet Mesurer.

Les références sont les références correspondantes aux valeurs prédites trouvées dans le document. Le but des références est d'aider les utilisateurs à trouver la bonne partie du document.

Remarque :

Les références incorrectes ou manquantes n'ont pas d'impact sur le score du modèle ou les mesures de performances. Cependant, il peut être utile d'ajouter ou de corriger les références pour améliorer l'expérience de validation humaine.

Il existe des limitations connues avec des références et des segments mis en évidence, qui constituent l’une de nos principaux objectifs d’amélioration.

L'un des scénarios suivants peut se produire :

• Prédiction et référence correctes, mais une plage incorrecte est mise en surbrillance. Généralement, la première correspondance qui a été trouvée.

• La prédiction est correcte, mais une référence est manquante et un segment est mis en évidence. Dans ces scénarios, nous fournissons un numéro de page comme solution de secours.

  

Remarque :

Les prédictions et les références sont indépendantes. Cela signifie que les références manquantes ou incorrectes n'ont pas d'impact sur les valeurs prédites.

Validation des extractions

Les extractions sont mises en surbrillance comme suit lorsqu’elles sont prédites :

• Souligné : valeurs prédites.

  

• Rempli : valeurs confirmées.

  

• Bordure en pointillés : valeurs non confirmées.

  

Pour valider les extractions, procédez comme suit :

1. Accédez à l'onglet Créer et sélectionnez Valider les prédictions ou tout document téléchargé pour commencer le processus de validation. Le modèle met en évidence la plage de texte pertinente dans le document et affiche les prédictions générées dans le panneau latéral. Les valeurs qui sont applicables à plusieurs extractions, telles que le numéro de compte, sont accompagnées de boutons fléchés qui aident à accéder aux sections pertinentes. Les boutons apparaissent lors du survol.

L’image suivante illustre les extractions dans leur état prédit. Les valeurs prédites sont toujours soulignées.

2. Examinez les prédictions et confirmez les extractions une par une ou en bloc, en confirmant l’ensemble du groupe de champs. Il n’est pas recommandé de sélectionner le bouton Confirmer tout et suivant sans examiner attentivement chaque extraction. L'image suivante illustre :

• dans la première ligne du tableau, les extractions dans leur état non confirmé, autrement dit les valeurs qui étaient autrefois confirmées, mais qui sont désormais non confirmées. Les valeurs non confirmées sont marquées d’une bordure en pointillé.
• dans les deuxième et troisième lignes du tableau, les extractions dans leur état confirmé, c’est-à-dire les valeurs que vous avez confirmées ou corrigées. Les valeurs confirmées sont toujours complétées.

Remarque :

Toutes les modifications que vous apportez mais que vous ne soumettez pas sont enregistrées en tant que brouillon, que vous pouvez revenir et mettre à jour ultérieurement. Pour de plus amples informations, consultez la section Brouillons d'annotations.

3. Vous pouvez configurer des champs supplémentaires dans votre schéma d’extraction à tout moment à partir de l’onglet Gérer la taxonomie ou de l’onglet Créer .

Exemple de validation d’extractions d’Action Center

Interruption de la validation de l’extraction

Nous vous recommandons de valider au moins dix exemples de chaque champ, afin que le modèle puisse fournir des statistiques de validation significatives.

Références et extractions confirmées ou non confirmées

Le processus de validation implique les opérations suivantes :

• Confirmer les extractions si elles sont correctes.
• Corriger les extractions si elles sont incorrectes.
• Marquer les champs comme manquants s'ils ne sont pas présents dans le document.
• Configurer tous les champs supplémentaires de votre schéma d'extraction.

Cette section montre à quoi ressemblent les extractions et les références dans leur état confirmé (validé) et non confirmé (non validé).

Remarque :

Toutes les modifications que vous apportez mais que vous ne soumettez pas sont enregistrées en tant que brouillon, que vous pouvez revenir et mettre à jour ultérieurement. Pour de plus amples informations, consultez la section Brouillons d'annotations.

Valeurs prévues

Valeurs non confirmées

Les références dans le document sont mises en évidence par une bordure pointillée :

Figure 1. Référence non confirmée

Aucune extraction n'est marquée comme confirmée :

Figure 2. Extractions non confirmées

Confirmé

Les références sont mises en évidence par une bordure solide :

Figure 3. Référence confirmée

Les extractions sont marquées comme confirmées :

Figure 4. Extractions confirmées

Extractions validées

Cette section contient des exemples de scénarios montrant lorsque les prédictions du modèle correspondent ou ne correspondent pas aux annotations de l'utilisateur.

Lorsque l'annotation correspond à la prédiction, l'extraction se présente comme suit :

Figure 5. Prédiction correcte

Lorsque l'annotation ne correspond pas à la prédiction, l'extraction se présente comme suit :

Figure 6. Prédiction incorrecte

Lorsqu’il existe une annotation mais aucune prédiction, les extractions sont les suivantes :

Figure 7. Prédiction manquante

Remarque :

Les prédictions sont comparées aux annotations, pas aux références. Des références peuvent être manquantes ou incorrectes, mais cela ne sera pas marqué comme non-correspondance.

Correction des extractions

Pour corriger une extraction, procédez comme suit :

1. Survolez l’extraction avec la souris et sélectionnez l’icône en forme de crayon pour modifier la valeur prédite.

2. Saisissez la valeur correcte.

3. Sélectionnez l’icône + pour mettre à jour la valeur prédite ou la référence.

4. Mettez en surbrillance la valeur correcte dans le document.

   Remarque :

   Toutes les modifications que vous apportez mais que vous ne soumettez pas sont enregistrées en tant que brouillon, que vous pouvez revenir et mettre à jour ultérieurement. Pour de plus amples informations, consultez la section Brouillons d'annotations.

   

Modifier des extractions

Sur la page Validation des prédictions, sous l'onglet Construire, modifiez les extractions comme suit :

1. Sélectionnez l'icône plus pour ajouter une extraction manquante.

2. Sélectionnez l'icône de tableau pour ouvrir la vue du tableau.

3. Confirmez les extractions à partir du panneau latéral ou de la vue du tableau.

4. Pointez l'extraction avec la souris et utilisez les icônes crayon et plus pour corriger les extractions individuellement :

   • L'icône crayon vous permet de modifier la valeur prédite et de saisir la valeur correcte.
   • L'icône plus vous permet de mettre à jour la valeur prédite ou la référence et de mettre en évidence la valeur correcte dans le document.

5. Sélectionnez Ajouter un groupe de champs pour ajouter un groupe de champs manquant.

   Remarque :

   Toutes les modifications que vous apportez mais que vous ne soumettez pas sont enregistrées en tant que brouillon, que vous pouvez revenir et mettre à jour ultérieurement. Pour de plus amples informations, consultez la section Brouillons d'annotations.

   

   

Annotations de brouillon

Toutes les modifications que vous apportez aux valeurs et aux références d'un document sont stockées sous forme de brouillon jusqu'à ce que vous les soumettiez au modèle sous forme d'annotations. Par conséquent, le statut des documents s'affiche comme En cours.

Toutes les actions mentionnées précédemment, telles que la validation, la correction et la modification des extractions, puis la soumission des annotations, sont conservées dans le brouillon lorsque vous apportez des modifications.

Si vous demandez de nouvelles prédictions alors qu'un document est à l'état de brouillon, le système préserve les annotations du brouillon tout en remplissant les nouvelles prédictions et fait correspondre le nouvel ensemble de prédictions du modèle aux annotations du brouillon.