Validation et annotation des extractions générées

Cette section explique comment valider les prédictions de champ pour vos extractions.

Les extractions peuvent être des types suivants :

• Extractions générées : le modèle prévoit les extractions en fonction de l'entrée que vous avez fournie, c'est-à-dire des libellés et des annotations, lorsque vous sélectionnez Prévoir les extractions.
• Extractions créées manuellement : vous pouvez créer des champs d’extraction pour un libellé spécifique, si le modèle ne l’a pas déjà prédit.

Assurez-vous de fournir suffisamment d'exemples pour que le modèle puisse renvoyer des statistiques de validation. Les statistiques de validation vous aident à comprendre les performances de vos extractions. Par ailleurs, elle vous permet d’affiner vos extractions.

Le peaufinage vous permet d'utiliser les annotations rassemblées pour améliorer les performances du modèle d'extraction.​ Il vous permet également d'utiliser le modèle prêt à l'emploi et d'améliorer les performances pour vos cas d'utilisation.

Remarque :

• Vous pouvez décider quand arrêter l'entraînement des libellés
• Les extractions ont des exigences de performance différentes en fonction du cas d'utilisation.​

Important :

If you use the Generative Extraction LLM, as a best practice, stop annotating more examples once you reach 25 examples for each field. This is enough for in-context learning and validation, and more examples do not improve performance.

Examinez les résultats de l'extraction et, selon le cas, vous pouvez choisir parmi les actions suivantes​ :

• Acceptez les extractions si elles sont toutes correctes​.
• Corrigez les extractions en cas de prédictions incorrectes​.
• Marquez les extractions comme manquantes si elles ne sont pas présentes dans le message​.
• Configurez tous les champs supplémentaires requis pour activer l'automatisation de bout en bout.

Quand arrêter l'annotation

Arrêtez une fois que vous avez fourni au moins 25 exemples d’extractions de libellés pour le modèle à utiliser dans son processus de validation. Vérifiez la validation et notez si les performances sont suffisantes, ou si davantage d’exemples sont nécessaires.

Validation des extractions dans Explorer

Vue d'ensemble (Overview)

# ​	Description ​
1 ​	Si toutes les prédictions de champ sont correctes, sélectionnez Confirmer tout pour valider en bloc que les annotations sont correctes.
2 ​	Pour ajouter de nouveaux champs d’extraction, sélectionnez le bouton plus, à côté de Champs généraux ou à côté de l’un des champs d’extraction. Pour modifier les champs existants, sélectionnez l’ellipse verticale à côté de Champs généraux ou à côté de l’un des champs d’extraction.
3 ​	Dans le panneau latéral, si vous cochez la case en regard des extractions prévues, vous confirmez qu’une annotation de champ est correcte, au niveau de l’extraction.
4 ​	Sous chaque champ, vous pouvez trouver le point de données prédit par le modèle. Si la prédiction est incorrecte, sélectionnez le bouton x afin d’ajuster le champ avec la bonne prédiction.
5 ​	Les points de données prévus sont marqués dans le message d'origine. A une icône indique la présence d’un champ général dans un message.​ Un icône signale la présence d'un champ d'extraction sur un message.
6 ​	Pour ajouter ou modifier des champs, pointez à côté du bouton + , sur la section de champ général ou de champ d’extraction concernée.
7 ​	Pour développer les champs affichés pour les champs généraux ou les champs d’extraction spécifiques, sélectionnez le bouton déroulant .

Validation des extractions

Pour valider vos extractions, appliquez les étapes suivantes :

1. Sélectionnez Explorer à côté d’un ensemble de données pour accéder à cet ensemble de données en particulier.

2. Sous l’onglet Explorer , sélectionnez Annoter les champs.

3. Dans le panneau latéral, sélectionnez le bouton Prévoir les extractions .

4. Dans le même panneau latéral, les indicateurs correspondants marqués par un cercle rouge ou vert sont affichés à côté des prédictions du modèle.

   

   Remarque :

   Les indicateurs de correspondance indiquent si les prédictions du modèle correspondent aux annotations que vous avez apportées pour les champs d’extraction. Les indicateurs sont marqués dans l’interface utilisateur par un cercle rouge ou vert au niveau du champ d’extraction et des niveaux d’extraction. Si les valeurs ne correspondent pas, les valeurs ne correspondent pas ou sont manquantes. Vous pouvez réexécuter les dernières prédictions du modèle pour confirmer si elles correspondent aux annotations fournies. Les états qui peuvent être renvoyés par les indicateurs correspondants sont les suivants :

   • Vert : les prédictions correspondent aux annotations. N’est visible au niveau de l’extraction que si tous les champs d’extraction ont des indicateurs vert.
   • Rouge : soit les prédictions ne correspondent pas aux annotations, soit une prédiction ne contient pas d'annotation. Est visible au niveau de l'extraction si l'un des champs de l'extraction a un indicateur rouge.

Extraction d’état non confirmée

L’image suivante montre à quoi ressemble une extraction dans son état non confirmé . Dans le volet de droite, l’extraction est marquée comme non confirmée et la mise en surbrillance du texte lui-même est plus claire.​

Remarque :

​Le même concept s’applique également aux champs généraux .

Extraction de l’état confirmée

L'image suivante montre à quoi ressemble les champs dans leur état confirmé . Dans le volet de droite, l’extraction est marquée comme Confirmée, et la mise en surbrillance du texte lui-même a une couleur plus foncée.​

Remarque :

Le même concept s’applique également aux champs généraux.

Validation des extractions dans l'entraînement

Remarque :

Extractions, sous l'onglet Entraîner , est en aperçu public.

Vous validez les extractions sous l'expérience de l'onglet Entraîner d'une manière similaire à l'onglet Explorer .

Pour valider vos extractions, appliquez les étapes suivantes :

1. Sélectionnez Entraîner à côté d’un ensemble de données pour accéder à cet ensemble de données en particulier.

2. Sous l’onglet Entraîner , sélectionnez Extractions.

3. Sélectionnez l'extraction de libellés que vous souhaitez valider.

   

4. Confirmez si le message affiché est un exemple applicable du libellé.

5. Une fois que vous avez appliqué tous les libellés applicables, sélectionnez Suivant : Annoter les champs.

   

6. Sur la page qui suit, les indicateurs correspondants marqués par un cercle rouge ou vert sont affichés à côté des prédictions du modèle.

   Remarque :

   Les indicateurs de correspondance indiquent si les prédictions du modèle correspondent aux annotations que vous avez apportées pour les champs d’extraction. Les indicateurs sont marqués dans l’interface utilisateur par un cercle rouge ou vert au niveau du champ d’extraction et des niveaux d’extraction. Si les valeurs ne correspondent pas, vous remarquerez que les valeurs ne correspondent pas ou sont manquantes. Vous pouvez réexécuter les dernières prédictions du modèle pour confirmer si elles correspondent aux annotations fournies. Les états qui peuvent être renvoyés par les indicateurs correspondants sont les suivants :

   • Vert : les prédictions correspondent aux annotations. N’est visible au niveau de l’extraction que si tous les champs d’extraction ont des indicateurs vert.
   • Rouge : soit les prédictions ne correspondent pas aux annotations, soit une prédiction ne contient pas d'annotation. Est visible au niveau de l'extraction si l'un des champs de l'extraction a un indicateur rouge.

7. Sélectionnez Confirmer tout et suivant pour afficher le message suivant à annoter automatiquement.