Validation des valeurs prédites

Validez les prédictions du modèle IXP dans le nœud d'extraction du flux UiPath Maestro Flow™ pour établir la vérité du terrain après avoir affiné les instructions d'invite sans entraîner directement le modèle à partir des annotations.

Vue d'ensemble (Overview)

Le modèle n'apprend pas actuellement directement des annotations de l'utilisateur. Pour améliorer les performances du modèle, modifiez vos instructions d'invite ou la configuration du modèle.

Si vous êtes satisfait de vos instructions, vous pouvez commencer à valider les prédictions du modèle pour établir la vérité du terrain de l'évaluation de ses performances. Avant de le faire, il est important de comprendre les différences entre les prédictions et les références.

Prédictions et références

Les prédictions sont les valeurs prédites et sont comparées à la vérité terrain.

Remarque :

Les prédictions incorrectes ou manquantes ont un impact sur le score du modèle et les indicateurs de performances dans l’onglet Exécutions d’évaluation .

Les références sont les références correspondantes aux valeurs prédites trouvées dans le document. Le but des références est d'aider les utilisateurs à trouver la bonne partie du document.

Remarque :

Les références incorrectes ou manquantes n'ont pas d'impact sur le score du modèle ou les mesures de performances. Cependant, il peut être utile d'ajouter ou de corriger les références pour améliorer l'expérience de validation humaine.

Il existe des limitations connues avec des références et des segments mis en évidence, qui constituent l’une de nos principaux objectifs d’amélioration.

L'un des scénarios suivants peut se produire :

• Prédiction et référence correctes, mais une plage incorrecte est mise en surbrillance. Généralement, la première correspondance qui a été trouvée.
• La prédiction est correcte, mais une référence est manquante et un segment est mis en évidence. Dans ces scénarios, nous fournissons un numéro de page comme solution de secours.

Remarque :

Les prédictions et les références sont indépendantes. Cela signifie que les références manquantes ou incorrectes n'ont pas d'impact sur les valeurs prédites.

Validation des valeurs prédites

Dans la vue Annotation, chaque valeur extraite est mise en surbrillance dans le document avec la couleur de son champ, comme indiqué à côté du nom du champ dans le panneau Annotation. Les valeurs extraites sont mises en surbrillance comme suit:

• Rempli : valeurs extraites. Le remplissage est le même pour les valeurs confirmées et non confirmées. Pour vérifier si une valeur est confirmée, utilisez sa case à cocher dans le panneau annotation: la case est cochée pour les valeurs confirmées et décochée pour les valeurs non confirmées.

  

• Bordure unie : la valeur sélectionnée. Lorsque vous sélectionnez une valeur dans le panneau annotation, sa surbrillance dans le document obtient une bordure solide.

  

Pour valider les valeurs prédites, procédez comme suit:

1. Pointez sur le nœud Extraction de flux et sélectionnez Ouvrir la vue complète.

2. Dans l’onglet Ensemble de données , sélectionnez Annoter pour le document que vous souhaitez valider. Le modèle met en évidence la plage de texte pertinente dans le document et affiche les prédictions générées dans le panneau Annotation. Les valeurs qui sont applicables à plusieurs instances d'un groupe de champs, telles que le numéro de compte, sont accompagnées de boutons fléchés qui aident à accéder aux sections pertinentes. Les boutons s'affichent lorsque vous pointez sur les valeurs.

   

3. Examinez les prédictions et confirmez les valeurs extraites de l’une des manières suivantes:

   • Pour confirmer une valeur unique, cochez sa case.
   • Pour confirmer une ligne entière de groupe de champs, cochez la case de ligne.
   Remarque :

   Toutes les modifications que vous apportez mais que vous ne soumettez pas sont enregistrées en tant que brouillon, que vous pouvez revenir et mettre à jour ultérieurement. Pour de plus amples informations, consultez la section Brouillons d'annotations.

4. Sélectionnez Soumettre pour soumettre vos annotations.

À tout moment, vous pouvez configurer des champs supplémentaires dans votre schéma d'extraction à partir de l'onglet Définition .

Exemple de validation de valeurs prédites dans Action Center

Arrêt de la validation

Il est recommandé de valider au moins dix exemples de chaque champ, afin que le modèle puisse fournir des statistiques de validation significatives.

Références et valeurs confirmées ou non confirmées

Le processus de validation implique les opérations suivantes :

• Confirmer les valeurs extraites si elles sont correctes.
• Annoter les valeurs attendues si les valeurs prédites sont incorrectes.
• Marquer les champs comme manquants s'ils ne sont pas présents dans le document.
• Configurer tous les champs supplémentaires de votre schéma d'extraction.

Cette section montre à quoi ressemblent les valeurs et les références dans leur état confirmé (validé) et non confirmé (non validé).

Remarque :

Toutes les modifications que vous apportez mais que vous ne soumettez pas sont enregistrées en tant que brouillon, que vous pouvez revenir et mettre à jour ultérieurement. Pour de plus amples informations, consultez la section Brouillons d'annotations.

Valeurs prévues

Valeurs non confirmées

Aucune valeur n'est marquée comme confirmée:

Graphique 1. Valeurs non confirmées

Confirmé

Les références sont mises en évidence par une bordure solide :

Figure 2. Référence confirmée

Les valeurs sont marquées comme confirmées:

Figure 3. Valeurs confirmées

Valeurs validées

Cette section contient des exemples de scénarios montrant lorsque les prédictions du modèle correspondent ou ne correspondent pas aux annotations de l'utilisateur.

Lorsque l'annotation correspond à la prédiction, la valeur se présente comme suit:

Figure 4. Prédiction correcte

Lorsque l'annotation ne correspond pas à la prédiction, la valeur se présente comme suit:

Figure 5. Prédiction incorrecte

Remarque :

Les prédictions sont comparées aux annotations, pas aux références. Des références peuvent être manquantes ou incorrectes, mais cela ne sera pas marqué comme non-correspondance.

Annotation de la valeur attendue

Lorsqu’une valeur prédite est incorrecte, annotez la valeur attendue. L'annotation définit la vérité du terrain, la valeur vraie attendue, à laquelle les exécutions d'évaluation comparent les prédictions du modèle. Il ne modifie pas le modèle ni ses prédictions futures.

Pour annoter la valeur attendue, procédez comme suit:

1. Dans le panneau Annotation, sélectionnez l'ellipse du champ, puis sélectionnez Modifier la valeur extraite. Pour un champ sans valeur, qui affiche Est manquant, sélectionnez l'icône plus.

2. Mettez en surbrillance la valeur correcte dans le document.

   Remarque :

   Toutes les modifications que vous apportez mais que vous ne soumettez pas sont enregistrées en tant que brouillon, que vous pouvez revenir et mettre à jour ultérieurement. Pour de plus amples informations, consultez la section Brouillons d'annotations.

   

Modification des valeurs

Dans la vue d'annotation du nœud Extraction de flux, modifiez les valeurs comme suit:

1. Sélectionnez Ajouter une valeur pour créer une nouvelle valeur sans référence dans le document.

2. Sélectionnez l'ellipse d'un champ pour utiliser l'une des options suivantes:

   • Modifier la valeur extraite
   • Revenir à la valeur précédente
   • Marquer comme manquant

3. Sélectionnez l'ellipse d'une ligne de groupe de champs pour utiliser l'une des options suivantes:

   • Surligner la ligne
   • Supprimer la ligne

4. Confirmez les valeurs en cochant la case de chaque valeur ou ligne de groupe de champs.

   Remarque :

   Toutes les modifications que vous apportez mais que vous ne soumettez pas sont enregistrées en tant que brouillon, que vous pouvez revenir et mettre à jour ultérieurement. Pour de plus amples informations, consultez la section Brouillons d'annotations.

   

Pour afficher chaque instance d'un groupe de champs sous forme de ligne dans une table au lieu d'une liste dans le panneau annotation, accédez à l'onglet Définition , sélectionnez l'ellipse du groupe de champs et activez Afficher sous forme de table.

Annotations de brouillon

Toutes les modifications que vous apportez aux valeurs et aux références d'un document sont stockées sous forme de brouillon jusqu'à ce que vous les soumettiez au modèle sous forme d'annotations. Par conséquent, le statut du document s’affiche comme En cours ou comme Annoté (Modification) pour un document qui a déjà été annoté. Pour supprimer le brouillon, sélectionnez Supprimer le brouillon.

Toutes les actions mentionnées précédemment, telles que la validation, l'annotation et la modification de valeurs, puis la soumission des annotations, sont conservées dans le brouillon lorsque vous apportez des modifications.

Si vous actualisez les prédictions alors qu'un document est à l'état de brouillon, le système préserve les annotations du brouillon tout en remplissant les nouvelles prédictions et fait correspondre le nouvel ensemble de prédictions du modèle aux annotations du brouillon.