Évaluer les performances du modèle

Évaluer les performances du modèle IXP dans le nœud Extract de UiPath Maestro™ Flow à l'aide du résumé de l'évaluation et des mesures de champ et de document de chaque exécution d'évaluation.

Vue d'ensemble (Overview)

Vous pouvez évaluer les performances du modèle d'un nœud d'extraction de flux aux emplacements suivants:

• Onglet Définition : affiche un résumé de la dernière évaluation, y compris le score F1.
• Onglet Exécutions d' évaluation: répertorie toutes les exécutions d'évaluation, y compris le taux d'erreur de document de chaque exécution, et affiche les performances au niveau du groupe de champs, du champ et du document de chaque exécution.

Score de santé du nœud

Le score de santé du nœud résume les performances de la version actuelle du modèle d’un nœud d’extraction de flux. Il s'affiche aux endroits suivants:

• Le volet des propriétés du nœud Extraction de flux.
• L'onglet Définition . Pour l'ouvrir, pointez sur le nœud Extraction de flux et sélectionnez Ouvrir la vue complète.

Le score de santé affiche les éléments suivants:

• Score F1 : la moyenne des scores F1 de tous les champs de la taxonomie.
• Rating - Good, Fair, or Poor.
• Documents annotés : le nombre de documents annotés.
• La version du modèle d’où provient le score et le modèle d’extraction utilisé par cette version.

Le score F1 est codé par couleur comme suit:

Couleur	Score F1
Vert	80% or higher
Jaune	40% to 79%
Rouge	Below 40%

Le score de santé est généré à partir d'exécutions d'évaluation qui incluent tous les documents annotés dans l'ensemble de données du nœud. L'exécution des évaluations sur un sous-ensemble de documents n'affecte pas le score de santé.

Pour afficher les exécutions d'évaluation derrière le score, sélectionnez le nom du modèle, par exemple Gemini 2.5 Flash. Les exécutions s'ouvrent dans l'onglet Exécutions d'évaluation .

Remarque :

Les modèles sains affichent un score bon et ne génèrent aucun avertissement de performance du champ.

Évaluation dans l'onglet Exécutions d'évaluation

Each evaluation run outputs the performance of a model version tested on a selection of the annotated documents in the dataset of the node. A new model version is created when you run an evaluation that includes changes not yet evaluated, such as changes to your taxonomy, including instructions, or to the model configuration. Making these changes does not create a model version by itself. For details, check Changes not evaluated.

Afficher les exécutions d’évaluation

Pour afficher les exécutions d'évaluation d'un nœud, procédez comme suit:

1. Pointez sur le nœud Extraction de flux et sélectionnez Ouvrir la vue complète.

2. Accédez à l'onglet Exécutions d'évaluation .

   

La liste affiche les détails suivants pour chaque exécution d'évaluation:

• Nom : le nom d'exécution de l'évaluation.
• Version : la version du modèle évaluée lors de l'exécution. Les exécutions correspondant à la définition de nœud actuelle affichent le libellé Matches Current par défaut .
• Statut : le statut de l'exécution: Terminé, Annulé, En cours d'exécution ou Échec.
• Score F1 : le score F1 moyen de tous les champs.
• Taux d’erreur du document : la moyenne des taux d’erreur des documents annotés.
• Documents : le nombre de documents évalués.
• Démarré : au début de l'exécution.
• Durée : la durée de l'exécution.

Pour filtrer la liste par statut, sélectionnez l'icône de filtre, puis sélectionnez l'une des options suivantes: En cours d'exécution, Terminé, Échec ou Annulé.

Pour afficher ou masquer les colonnes, sélectionnez l'icône des colonnes, puis sélectionnez les colonnes à afficher.

Pour démarrer une nouvelle évaluation, sélectionnez Exécuter l'évaluation. Pour plus d’informations, consultez la section Exécution d’une évaluation.

Taux d’erreur du document

Vous pouvez consulter le taux d'erreur des documents de chaque exécution d'évaluation dans la colonne Taux d'erreur Doc de l'onglet Exécutions d'évaluation .

Le taux d’erreur du document est le rapport entre les erreurs que le modèle a fait sur un document et le nombre total d’annotations sur ce document, c’est-à-dire, la différence entre les prédictions du modèle et les annotations de l’utilisateur. Les taux d’erreur sont disponibles uniquement pour les documents annotés.

La valeur de la colonne Taux d'erreur du document de l'onglet Exécutions de l'évaluation est calculée comme la moyenne simple du taux d'erreur de chaque document entièrement annoté. Il fournit un indicateur rapide de la tendance à l’erreur des documents lorsque la version du modèle évaluée les traite, ce qui aide à évaluer l'état de préparation au déploiement.

Remarque :

Le taux d’erreur des documents peut dépasser 100 %, car il est calculé comme suit:

• Taux d'erreur du document = nombre d'erreurs base annotations totales

Les erreurs incluent non seulement les champs qui ont été annotés et extraits de manière incorrecte, mais également toutes les prédictions supplémentaires effectuées par le modèle qui n’ont pas d’annotation correspondante. Par exemple, une ligne supplémentaire que le modèle a prédit qu'un réviseur ne labellisait pas.

Étant donné que ces prédictions supplémentaires sont comptabilisées comme des erreurs mais ne s’ajoutent pas au total des annotations, le nombre d’erreurs peut dépasser le nombre d’annotations, ce qui entraîne un taux d’erreur supérieur à 100 %.

Gérer l'exécution des évaluations

Pour gérer une exécution d'évaluation, procédez comme suit:

1. Dans le nœud Extraction de flux, accédez à l'onglet Exécutions d'évaluation .

2. Sélectionnez l'ellipse dans la colonne Actions de l'exécution et sélectionnez l'une des options suivantes:

   • Afficher les détails : ouvre les détails de l'exécution. Vous pouvez également sélectionner la ligne de l'exécution.
   • Réexécuter - Exécute à nouveau l'évaluation.
   • Exporter au format JSON : exporte l'exécution sous forme de fichier JSON.
   • Exporter sous forme de fichier CSV : exporte l'exécution sous forme de fichier CSV.
   • Exporter les résultats d'exécution d'évaluation - Exporte les résultats de l'exécution.
   • Delete (Supprimer): supprime l'exécution.

   

Vous pouvez exporter les données des exécutions d'évaluation à des fins d'analyse hors ligne, de filtrage personnalisé ou de partage des résultats avec les parties prenantes.

Vous pouvez également rétablir le nœud d'extraction vers une version précédente du modèle à partir de l'onglet Exécutions d'évaluation .

Détails de l’exécution de l’évaluation

Les détails d’une exécution d’évaluation vous aident à évaluer les performances d’une version de modèle sur des documents annotés avant de la déployer.

Pour ouvrir les détails d'une exécution d'évaluation, procédez comme suit:

1. Pointez sur le nœud Extraction de flux et sélectionnez Ouvrir la vue complète.

2. Dans l'onglet Exécutions d'évaluation , sélectionnez la ligne d'une exécution d'évaluation. Les détails de l'exécution ouverte, y compris sa table de performances Document . La page affiche les détails suivants de l'exécution:

   • Latence: la latence d’extraction. Pointez sur la valeur pour afficher les centiles de latence sur les documents.
   • Le score de l'exécution, qui est la moyenne des scores F1 de tous les champs.

   

3. Sélectionnez l'une des vues suivantes:

   • By document - Shows the Document performance table, with one row per document. By default, the table shows the following columns: F1 score, Doc error rate, Total errors, Total annotations, and Annotated values.
   • Par champ : affiche la table de performances du champ .

Table des performances du champ

La table des performances du champ, disponible dans l'onglet Exécutions d'évaluation , dans la vue du champ Par champ d'une exécution d'évaluation, est le principal moyen d'analyser les performances du modèle. Elle affiche une ligne par champ ou groupe de champs, ainsi que les métriques de performances et d'erreurs calculées sur les documents annotés. La table ne prend pas en compte les documents non annotés et partiellement annotés lors du calcul des métriques.

La table aide à répondre à des questions telles que :

• Quels champs limitent les performances globales du modèle ?
• Les erreurs sont-elles concentrées dans quelques champs ou largement réparties ?
• Une modification récente du modèle a-t-elle amélioré ou dégradé des champs spécifiques ?

Le tableau inclut plusieurs catégories de métriques qui vous aident à analyser les performances du modèle sous différentes perspectives. Chaque catégorie répond à une question de diagnostic spécifique sur le comportement de votre modèle dans les champs et les documents.

Par défaut, la table affiche les colonnes suivantes:

• Score F1
• Taux d’erreur
• Total des erreurs
• Total des annotations
• Valeurs annotées
• Documents avec erreurs
• Documents annotés

Le score F1 de chaque champ et groupe de champs est codé par couleur à l'aide des mêmes plages que le score de santé du nœud:

• Vert : le champ fonctionne bien.
• Yellow - The performance of the field is less than satisfactory.
• Rouge : le champ fonctionne mal.

Pour afficher ou masquer les mesures, sélectionnez Colonnes, puis sélectionnez les mesures de chaque catégorie.

Pour trouver un groupe de champs ou un champ en particulier, utilisez la zone Rechercher des champs .

Filtrage et tri

Pour filtrer les lignes dans la table, sélectionnez un ou plusieurs des filtres rapides disponibles dans l'onglet Exécutions d'évaluation . Chaque filtre rapide affiche le nombre de lignes qu'il correspond:

• Valeurs annotées <10
• Score du champ F1 < 50
• Score de champ F1 dans les limites de 50–70

Vous pouvez également trier la table par n'importe quelle métrique dans la table. Lorsqu’un tri est appliqué, les valeurs sont triées dans leur groupe de champs respectif. Par exemple, le tri de la table par score F1 trie les champs à l’intérieur de chaque groupe de champs les uns par rapport aux autres.

Métriques de performances

Le but des métriques de performances est d’évaluer la qualité globale de l’extraction pour chaque champ ou groupe de champs.

Les métriques de performances sont décrites comme suit :

• Score F1 : la moyenne harmonique de la précision et du rappel: F1 = 2 × (précision × rappel) / (précision + rappel). Le score F1 ne reste élevé que lorsque la précision et le rappel sont tous deux élevés. En pratique, cela fait de F1 un indicateur de qualité globale fort pour les tâches d’extraction où vous vous souciez d’éviter des valeurs incorrectes et des valeurs manquées. Par conséquent, F1 est une première métrique utile à examiner pour analyser les modifications de performances du champ sur les versions de modèle.
• Précision : mesure la fréquence à laquelle les valeurs prédites sont correctes: précision = vrais positifs / (vrais positifs + faux positifs). Les vrais positifs sont des prédictions qui correspondent à la valeur annotée, à l’exclusion des valeurs annotées comme manquantes.
• Rappel : mesure la fréquence à laquelle le modèle trouve une valeur lorsqu'elle existe: Rappel = Vrais positifs / (Vrais positifs + Faux négatifs). Les faux négatifs sont des valeurs annotées que le modèle n’a pas prédit, à l’exclusion des valeurs annotées comme manquantes.
• Taux d’erreurr - Erreurs totales / Annotations totales. Les valeurs marquées comme manquantes sont incluses dans le nombre d’erreurs et d’annotations.
• Taux d’erreur excluant les éléments manquants - (Erreurs totales - Prédictions supplémentaires) / Valeurs annotées. Les valeurs annotées marquées comme manquantes sont exclues.

Prédictions et erreurs

Le but des métriques de prédictions et d’erreurs est de comprendre le volume et la composition des erreurs qui contribuent à de mauvaises performances.

Les métriques sont décrites comme suit :

• Erreurs totales - Nombre total d'erreurs pour un champ dans toutes les classes d'erreur: Erreurs totales = Valeurs incorrectes + Prédictions manquantes + Prédictions supplémentaires.
• Total des prédictions : Nombre total de valeurs prédites pour un champ: Total des prédictions = Valeurs correctes + Valeurs manquantes correctes + Valeurs incorrectes.
• Valeurs incorrectes : le nombre de prédictions où la valeur extraite ne correspond pas à l’annotation. Exclut les prédictions et les valeurs annotées marquées comme manquantes.
• Prédictions manquantes : le nombre de valeurs annotées que le modèle n’a pas réussi à extraire.
• Prédictions supplémentaires : nombre de valeurs prédites que le modèle n'aurait pas dû extraire, ou pour lesquelles il n'existait pas d'annotation correspondante ou d'annotation marquée comme manquante.
• Valeurs correctes : nombre de valeurs prédites qui correspondent exactement à l’annotation.
• Valeurs manquantes correctes : nombre d'instances où le modèle a correctement prédit qu'une valeur est manquante.

Annotations

Le but des métriques d’annotations est de fournir le contexte de la quantité de données étiquetées prises en charge par chaque métrique et de la fiabilité des scores de performances.

Les métriques sont décrites comme suit :

• Annotations totales - Nombre total d’annotations, y compris les valeurs marquées comme manquantes: total d’annotations = Valeurs annotées + Valeurs annotées marquées comme manquantes.
• Valeurs annotées : le nombre total de valeurs de champ annotées, à l’exclusion de celles marquées comme manquantes.
• Annoté comme manquant - Nombre total de fois qu’un champ a été explicitement étiqueté comme manquant.

Métriques des documents

Le but des métriques de document est de comprendre comment les erreurs sont distribuées entre les documents plutôt que uniquement entre les prédictions.

Les métriques sont décrites comme suit :

• Documents avec erreurs : le nombre total de documents où le champ contient au moins une erreur.
• Documents annotés : le nombre total de documents dans lesquels le champ a au moins une valeur de champ annotée.
• % Documents avec erreurs - Pourcentage des documents annotés qui contiennent au moins une erreur pour le champ: Documents avec erreurs / Docs annotés.

Comparer les versions de modèles

Lorsque plusieurs exécutions d'évaluation sont disponibles, vous pouvez comparer les performances d'une exécution par rapport à une exécution précédente. De cette façon, vous pouvez mieux comprendre l’impact des modifications apportées aux instructions de champ, des changements dans les annotations ou des mises à jour de la configuration du modèle.

Par défaut, la table compare l'exécution sélectionnée à l'exécution précédente. Les différences de score s'affichent à côté de chaque valeur, avec une flèche qui indique si la valeur a augmenté ou diminue.

Pour effectuer une comparaison avec une exécution différente, procédez comme suit:

1. Dans la vue du champ Par d'une exécution d'évaluation, sélectionnez la liste déroulante Comparer avec .

   

2. Sélectionnez l'une des options suivantes :

   • Une exécution précédente, répertoriée par numéro d'exécution, ensemble de données, date et version de modèle.
   • Aucune comparaison : masque les différences de score.

   

Exemples de scénarios

Scénario 1 : F1 faible + Précision faible, mais le rappel est modéré ou élevé

Ce que vous observez

Le F1 est faible, la précision est faible et le rappel est modéré ou élevé.

Ce que cela signifie généralement

• Le modèle extrait les valeurs d’un champ, mais le nombre de valeurs prédites est supérieur à celui auquel vous vous attendiez.
• Causes profondes courantes :
  • L’instruction du champ est trop large ou ambiguë. Par exemple, l’instruction du champ est de capturer le montant, mais elle ne spécifie pas quel montant.
  • Le document a des valeurs similaires qui peuvent être confondues les unes avec les autres, par exemple, sous-total contre total, adresse de livraison contre adresse de facturation.

Que faire ensuite

Comparez les valeurs incorrectes et les prédictions supplémentaires pour identifier si le problème est lié à l’extraction d’une valeur incorrecte (nombre de valeurs incorrectes non nul) ou si la valeur n’aurait pas dû être extraite du tout (nombre de prédictions supplémentaires non nul).

Affinez les instructions de champ à l'aide d'éléments permettant d'éviter toute ambiguïté, tels que des libellés, des mots-clés et des contraintes de formatage.

Scénario 2 : prédictions manquées élevées (le rappel est faible), la précision est modérée ou élevée

Ce que vous observez

• Le rappel est faible et la précision est modérée ou élevée (le F1 est généralement faible ou modéré).
• Les prédictions manquées sont élevées, souvent plus que les valeurs incorrectes ou les prédictions supplémentaires.

Ce que cela signifie généralement

• Le modèle ne parvient pas à extraire les valeurs qui sont présentes.
• Causes profondes courantes :
  • Les instructions de champ sont trop étroites, ce qui signifie des exemples trop contraints ou des exigences de libellé trop spécifiques.
  • La valeur apparaît dans plusieurs formats tels que les dates et les ID, et l’instruction ne couvre pas les variantes.

Que faire ensuite

• Utilisez Prédictions manquées + Valeurs annotées pour confirmer qu’il s’agit d’un problème de rappel, c’est-à-dire que les valeurs existent mais ne sont pas trouvées. Vérifiez Valeurs annotées pour confirmer qu’il existe un nombre raisonnable de points de données annotés pour le champ, et Prédictions manquantes pour confirmer que le modèle a du mal à trouver des valeurs plutôt que de les prédire incorrectement.
• Développez les instructions pour inclure des variantes acceptables : libellés ou synonymes alternatifs, plusieurs schémas de formatage, indications de localisation (par exemple, près des détails du demandeur ou sous la section Emprunteur).

Scénario 3 : Taux d'erreur élevé, mais Documents faibles avec des erreurs (erreurs concentrées dans quelques documents)

Ce que vous observez

• Le taux d'erreur est élevé ou les erreurs totales sont élevées.
• Le nombre de documents avec des erreurs est faible par rapport au nombre de documents annotés.
• Souvent, un champ est mauvais, mais n'échoue que sur un petit sous-ensemble de documents.

Ce que cela signifie généralement

• Les erreurs sont déclenchées par des documents atypiques, et non par un comportement systémique du champ.
• Causes profondes courantes :
  • Un document ou un format spécifique se comporte différemment du reste.
  • Problèmes d’OCR ou de qualité dans un petit nombre de documents, tels que des numérisations floues, des superpositions inclinées et manuscrites.
  • Le champ est présent dans la plupart des documents, mais formaté inhabituellement dans quelques-uns, par exemple, multi-lignes versus une seule ligne.

Que faire ensuite

• Comparez les Docs avec des erreurs et les Docs annotés, et facultativement % de Docs avec des erreurs pour confirmer la concentration.
• Basculez vers la vue Par document de l'exécution de l'évaluation, triez les documents par score et inspectez les documents présentant le score le plus faible pour identifier si le champ fonctionne mal sur un sous-ensemble spécifique.

Scénario 4 : fluctuations importantes des performances entre les versions avec peu d’annotations

Ce que vous observez

• De grandes différences dans le F1 ou le taux d’erreur entre les versions du modèle (vers le haut ou vers le bas), mais les Valeurs annotées sont faibles, les Docs annotés sont faibles, ou les deux.

Ce que cela signifie généralement

• Les métriques de champ ne sont pas encore stables en raison de la petite taille de l’échantillon.
• Causes profondes courantes :
  • Trop peu d’exemples - 1 à 2 documents peuvent modifier de manière significative les taux.
  • Le champ est rarement présent, c’est-à-dire de nombreux incidents manquants et peu de valeurs vraies.
  • Une poignée de documents difficiles domine la métrique.

Que faire ensuite

• Vérifiez les valeurs annotées, les docs annotés et ceux annotés comme manquants pour valider la faible couverture.
• Traitez les métriques comme directionnelles et non définitives jusqu’à ce que la couverture augmente.
• Ajoutez davantage de données étiquetées spécifiquement pour ce champ : priorisez les documents où le champ est présent et incluez un ensemble diversifié d’échantillons ou de variantes.
• Utilisez les comparaisons de versions uniquement après que la couverture est suffisante pour réduire le bruit induit par la variabilité.