Vue d'ensemble (Overview)

Le processus d'évaluation des versions de modèles IXP dans le nœud d'extraction de UiPath Maestro™ Flow, couvrant l'évaluation des performances et les vérifications de précision requises avant le déploiement d'un modèle en production.

L'évaluation des performances du modèle est essentielle pour garantir l'exactitude et la fiabilité du modèle avant qu'il ne soit déployé dans un environnement de production.

Le processus d’évaluation du modèle

Prérequis: annoter des documents. Vous avez besoin d’une vérité du terrain pour un ensemble représentatif de documents afin de comparer les prédictions du modèle.

1. Exécutez une évaluation sur un ensemble sélectionné de documents.
2. Analysez les performances du modèle en examinant les résultats de l'exécution de l'évaluation au niveau du champ et au niveau du document. Tous deux vous aident à identifier les facteurs qui limitent la précision de votre modèle.
3. Tenez compte de vos résultats: essayez une configuration différente du modèle, itérez sur les instructions de champ dans votre taxonomie ou corrigez les annotations.
4. Réexécutez une évaluation, soit sur le même ensemble de documents, soit sur un sous-ensemble spécifique que vous souhaitez tester.
5. Comparez les performances des deux exécutions d'évaluation. Lors de la comparaison des versions de modèles, nous vous recommandons d'utiliser le même ensemble de données.
6. Répétez ce processus jusqu'à ce que le modèle atteigne les cibles de performances nécessaires pour réussir en production.

Où afficher les performances du modèle

Les parties suivantes du produit affichent les métriques et les scores de votre modèle:

• Score de santé : affiché sur le nœud Extraire du flux à deux endroits: le volet Propriétés et l'onglet Définition dans la prise de contrôle immersive. Il indique également la version du modèle d'où provient le score et le modèle d'extraction utilisé.
• Historique des exécutions d'évaluation : répertorie chaque exécution d'évaluation pour le nœud, avec le score F1 et le taux d'erreur de document de chaque exécution. Sélectionnez une exécution pour voir ses détails.
• Table des performances du champ : disponible dans la vue Par champ d'une exécution. Affiche une ligne par champ ou groupe de champs, avec des métriques de performances et d'erreurs calculées sur les documents annotés.
• Document performance table - Available in the By document view of a run. Shows one row per document, with its F1 score, document error rate, total errors, total annotations, and annotated values.

Pour plus de détails sur chaque métrique, consultez la section Évaluation des performances du modèle.

Meilleures pratiques

• Annotez au moins dix valeurs pour chaque champ de la taxonomie, sur autant de documents uniques que possible (idéalement 10) pour obtenir un score significatif pour le modèle et le champ.