Vue d'ensemble (Overview)

Cette section décrit le processus de validation des performances des versions de modèles d'un projet. Il est essentiel de valider les performances du modèle pour garantir l'exactitude et la fiabilité du modèle avant qu'il ne soit déployé dans un environnement de production.

Le processus de validation du modèle

1. Évaluer les performances du modèle en comparant différentes versions de modèles.
2. Recueillir des statistiques de validation.
3. Affinez le modèle jusqu'à ce qu'il atteigne le niveau de performances adapté à votre cas d'utilisation comme suit :
   • Examinez les prédictions du modèle.
   • Recommencez le schéma d'extraction.

Interface utilisateur

Le tableau de bord de l'onglet Mesurer comprend les détails suivants :

• Les performances d'extractions complètes d'un groupe de champs spécifique et de tous les champs d'un groupe de champs.
• Les performances moyennes de tous les champs d'un groupe de champs spécifique.
• Les performances individuelles au niveau du champ.

La liste suivante contient une description de tous les indicateurs de performance de champ :

• Cadran rouge : un cadran de performance de champ rouge indique que les exemples annotés fournis sont insuffisants.
• Cercle orange : un indicateur de performance orange s'affiche lorsque les performances d'un champ sont inférieures à satisfaisantes.
• Cercle rouge : un indicateur de performances rouge s'affiche lorsqu'un champ fonctionne mal.
• Rappel : parmi les vraies extractions, combien d'extractions le modèle a réellement prédit.
• Précision : parmi les extractions que le modèle a appliquées, combien d'extractions étaient réellement correctes.
• Score F1 – Moyenne harmonique entre la précision et le rappel.

Lorsque vous comprenez les performances au niveau du champ et l'impact de la modification des instructions de champ, cela peut vous aider à déterminer si le modèle est prêt à être mis en production.

Meilleures pratiques

• Annotez au moins dix documents et dix champs pour obtenir un score significatif pour le projet et le champ.
• Vous devez décider quand arrêter l'entraînement du modèle selon vos besoins métier spécifiques et les objectifs de cas d'utilisation. Cela signifie que vous pourriez nécessiter des champs à la précision et au rappel plus accrus que d'autres.

Remarque : les modèles de haute précision minimisent les faux positifs, tandis que les modèles de rappel élevé réduisent les faux négatifs.