Mesure

Vous pouvez vérifier le statut global de votre projet et vérifier les zones présentant un potentiel d’amélioration via la section Mesurer.

Mesure du projet

La mesure principale de la page est le score global du projet.

Cette mesure tient compte des scores du classifieur et de l’extracteur pour tous les types de documents. Le score de chaque facteur correspond à la notation du modèle et peut être consulté respectivement dans Mesure de classification (Classification Mesure) et Mesure d’extraction (Extraction Mesure).

La notation de modèle est une fonctionnalité destinée à vous aider à visualiser les performances d’un modèle de classification. Elle est exprimée sous la forme d’un score de modèle compris entre 0 et 100 :

• Faible (0-49)
• Moyen (50-69)
• Bon (70-89)
• Excellent (90-100)

Quel que soit le score du modèle, c’est à vous de décider quand arrêter l’entraînement, en fonction des besoins de votre projet. Même lorsqu’un modèle est classé comme Excellent, cela ne signifie pas qu’il répondra à toutes les exigences métier.

Mesure de classification

Le score de classification tient compte des performances du modèle ainsi que de la taille et de la qualité de l'ensemble de données.

Remarque : le score de classification n’est disponible que si vous avez créé plus d’un type de document.

Si vous sélectionnez Classification, deux onglets s'affichent à droite :

• Facteurs : fournit des recommandations vous permettant d’améliorer les performances globales de votre modèle. Vous pouvez obtenir des recommandations sur la taille de l’ensemble de données ou sur les performances du modèle entraîné en fonction du type de document.
• Métriques : fournit des métriques utiles, comme le nombre de documents d'entraînement et de test, la précision, l'exactitude, le rappel et le score F1 pour chaque type de document.

Mesure des extractions

Le score d'extraction prend en compte les performances globales du modèle ainsi que la taille et la qualité de l'ensemble de données. Cet affichage est divisé en types de documents. Vous pouvez également accéder directement à la vue Annoter (Annotate) de chaque type de document en sélectionnant Annoter (Annotate).

Si vous sélectionnez l'un des types de documents disponibles dans la vue Extraction, trois onglets s'affichent à droite :

• Facteurs (Factors) : fournit des recommandations sur la façon d’améliorer les performances de votre modèle. Vous pouvez obtenir des recommandations sur la taille de l'ensemble de données (nombre de documents téléchargés, nombre de documents annotés) ou les performances du modèle entraîné (précision des champs) pour le type de document sélectionné.
• Ensemble de données : Fournit des informations sur les documents utilisés pour l'entraînement du modèle, le nombre total de pages importées et le nombre total de pages labellisées.
• Métriques (Metrics) : fournit des informations et des métriques utiles, telles que le nom du champ, le nombre de statuts d’apprentissage et la précision du type de document sélectionné. Vous pouvez également accéder aux métriques avancées de vos modèles d’extraction à l’aide du bouton Télécharger les métriques avancées (Download advanced metrics). Cette fonctionnalité vous permet de télécharger un fichier Excel avec des métriques détaillées et des résultats de modèle par lot.

Diagnostic du jeu de données

L’onglet Ensemble de données vous aide à créer des ensembles de données efficaces en fournissant des commentaires et des recommandations sur les étapes nécessaires pour obtenir une bonne précision pour le modèle entraîné.

Il existe trois niveaux d’état de l’ensemble de données affichés dans la barre de gestion :

• Rouge : plus de données d’entraînement libellées requises.
• Orange : plus de données d’entraînement libellées recommandées.
• Vert clair — les données d’entraînement labellisées respectent les recommandations.
• Vert foncé — les données d’entraînement labellisées respectent les recommandations. Toutefois, davantage de données peuvent être nécessaires pour les domaines peu performants.

Si aucun champ n’est créé dans la session, le niveau d’état de l’ensemble de données est grisé.

Comparer le modèle

Vous pouvez comparer les performances de deux versions d’un modèle de classification ou d’extraction à partir de la section Mesurer.

Comparaison des modèles de classification

Pour comparer les performances de deux versions d’un modèle de classification, accédez d’abord à la section Mesurer. Ensuite, sélectionnez Comparer modèle pour le modèle de classification qui vous intéresse.

Vous pouvez choisir les versions que vous souhaitez comparer dans la liste déroulante située en haut de chaque colonne. Par défaut, la version actuelle, indiquant la version la plus récente disponible, est sélectionnée à gauche et la dernière version publiée à droite.

Figure 1. Comparaison des modèles de classification

La comparaison des modèles de classification repose sur quatre indicateurs clés :

• Précision : le rapport entre les instances correctement prédites positives et le nombre d’instances totales prédites positives. Un modèle haute précision indique moins de faux positifs.
• Justesse : le rapport entre les prédictions correctes (y compris les vrais positifs et les vrais négatifs) et le total des instances.
• Rappel : la proportion des cas positifs réels qui ont été correctement identifiés.
• F1 score : la moyenne géométrique de la précision et du rappel, visant à trouver un équilibre entre ces deux mesures. Cela sert de compromis entre les faux positifs et les faux négatifs.

L’ordre des types de documents affichés est celui utilisé dans la dernière version issue de la comparaison. Si un type de document n’est pas disponible dans l’une des versions comparées, les valeurs de chaque mesure sont remplacées par N/A.

Remarque : si un champ a été supprimé dans la version actuelle, mais qu’il était disponible dans la version antérieure avant que la fonctionnalité Comparer modèle ne soit disponible, le nom est remplacé par Inconnu.

Comparaison des modèles d’extraction

Pour comparer les performances de deux versions d’un modèle d’extraction, accédez d’abord à la section Mesurer. Ensuite, sélectionnez Comparer modèle pour le modèle d’extraction qui vous intéresse.

Vous pouvez choisir les versions que vous souhaitez comparer dans la liste déroulante située en haut de chaque colonne. Par défaut, la version actuelle, indiquant la version la plus récente disponible, est sélectionnée à gauche et la dernière version publiée à droite.

Figure 2. Comparaison des modèles d’extraction

La comparaison des modèles d’extraction s’appuie sur les indicateurs clés suivants :

• Nom du champ : le nom du champ d’annotation.
• Content type : le type de contenu du champ :
  • Chaîne de caractères (string)
  • Numérique
  • Date
  • Téléphone
  • Numéro d'identification
• Évaluation : note du modèle destinée à vous aider à visualiser les performances du champ extrait.
• Précision : la fraction du nombre total de prédictions que le modèle effectue qui sont correctes.

L’ordre des noms des champs affiché est celui utilisé dans la dernière version provenant de la comparaison. Si le nom d’un champ n’est pas disponible dans l’une des versions comparées, les valeurs de chaque mesure sont remplacées par N/A.

Remarque : si un champ a été supprimé dans la version actuelle, mais qu’il était disponible dans la version antérieure avant que la fonctionnalité Comparer modèle ne soit disponible, le nom est remplacé par Inconnu.

Vous pouvez également comparer la note des champs des tables dans la section Table.

Vous pouvez télécharger le fichier de mesures avancées de chaque version à partir de la page de comparaison via le bouton Télécharger les mesures avancées.