Mesure

Vous pouvez vérifier le statut global de votre projet et vérifier les zones présentant un potentiel d’amélioration via la section Mesurer.

Mesure du projet

La mesure principale de la page est le score global du projet.

Cette mesure tient compte des scores du classifieur et de l’extracteur pour tous les types de documents. Le score de chaque facteur correspond à la notation du modèle et peut être consulté respectivement dans Mesure de classification (Classification Mesure) et Mesure d’extraction (Extraction Mesure).

La notation de modèle est une fonctionnalité destinée à vous aider à visualiser les performances d’un modèle de classification. Elle est exprimée sous la forme d’un score de modèle compris entre 0 et 100 :

• Faible (0-49)
• Moyen (50-69)
• Bon (70-89)
• Excellent (90-100)

Quel que soit le score du modèle, c’est à vous de décider quand arrêter l’entraînement, en fonction des besoins de votre projet. Même lorsqu’un modèle est classé comme Excellent, cela ne signifie pas qu’il répondra à toutes les exigences métier.

Mesure de classification

Le score de classification tient compte des performances du modèle ainsi que de la taille et de la qualité de l'ensemble de données.

Remarque : le score de classification n’est disponible que si vous avez créé plus d’un type de document.

Lorsque vous cliquez sur Classification, deux onglets s’affichent à droite :

• Facteurs : fournit des recommandations vous permettant d’améliorer les performances globales de votre modèle. Vous pouvez obtenir des recommandations sur la taille de l’ensemble de données ou sur les performances du modèle entraîné en fonction du type de document.
• Métriques : fournit des métriques utiles, comme le nombre de documents d'entraînement et de test, la précision, l'exactitude, le rappel et le score F1 pour chaque type de document.

Mesure des extractions

Le score d'extraction prend en compte les performances globales du modèle ainsi que la taille et la qualité de l'ensemble de données. Cet affichage est divisé en types de documents. Vous pouvez également accéder directement à la vue Annoter (Annotate) de chaque type de document en cliquant sur Annoter (Annotate).

Si vous cliquez sur l'un des types de documents disponibles dans la vue Extraction, trois onglets s'afficheront sur le côté droit :

• Facteurs (Factors) : fournit des recommandations sur la façon d’améliorer les performances de votre modèle. Vous pouvez obtenir des recommandations sur la taille de l'ensemble de données (nombre de documents téléchargés, nombre de documents annotés) ou les performances du modèle entraîné (précision des champs) pour le type de document sélectionné.
• Ensemble de données : Fournit des informations sur les documents utilisés pour l'entraînement du modèle, le nombre total de pages importées et le nombre total de pages labellisées.
• Métriques (Metrics) : fournit des informations et des métriques utiles, telles que le nom du champ, le nombre de statuts d’apprentissage et la précision du type de document sélectionné. Vous pouvez également accéder aux métriques avancées de vos modèles d’extraction à l’aide du bouton Télécharger les métriques avancées (Download advanced metrics). Cette fonctionnalité vous permet de télécharger un fichier Excel avec des métriques détaillées et des résultats de modèle par lot.

Diagnostic du jeu de données

L’onglet Ensemble de données vous aide à créer des ensembles de données efficaces en fournissant des commentaires et des recommandations sur les étapes nécessaires pour obtenir une bonne précision pour le modèle entraîné.

Il existe trois niveaux d’état de l’ensemble de données affichés dans la barre de gestion :

• Rouge : plus de données d’entraînement libellées requises.
• Orange : plus de données d’entraînement libellées recommandées.
• Light green - Labelled training data is within recommendations.
• Dark green - Labelled training data is within recommendations. However, more data might be needed for underperforming fields.

Si aucun champ n’est créé dans la session, le niveau d’état de l’ensemble de données est grisé.

Comparer le modèle

Vous pouvez comparer les performances de deux versions d'un modèle de classification ou d'extraction à partir de la section Mesurer (Measure ).

Comparaison des modèles de classification

Pour comparer les performances de deux versions d'un modèle de classification, accédez d'abord à la section Mesurer (Measure ). Ensuite, sélectionnez Comparer le modèle (Compare model) pour le modèle de classification qui vous intéresse.

Vous pouvez choisir les versions que vous souhaitez comparer dans la liste déroulante en haut de chaque colonne. Par défaut, la version actuelle, qui indique la version la plus récente disponible, est sélectionnée à gauche et la version publiée la plus récente à droite.

Figure 1. Comparaison des modèles de classification

La comparaison des modèles de classification repose sur quatre mesures clés :

• Précision : le rapport entre le nombre d'instances positives prédites correctement et le nombre total d'instances prédites positives. Un modèle avec une haute précision indique moins de faux positifs.
• Précision : ratio des prédictions correctes (y compris les vrais positifs et les vrais négatifs) sur le total des instances.
• Rappel : la proportion de cas positifs réels qui ont été correctement identifiés.
• Score F1 : la moyenne numérique de précision et de rappel, visant à trouver un équilibre entre ces deux mesures. Cela sert de compromis entre les faux positifs et les faux négatifs.

L'ordre des types de documents affichés est celui utilisé dans la dernière version de la comparaison. Si un type de document n'est pas disponible dans l'une des versions comparées, les valeurs de chaque mesure sont remplacées par N/A.

Remarque : si un champ a été supprimé dans la version actuelle, mais qu'il était disponible dans l'ancienne version avant que la fonctionnalité Comparer le modèle (Compare model) ne soit disponible, le nom est remplacé par Inconnu (Unknown).

Comparaison des modèles d'extraction

Pour comparer les performances de deux versions d'un modèle d'extraction, accédez d'abord à la section Mesurer (Measure ). Ensuite, sélectionnez Comparer le modèle (Compare model) pour le modèle d'extraction qui vous intéresse.

Vous pouvez choisir les versions que vous souhaitez comparer dans la liste déroulante en haut de chaque colonne. Par défaut, la version actuelle, qui indique la version la plus récente disponible, est sélectionnée à gauche et la version publiée la plus récente à droite.

Figure 2. Comparaison des modèles d'extraction

La comparaison des modèles d’extraction repose sur les mesures clés suivantes :

• Nom du champ : le nom du champ d’annotation.
• Type de contenu : le type de contenu du champ :
  • Chaîne de caractères (string)
  • Numérique
  • Date
  • Téléphone
  • Numéro d'identification
• Évaluation : score du modèle destiné à vous aider à visualiser les performances du champ extrait.
• Précision : la fraction du nombre total de prédictions effectuées par le modèle qui sont correctes.

L'ordre des noms de champs affiché est celui utilisé dans la dernière version de la comparaison. Si un nom de champ n'est pas disponible dans l'une des versions comparées, les valeurs de chaque mesure sont remplacées par N/A.

Remarque : si un champ a été supprimé dans la version actuelle, mais qu'il était disponible dans l'ancienne version avant que la fonctionnalité Comparer le modèle (Compare model) ne soit disponible, le nom est remplacé par Inconnu (Unknown).

Vous pouvez également comparer le score de champ des tables à partir de la section Table .

Vous pouvez télécharger le fichier de mesures avancées pour chaque version à partir de la page de comparaison à partir du bouton Télécharger les mesures avancées (Download advanced metrics) .