Validation

La page Validation (Validation) affiche aux utilisateurs des informations détaillées sur les performances de leur modèle, pour les libellés et les champs généraux.

Dans l'onglet «Libellés », les utilisateurs peuvent voir leur évaluation globale de modèle d'étiquette, y compris une répartition détaillée des facteurs qui composent leur évaluation, ainsi que d'autres métriques sur leur ensemble de données et les performances des étiquettes individuelles.

Dans l'onglet Champs généraux (General fields), les utilisateurs peuvent voir les statistiques sur les performances des prédictions de champ général pour tous les champs généraux activés dans l'ensemble de données.

Page de validation par défaut pour les « libellés »

La liste déroulante « Version du modèle », située au-dessus de la notation du modèle, vous permet de voir tous les scores de validation des versions de modèle antérieures pour un ensemble de données donné. Vous pouvez également hiérarchiser ou « ajouter » des éléments individuels afin qu’ils apparaissent en haut de la liste à l’avenir. Cet outil peut être utile pour suivre et comparer les progrès au fur et à mesure que vous construisez votre modèle.

La liste déroulante de la version du modèle

Libellés

L'onglet 'Facteurs ' (tel qu'indiqué ci-dessus) affiche :

• Les quatre facteurs clés qui contribuent à l'évaluation du modèle : équilibre, couverture, performances moyennes des libellés et performances des libellés les plus performants
• Pour chaque facteur, il fournit un score et une ventilation des contributeurs au score du facteur
• Cliquable avec les meilleures actions recommandées pour améliorer le score de chaque facteur

L'onglet 'Metrics' (tel qu'indiqué ci-dessous) affiche :

• La taille de l'ensemble d'entraînement (training set size) : c'est-à-dire le nombre de messages sur lesquels le modèle a été entraîné
• La taille de l'ensemble de tests, c'est-à-dire le nombre de messages pour lesquels le modèle a été évalué
• Nombre de libellés (Number of labels) : correspond au nombre total de libellés dans votre taxonomie
• Précision moyenne au rappel : un graphique montrant la précision moyenne à une valeur de rappel donnée sur tous les libellés
• Précision moyenne (Medium method) : une statistique montrant la précision moyenne sur tous les libellés
• Un graphique montrant, pour tous les libellés, la précision moyenne par libellé par rapport à la taille de l'ensemble d'apprentissage

Onglet Métriques dans la validation des « Libellés »

La page Validation (Validation) permet également aux utilisateurs de sélectionner des libellés individuels dans leur taxonomie pour explorer leurs performances.

Après avoir sélectionné un libellé, les utilisateurs peuvent voir la précision moyenne de ce libellé, ainsi que la précision par rapport au rappel de ce libellé en fonction d'un seuil de confiance donné (que les utilisateurs peuvent ajuster eux-mêmes).

Graphiques de validation spécifiques aux libellés

Pour en savoir plus sur le fonctionnement réel de la validation des libellés et comment l'utiliser, consultez cette page.

Champs généraux

Page de validation des champs généraux

L'onglet Champs généraux (General Fields) (comme indiqué ci-dessus) affiche :

• Le nombre de champs généraux dans l'ensemble d'entraînement – c'est-à-dire le nombre de champs généraux annotés sur lesquels le modèle de validation a été formé
• Le nombre de champs généraux dans l'ensemble de tests – c'est-à-dire le nombre de champs généraux annotés sur lesquels le modèle de validation a été évalué
• Le nombre de messages dans l'ensemble d'entraînement – c'est-à-dire le nombre de messages qui ont des champs généraux annotés dans l'ensemble d'entraînement
• Le nombre de messages dans l’ensemble de tests – c’est-à-dire le nombre de messages qui ont des champs généraux annotés dans l’ensemble de tests
• Précision moyenne ( Average confidence ) : le score de précision moyen dans tous les champs généraux
• Rappel moyen - le score de rappel moyen dans tous les champs généraux
• Score F1 moyen ( Average F1 score ) : le score F1 moyen dans tous les champs généraux (le score F1 est la moyenne arrondie de la précision et du rappel, et les pondère de manière égale)
• Les mêmes statistiques, mais pour chaque champ général

Pour en savoir plus sur le fonctionnement réel de la Validation des champs généraux et son utilisation, reportez-vous ici.