Comprendre et améliorer les performances du modèle

Comprendre les performances globales du modèle

Le niveau de performance global d’un modèle d’apprentissage automatique est déterminé par un certain nombre de facteurs contributifs, qui doivent être pris en compte les uns avec les autres. Il ne suffit pas de déterminer si les libellés d'un modèle ont une précision moyenne élevée ) ou de simplement regarder la part d'un ensemble de données qui est couverte par les prédictions.

Pour être sûr qu'un modèle soit une véritable représentation d'un ensemble de données, avec des prédictions de libellé précises et fiables et une couverture élevée, nous évaluons les principaux facteurs suivants. Pour de plus amples informations, consultez la section Comment fonctionne la validation.

• Tous les libellés : évalue les performances moyennes de tous les libellés de la taxonomie
• Libellés peu performants : évalue la performance de 10 % de libellés qui ont les problèmes de performance les plus importants ou une santé globale plus faible.
• Couverture : évalue la proportion de messages qui sont censés avoir au moins un libellé informatif
• Équilibre : évalue si les données examinées sont une représentation efficace et équilibrée de l'ensemble des données

La plate-forme combine son évaluation de ces 4 facteurs dans une seule évaluation de modèle propriétaire facile à comprendre. Cette évaluation constitue la meilleure mesure des performances du modèle, car elle prend en compte tous les facteurs les plus importants pour lesquels un modèle de libellé doit être évalué, pondérée par leur importance relative.

La Évaluation du modèle est une note comprise entre 0 et 100, ce qui équivaut à une note Faible (0-49), Moyenne (50-69), Bien (70-89) ou Excellente (90-100).

La validation fournit également une décomposition de chacun de ces facteurs : chaque facteur se voit attribuer sa propre évaluation qualitative, ainsi que l'affichage des mesures qui contribuent à cette évaluation. Ceux-ci sont expliqués plus en détail ci-dessous.

Chaque facteur peut avoir une contribution positive ou négative à l' évaluation du modèle, en fonction de ses performances. Il est très possible que les modèles avec des évaluations Faible dans chaque facteur aient une note globale de zéro, surtout lorsque le processus d’entraînement du modèle commence.

Remarque : l’évaluation du modèle est spécifique aux libellés et ne prend pas en compte les performances des champs généraux. La validation fournit cependant également des mesures détaillées sur les performances des prédictions de champ général. Pour plus de détails, consultez Utilisation de champs généraux.

La liste déroulante Version du modèle vous permet d’afficher tous les scores de validation des versions antérieures du modèle sur un ensemble de données donné. Vous pouvez également hiérarchiser ou ajouter des valeurs individuelles en haut de la liste afin qu'elles apparaissent en haut de la liste à l'avenir. Cet outil peut être utile pour suivre et comparer les progrès pendant que vous créez votre modèle.

La liste déroulante garantit que vous n’avez pas besoin d’épingler une version de modèle pour voir les scores de validation correspondants. L'épinglage d'une version de modèle ne doit être utilisé que pour les versions de modèle que vous souhaitez pouvoir appeler en aval via l'API (par exemple, pour le routage automatisé).

La liste déroulante de la version du modèle

Facteurs

L'onglet Facteurs de Validation, comme indiqué précédemment, fournit une décomposition de chacun des facteurs clés pris en compte lors du calcul de la notation du modèle.

Chaque carte de facteur indique :

• La notation du facteur et une description qualitative de celui-ci
• Les contributeurs, qui sont les différents composants qui contribuent à l'évaluation de ce facteur
• Actions recommandées, répertoriées dans l’ordre de priorité, qui peuvent permettre d’améliorer l’évaluation du facteur

Tous les libellés

• Ce facteur évalue les performances moyennes de tous les libellés de la taxonomie,
• Il repose principalement sur la précision moyenne moyenne (MAP) sur tous les libellés, pondérée par la fréquence d'attribution
• Il prend également en compte le moment où certains libellés de la taxonomie comportent des avertissements de performances en rouge ou en orange
• Les actions recommandées pour ce facteur seront généralement conçues pour augmenter la précision moyenne de libellés spécifiques ou pour supprimer leurs avertissements de performances

Libellés peu performants

• Ce facteur évalue les performances des 10 % des libellés de la taxonomie qui présentent les problèmes de performances les plus importants ou la « santé » globale des libellés les plus bas (si aucun avertissement n'est renvoyé)
• Si même les 10 % inférieurs de vos libellés fonctionnent toujours très bien, c'est un bon signe que votre modèle est en bonne santé
• Cela dépend de la carte des libellés les moins performants, ainsi que si ces libellés comportent des avertissements significatifs en matière de performances (c'est-à-dire avertissements de couleur rouge ou orange).
• Les actions recommandées pour ce facteur seront généralement conçues pour augmenter la précision moyenne de libellés spécifiques peu performants et supprimer tous les autres avertissements individuels de performances

Couverture

• Ce facteur évalue la proportion de messages qui sont censés avoir au moins un libellé informatif. Pour de plus amples informations, consultez la section Comment fonctionne la validation.
• Il est très important qu'un modèle performant « couvre » autant que possible l'ensemble de données avec des prédictions d'étiquette informatives
• Les actions recommandées pour ce facteur sont conçues pour aider à augmenter la couverture de l'ensemble de données. Il s'agira le plus souvent d'un entraînement en mode Faible confiance .
• Pour de plus amples informations sur la couverture, consultez Comprendre et augmenter la couverture.

Équilibre

• Ce facteur évalue si les données examinées sont une représentation efficace et équilibrée de l'ensemble des données et est conçue pour détecter le biais d'annotation potentiel. Pour de plus amples informations, consultez la section Comment fonctionne la validation.
• Cela repose sur un score de similarité qui résulte de la comparaison des données examinées avec les données non examinées dans l'ensemble de données, et détermine si suffisamment de mode Mélanger a été utilisé lors de l'annotation des données.
• Il est important que les données examinées dans un ensemble de données soient aussi similaires que possible aux données non examinées, afin que la plate-forme puisse les identifier de façon fiable dans la mesure du possible.
• Les actions recommandées pour ce facteur sont conçues pour réduire tout biais d'annotation potentiel et augmenter le score de similarité des données examinées.
• Pour plus de détails sur la compréhension et l'amélioration de l'équilibre de l'ensemble de données, consultez Amélioration de l'équilibrage et utilisation de Rééquilibrage.

Remarque : la plate-forme essaiera toujours de visualiser les prochaines actions recommandées susceptibles d’améliorer un facteur, même si le facteur est classé Bien ou Excellente. C’est le cas si vous souhaitez continuer à optimiser les performances de ce facteur.

Métriques

L'onglet Métriques de la page Validation affiche des statistiques de performances moyennes des libellés, ainsi qu'un graphique montrant la précision moyenne de chaque libellé par rapport à la taille de l'ensemble d'entraînement. Le graphique signale également les libellés qui présentent des avertissements de performances en améliorer ou rouge.

Les statistiques de performances de libellé affichées sont :

• Précision moyenne (MAP)
• Précision moyenne au moment du rappel

Fondamentalement, plus votre score MAP est élevé, plus le modèle est performant globalement en termes de précision de ses prédictions, mais cela variera entre les ensembles de données en fonction du type de données et des objectifs sur lesquels vous avez centré votre taxonomie.

La carte n’est cependant pas une bonne mesure de couverture ou d’équilibre et ne doit pas être uniquement utilisée pour déterminer si votre modèle est adapté à un objectif. Pour de plus amples informations, consultez Comprendre et augmenter la couverture et Comprendre et améliorer les performances du modèle.

Comprendre les performances des libellés

Le graphique des performances des libellés présenté dans l'onglet Métriques de la page Validation donne une indication visuelle immédiate des performances de chaque libellé.

Pour qu'un libellé apparaisse sur ce graphique, il doit avoir au moins 20 exemples épinglés présents dans l'ensemble d'entraînement utilisé par la plateforme lors de la validation. Pour s'assurer que cela se produise, les utilisateurs doivent s'assurer qu'ils fournissent au moins 25 exemples épinglés (souvent plus) par étiquette.

Chaque étiquette sera tracée comme l'une des trois couleurs, en fonction de la compréhension par le modèle des performances de l'étiquette. Nous expliquons ci-dessous ce que cela signifie :

Indicateurs de performance des libellés

• Ces libellés figurant en bleu sur le graphique présentent un niveau de performance satisfaisant. Cela est basé sur de nombreux facteurs contributeurs, notamment le nombre et la variété d’exemples, le biais d’annotation et la précision moyenne de ce libellé.
• Les libellés libellés comme des membres affichent des performances légèrement inférieures à celles des performances suffisantes. Ils peuvent avoir une précision moyenne relativement faible, peu d’exemples d’entraînement, ou avoir pu être annotés de manière biaisée. Ces libellés nécessitent un peu d'entraînement/réparation pour améliorer leurs performances ou pour réduire les biais de la manière dont ils ont été entraînés.
• Les libellés marqués en rouge sont des libellés mal performants. Ils peuvent avoir une précision moyenne très faible, peu d’exemples d’entraînement ou être fortement biaisés dans la manière dont ils ont été annotés. Ces libellés peuvent nécessiter considérablement plus d’entraînement/réparation pour porter leurs performances à un niveau satisfaisant ou pour réduire considérablement les biais de la façon dont ils ont été entraînés.

Remarque : vous verrez les indicateurs de performance orange et rouge apparaître dans les barres de filtre de libellés dans Explore, Rapports et Validation. Cela vous permet d'être rapidement informé(e) des libellés ayant besoin d'aide, ainsi que des prédictions des libellés qui ne doivent pas être exploitées lors de l'utilisation des fonctionnalités d'analyse.

Performances des étiquettes individuelles

Les utilisateurs peuvent sélectionner des libellés individuels dans la barre de filtre des libellés, ou en sélectionnant le diagramme du libellé dans le graphique Tous les libellés , afin d'afficher les statistiques de performances du libellé. La vue spécifique des libellés affichera également les avertissements de performances et les prochaines suggestions d’action recommandées pour aider à améliorer ses performances.

La vue du libellé affichera la précision moyenne du libellé, ainsi que sa précision par rapport au rappel, en fonction d'un seuil de confiance donné, que les utilisateurs peuvent ajuster pour voir l'évolution de ce processus. Pour plus de détails, consultez Comprendre le curseur de seuil de libellé.

Amélioration globale du modèle et des performances des libellés individuels

Si votre modèle ou un libellé spécifique présente un avertissement en matière de performances, la plate-forme recommande la meilleure action qui, selon elle, permettra de remédier à cet avertissement. Cela se fera soit via l'une des cartes de facteur, soit lorsque vous sélectionnez un libellé spécifique dans la taxonomie ou dans le graphique Tous les libellés , comme indiqué précédemment.

Pour certains libellés dont la précision moyenne est très faible, la raison de leurs performances globales n’est pas toujours claire. Les raisons possibles pour lesquelles un libellé peut avoir une faible précision moyenne et comment l'améliorer sont expliquées dans l'article suivant Raisons d'une faible précision moyenne du libellé. La plate-forme fournira toujours ce qu'il juge comme les meilleures mesures correctives pour améliorer le libellé, répertoriées par ordre de priorité.

Lorsque vous n'êtes pas sur la page Validation , les avertissements de performances en rouge et en arbre s'affichent toujours dans le filtre de taxonomie dans Explorer et Rapports. Cela peut donc être un indicateur utile pour vérifier la validation pour voir les actions correctives recommandées.

Les suggestions d’actions suivantes agissent comme des liens que vous pouvez sélectionner pour vous rediriger directement vers la vue d’entraînement suggérée par la plate-forme afin d’améliorer la performance du libellé ou de réduire son biais. Les suggestions sont classées intelligemment avec l’action de priorité la plus élevée pour améliorer le libellé répertorié en premier.

Ils constituent l'outil le plus important pour vous aider à comprendre les performances de votre modèle, et doivent régulièrement être utilisés comme guides lorsque vous essayez d'améliorer les performances d'un libellé.

L'article suivant couvre en détail les raisons pour lesquelles un libellé peut avoir une précision moyenne faible . Les articles ultérieurs de cette section de la Base de connaissances couvrent également les autres modes d'entraînement que la plate-forme peut suggérer d'utiliser pour améliorer les performances de votre modèle, à savoir Vérifier le libellé, Libellé manquant, et Rééquilibrer.

Remarque : si vous avez sélectionné une ancienne version de modèle, vous verrez toujours les avertissements et les actions suggérées, mais si vous survolez l'icône d'information avec votre souris, une fenêtre contextuelle vous avertira que ces statistiques spécifiques ne peuvent pas être modifiées car il n'y a pas une version plus récente du modèle, sur laquelle vous pouvez travailler.

Comprendre le curseur de seuil de libellé

Remarque : l’ajustement du curseur du seuil de confiance n’a pas réellement un impact sur le modèle, il vous donne simplement une représentation visuelle de l’impact des prédictions pour ce libellé si un certain seuil de confiance était sélectionné. Cela peut vous aider à sélectionner un seuil approprié pour les flux ou à utiliser des prédictions pour l'automatisation en aval.

Pour ajuster le seuil de confiance d'un libellé, vous pouvez saisir une figure de pourcentage % dans la zone, ou simplement faire glisser le curseur sur l'échelle.

Annoter des statistiques de validation spécifiques

Notez que dans l'image précédente, le seuil de confiance pour le libellé Devis > Moteur est défini sur 68,7 %, avec une précision de 100 % et un rappel de 85 %.

Ensuite, dans l’image suivante, le seuil de confiance a été ajusté à l’aide du curseur à 17 %, ce qui réduit la précision à 84 % mais augmente le rappel de 100 %.

Graphiques de validation spécifiques aux libellés

Pour plus de détails sur la relation entre la précision et le rappel, consultez Précision et rappel.

Pour de plus amples informations sur la façon de sélectionner des seuils à utiliser dans les automatisations, consultez Sélectionner les seuils de confiance des libellés.