Précision

La précision mesure la proportion de prédictions effectuées par le modèle qui étaient réellement correctes. C'est-à-dire, sur toutes les prédictions positives faites par le modèle, quelle est la proportion de vrais positifs.

Précision = vrais positifs /(vrai positifs + faux positifs)

Par exemple, pour tous les 100 messages d'un ensemble de données prédit comme ayant le libellé « Demande d'informations », la précision est le pourcentage de fois où la « Demande d'informations » a été correctement prédite par rapport au nombre total de fois où elle a été prédite.

Une précision de 95 % signifierait que pour tous les 100 messages prédits comme ayant un libellé spécifique, 95 seraient correctement annotés, et 5 seraient annotés à tort (c'est-à-dire qu'ils n' auraient pas dû être annotés avec ce libellé).

Pour une explication plus détaillée sur la façon dont fonctionne la précision, veuillez consulter ici.

Précision moyenne (AP)

Le score de précision (AP) moyen d'une étiquette individuelle est calculé comme la moyenne de tous les scores de précision à chaque valeur de rappel (entre 0 et 100 %) pour cette étiquette.

Fondamentalement, la précision moyenne mesure les performances du modèle sur tous les seuils de confiance pour cette étiquette.

Précision moyenne (MAP)

La précision moyenne (MAP) est l’une des mesures les plus utiles des performances globales du modèle et constitue un moyen simple de comparer différentes versions de modèles les unes par rapport aux autres.

Le score MAP prend la moyenne du score de précision moyen pour chaque libellé de votre taxonomie qui a au moins 20 exemples dans l'ensemble d'apprentissage utilisé dans la validation.

En règle générale, plus le score MAP est élevé, plus le modèle fonctionne globalement, bien que ce ne soit pas le seul facteur à prendre en compte pour connaître la santé d’un modèle. Il est également important de savoir que votre modèle n'est pas biaisé et dispose d'une haute couverture.

Précision moyenne au moment du rappel

La précision moyenne au rappel est une autre mesure qui indique les performances globales du modèle. Elle est présentée graphiquement comme une courbe de précision à rappel moyenne sur tous les libellés de votre taxonomie.

Exemple de précision moyenne à la courbe de rappel