Précision

La précision mesure la proportion des prédictions que le modèle a faites qui étaient réellement correctes. Cela signifie qu'il identifie la proportion de vrais positifs que toutes les prédictions positives du modèle ont faites.

Précision = vrais positifs / (vrais positifs + faux positifs)

Par exemple, pour 100 messages dans un ensemble de données censé comme ayant le libellé Demande d’information, la précision correspond au pourcentage de fois où la demande d’information a été correctement prédite par rapport au nombre total de fois où elle a été prédite.

Une précision de 95 % signifierait que pour 100 messages prédits comme ayant un libellé spécifique, 95 seraient correctement annotés et 5 seraient mal annotés, ce qui signifie qu’ils n’ auraient pas dû être annotés avec ce libellé.

Pour une explication plus détaillée sur le fonctionnement de la précision, consultez la section Précision et rappel expliqué.

Précision moyenne (AP)

Le score AP d'un libellé individuel est calculé comme la moyenne de tous les scores de précision à chaque valeur de rappel, compris entre 0 et 100 %, pour ce libellé.

Fondamentalement, la précision moyenne mesure les performances du modèle sur tous les seuils de confiance pour cette étiquette.

Précision moyenne (MAP)

La carte est l’une des mesures les plus utiles des performances globales du modèle et constitue un moyen simple de comparer différentes versions de modèle les unes par rapport aux autres.

Le score MAP prend la moyenne du score de précision moyen pour chaque libellé de votre taxonomie possédant au moins 20 exemples dans l'ensemble d'entraînement utilisé dans la validation.

En règle générale, plus le score MAP est élevé, plus le modèle est performant dans son ensemble, bien que ce ne soit pas le seul facteur à prendre en compte pour comprendre la santé d’un modèle. Il est également important de savoir que votre modèle n'est pas biaisé et qu'il présente une couverture élevée .

Précision moyenne au moment du rappel

La précision moyenne au rappel est une autre mesure qui indique les performances globales du modèle. Elle est présentée graphiquement comme une courbe de précision à rappel moyenne sur tous les libellés de votre taxonomie.