Précision

Precision measures the proportion of the predictions the model makes that were actually correct. This means that it identifies what proportion were true positives of all the positive predictions that the model made.

Precision = true positives / (true positives + false positives)

Par exemple, pour 100 messages dans un ensemble de données censé comme ayant le libellé Demande d’information, la précision correspond au pourcentage de fois où la demande d’information a été correctement prédite par rapport au nombre total de fois où elle a été prédite.

Une précision de 95 % signifierait que pour 100 messages prédits comme ayant un libellé spécifique, 95 seraient correctement annotés et 5 seraient mal annotés, ce qui signifie qu’ils n’ auraient pas dû être annotés avec ce libellé.

For a more detailed explanation on how precision works, check Precision and recall explained.

Précision moyenne (AP)

Le score AP d'un libellé individuel est calculé comme la moyenne de tous les scores de précision à chaque valeur de rappel, compris entre 0 et 100 %, pour ce libellé.

Fondamentalement, la précision moyenne mesure les performances du modèle sur tous les seuils de confiance pour cette étiquette.

Précision moyenne (MAP)

La carte est l’une des mesures les plus utiles des performances globales du modèle et constitue un moyen simple de comparer différentes versions de modèle les unes par rapport aux autres.

Le score MAP prend la moyenne du score de précision moyen pour chaque libellé de votre taxonomie possédant au moins 20 exemples dans l'ensemble d'entraînement utilisé dans la validation.

Typically, the higher the MAP score, the better the model is performing overall, although, this is not the only factor that should be considered when understanding how healthy a model is. It is also important to know that your model is unbiased and has high coverage.

Précision moyenne au moment du rappel

La précision moyenne au rappel est une autre mesure qui indique les performances globales du modèle. Elle est présentée graphiquement comme une courbe de précision à rappel moyenne sur tous les libellés de votre taxonomie.