Précision et rappel expliqués

La précision et le rappel sont des mesures fondamentales pour mesurer les performances d'un modèle d'apprentissage automatique. Si vous entraînez des modèles, assurez-vous de bien comprendre les mesures avant de tenter d’évaluer les propres performances du modèle.

• La précision correspond à la proportion de toutes les prédictions qui étaient réellement correctes.
• Rappel est la proportion de tous les vrais positifs possibles que la plate-forme a identifié.

Exemples

Ces sections contiennent quelques exemples concrets qui expliquent le fonctionnement de la précision et du rappel.

Exemple 1 : Scénario 1

Si vous avez un passeport électronique, vous connaissez peut-être les portails électroniques (e-gates) au contrôle des files d'attente à votre entrée dans le pays. Ils ont installé des caméras de reconnaissance d'images conçues pour analyser votre visage et vérifier s'il correspond à la version numérique de votre passeport. Il s'agit essentiellement d'un problème de classification qu'ils essaient de résoudre – est-ce que cette personne est une personne qu'il dit être, ou non.

Supposons qu'un aéroport décide de mettre en œuvre ces portails électroniques. Cependant, ils veulent vérifier l’efficacité des caméras à faire correspondre le visage des gens avec les images de passeport avant de permettre au public de les utiliser. Dans cet exemple, le but est d'utiliser une caméra qui identifie (ou prédit) uniquement les visages qui correspondent à l'image du passeport. Ces appareils permettent de laisser passer le plus de personnes possible, mais de capturer toutes les personnes susceptibles d'utiliser le passeport de quelqu'un d'autre, ou un faux passeport avec des images différentes.

Précision

La précision mesurait la précision de la caméra pour laisser passer les bonnes personnes à travers les portails. Essentiellement, sur toutes les personnes qu'elle a laissées passer, quelle est la proportion d'entre elles qui avaient un passeport correspondant ?

Lors du premier test, vous invitez 100 personnes à utiliser la nouvelle caméra. Les résultats montrent que la caméra a laissé 70 personnes passer et en a rejeté 30, qui doivent ensuite se rendre sur les bureaux locaux gérés par les utilisateurs.

Sur les 70 personnes qu'il a laissées passer, il s'avère qu'il y en avait 4 qu'il n'aurait pas dû laisser passer (nous savons déjà au préalable qu'ils avaient les mauvais passeports). Pour calculer la précision, nous procéderions comme suit :

Précision = Nombre de personnes correctement identifiées /Le nombre total de personnes laissées (correspondents et incorrects) = 66/(66+4) = 94 %

Rappel

Il y a cependant un petit problème. Supposons que nous savons qu’il y a réellement 95 personnes avec un passeport correct, et seulement 66 d’entre elles ont été correctement transmises (comme le précédent), ce qui signifie que 29 personnes (95-66) ont été rejetées de manière incorrecte et ont dû rejoindre la file d’attente manuelle . Comment faire un meilleur travail en identifiant correctement toutes les personnes que nous devrions faire passer ?

C'est ici que notre autre mesure, le rappel, entre en jeu. Toutes les personnes que la caméra doit avoir identifiées comme étant correctes et laissées passer, le rappel mesure combien de celles-ci ont été capturées. Dans cet exemple, nous savons que seulement 66 des 95 personnes qui avaient des passeports corrects ont été laissés passer. Le rappel serait donc calculé de la manière suivante :

Rappel = Nombre de passeports corrects identifiés /Le nombre total de personnes avec des passeports corrects = 66/95 = 69 %

Exemple 1 - Scénario 2

Prenons un autre scénario pour montrer comment la précision et le rappel peuvent changer. Nous utilisons la même configuration, mais cette fois, la caméra a été entraînée sur une plus grande variété d'images, et nous voulons tester dans quelle mesure cela améliore la caméra.

Tout comme dans le Scénario 1, les mêmes 100 personnes passent à nouveau par les portails des passeports et nous savons que 95 d'entre elles ont des passeports corrects.

Cette fois, cependant, 85 pages sont autorisées, et 15 est rejetées afin d'accéder aux bureaux locaux gérés par des humains. Sur ces 85 personnes ayant passé les portails, il y avait 82 personnes correctement autorisées et 3 personnes qui n’ auraient pas dû être laissées car elles avaient les mauvais passeports.

La précision dans ce cas est = 82/(82+3) = 96 %

Rappel = 82/95 = 86 %

Dans ce scénario, nous avons un score de précision similaire mais une amélioration significative du rappel. Cela signifie que, bien que nos prédictions soient toujours exactes (94 % vs 96 %)., nous avons pu identifier davantage de cas où une personne aurait dû être laissée passer car elle avait le bon passeport (69 % vs 86 %). Cela montre que l'entraînement supplémentaire a considérablement amélioré le rappel de la caméra par rapport au scénario 1.

Exemple 2

Un autre exemple simple montre comment les mêmes mesures peuvent différer d'une situation à l'autre.

Les avertisseurs d'urgence sont conçus pour détecter lorsqu'un ouvre se déclenche. D'une certaine façon, ils doivent prédire quand il y a un donc, mais il y a aussi des occasions où ils se trompent et provoquent une fausse alerte. Ce qui est le plus important dans cette situation, c'est de s'assurer que lorsqu'il y a un donc, il est détecté 100 % du temps. Nous pouvons accepter la fausse alerte impair tant que lorsqu'il y a un , il est détecté. Dans cet exemple, avoir un rappel élevé est plus important – s'assurer que chaque accueil est détecté !

Supposons que par an, 10 incidents sont détectées parmi lesquelles 10 d'entre eux sont réels. L’alarme/détecteur a prédit un accueil 10 fois, 1 était correct, 9 erreurs. Dans ce cas, la précision n’était que de 10 % (1/10), mais le rappel était de 100 % (1/1). Tous les e-mails qui ont existé ont été détectés par l'alerte d'Déclencheur. Ainsi, bien que la précision soit mauvaise et qu’il y ait de nombreuses fausses alertes, le rappel est parfait et nous avons détecté la seule fois où il y a eu un escalade.

Choisir entre Précision et Rappel

Au moment de décider quelles mesures utiliser, Précision ou Rappel, vous devez tenir compte du fait que vous pouvez utiliser les deux ou en choisir une, selon votre cas.

Les exemples précédents illustrent un compromis entre les deux mesures et la façon dont chacune d’entre elles devient plus importante en fonction de la situation dans laquelle elle est utilisée.

Prenons l'exemple de l'alarme Déclencheur. Il est plus important de sélectionner tous les cas de déclenchement, car les conséquences de ne pas le faire sont dangereux. Si un avertissement se produisait et que le déclencheur ne fonctionnait pas, des personnes pouvaient tuer. Dans ces scénarios, nous voulons optimiser pour un rappel élevé - pour nous assurer que tous les cas ont été identifiés, même au détriment de fausses alertes d'arrêt.

En revanche, pour l'exemple de la passerelle du passeport, il serait plus important de ne laisser passer que les passants dont l'image sur le passeport correspondait à celle détectée par la caméra. Vous ne voulez pas laisser passer quelqu'un qui avait un faux ou un mauvais passeport. Vous voulez optimiser la précision de cet exemple, et cela ne vous convient pas si la personne inattendue qui aurait dû être laissée passer est envoyée au bureau pour une vérification manuelle. Dans ce cas, le rappel serait inférieur, mais la précision (qui compte plus ici) serait élevée.