Explicación de la precisión y la recuperación

La precisión y la recuperación son métricas fundamentales para medir el rendimiento de un modelo de aprendizaje automático y es importante que los modelos de entrenamiento las entiendan antes de intentar evaluar el rendimiento de su propio modelo.

Entonces, ¿qué significan estas medidas?

La precisión es la proporción de todas las predicciones que fueron realmente correctas.

La recuperación es la proporción de todos los posibles verdaderos positivos que se identificaron.

A continuación se muestran algunos ejemplos del mundo real que explican cómo funcionan la precisión y la recuperación.

Ejemplo 1: escenario 1

Si tienes un pasaporte electrónico, es posible que estés familiarizado con las puertas electrónicas (e-gates) en el control fronterizo al llegar al país. Tienen instaladas cámaras de reconocimiento de imágenes diseñadas para analizar tu rostro y comprobar si coincide con la versión digital de tu pasaporte. En esencia, se trata de un problema de clasificación que están intentando resolver: ¿es esta persona quien dice ser o no?

Digamos que un aeropuerto decide que quiere implementar estas puertas electrónicas. Sin embargo, quieren comprobar la eficacia de las cámaras a la hora de hacer coincidir los rostros de las personas con las imágenes de los pasaportes antes de permitir que el público las utilice. En este ejemplo, el objetivo es utilizar una cámara que solo identifique (o prediga) las caras que coincidan con la imagen del pasaporte. Estas cámaras quieren dejar pasar a tantas personas como sea posible, pero capturan a todas las personas que podrían estar utilizando el pasaporte de otra persona, o uno falso en el que las imágenes no coinciden.

Precisión

La precisión mediría la precisión de la cámara al permitir que las personas correctas pasaran por las puertas. Esencialmente, de todas las personas a las que dejó pasar, ¿qué proporción de ellas tenía un pasaporte coincidente?

En la primera prueba, 100 personas utilizan la nueva cámara. Los resultados muestran que la cámara deja pasar a 70 personas y rechaza a 30, que luego tienen que ir a los escritorios tradicionales atendidos por personas.

De las 70 personas a las que dejó pasar, resulta que en realidad había 4 a las que no debería haber dejado pasar (ya sabemos de antemano que tenían los pasaportes equivocados). Para calcular la precisión, haríamos lo siguiente:

Precisión = Número de personas identificadas correctamente/Número total de personas dejadas pasar (correctas e incorrectas) = 66/(66+4) = 94 %

Recordar

Sin embargo, aquí hay un pequeño problema. Digamos que sabemos que en realidad hay 95 personas en total con pasaportes correctos, y solo 66 de ellas fueron autorizadas correctamente (como se indica anteriormente), lo que significa que 29 (95-66) personas fueron rechazadas incorrectamente y tuvieron que unirse a la cola manual. ¿Cómo podemos identificar mejor a todas las personas a las que debemos dejar pasar?

Aquí es donde entra en juego nuestra otra medida, la recuperación. De todas las personas que la cámara debería haber identificado como correctas y dejar pasar, recordar mide cuántas de ellas captó. En este ejemplo, sabemos que solo 66 de las 95 personas que tenían pasaportes correctos pudieron pasar, por lo que la recuperación se calcularía de la siguiente manera:

Recuperación = Número de pasaportes correctos identificados / Número total de personas con pasaportes correctos = 66/95 = 69 %

Ejemplo 1: escenario 2

Tomemos otro escenario para mostrar cómo podrían cambiar la precisión y la recuperación. Usamos la misma configuración, pero esta vez la cámara ha sido entrenada en una variedad más amplia de imágenes, y queremos probar cuánto mejora esto la cámara.

Al igual que en el escenario 1, las mismas 100 personas vuelven a pasar por las puertas de pasaportes y sabemos que 95 de ellas tienen pasaportes correctos.

Esta vez, sin embargo, se permite el paso a 85, y se rechaza a 15 para ir a los escritorios tradicionales atendidos por humanos. De esas 85 personas a las que se permitió el paso por las puertas, a 82 se les permitió pasar correctamente y a 3 personas no se les debería haber permitido el paso porque tenían los pasaportes equivocados.

La precisión aquí es = 82/(82+3) = 96 %

Ahora veamos cómo se vio afectada la recuperación:

Recuperación = 82/95 = 86 %

En este escenario tenemos una puntuación de precisión similar, pero una gran mejora en la recuperación. Esto significa que, aunque nuestras predicciones seguían siendo precisas (94 % frente a 96 %), pudimos identificar más casos en los que se debería haber dejado pasar a alguien porque tenía el pasaporte correcto (69 % frente a 86 %). Esto muestra que el entrenamiento adicional ha mejorado significativamente la recuperación de la cámara en comparación con el Escenario 1.

Ejemplo 2

Otro ejemplo sencillo muestra cómo las mismas medidas pueden diferir entre situaciones.

Las alarmas de incendio están diseñadas para detectar cuando se produce un incendio. En cierto modo, tienen que predecir cuándo hay un incendio, pero también hay ocasiones en las que se equivocan y provocan una falsa alarma. Lo que es más importante en esta situación es asegurarse de que cuando hay un incendio se detecta el 100 % de las veces. Podemos aceptar alguna que otra falsa alarma siempre y cuando se detecte un incendio. En este ejemplo, tener una alta recuperación es más importante: ¡asegurarse de que se detecten todos los incendios!

Digamos que en un año se detectan 10 incendios, y solo 1 de ellos es real. La alarma/detector predijo un incendio 10 veces, 1 fue correcta, 9 fueron incorrectas. En este caso, la precisión era solo del 10 % (1/10), pero la recuperación era del 100 % (1/1). De todos los incendios que existían, la alarma de incendios los detectó todos. Por tanto, aunque la precisión era escasa y se producían muchas falsas alarmas, la recuperación era perfecta y detectamos la única vez que se produjo un incendio.

¿Qué es más importante: la precisión o la recuperación?

Hay dos respuestas correctas a esa pregunta:

• Ambos
• Depende

Los ejemplos anteriores muestran una compensación entre las dos métricas y cómo cada una se vuelve más importante dependiendo de la situación para la que se utiliza.

Tomando el ejemplo de la alarma de incendio, es más importante detectar todos los casos de incendio, porque las consecuencias de no hacerlo son peligrosas. Si se produjera un incendio y el detector no funcionara, la gente podría morir. En estos escenarios, nos gustaría optimizar para una alta recuperación, para asegurarnos de que se identificaron todos los casos, incluso a expensas de falsas alarmas de incendio

Por el contrario, para el ejemplo de la puerta del pasaporte sería más importante dejar pasar solo a las personas cuya imagen en su pasaporte coincidiera con la que detectó la cámara. No querrás dejar pasar a alguien que tenía un pasaporte falso o incorrecto. Desea optimizar para obtener una alta precisión en este ejemplo, y no le importa si la extraña persona que debería haber sido dejada pasar es enviada al escritorio para su inspección manual. En este caso, la recuperación sería menor, pero la precisión (que es más importante aquí) sería alta.