Precisão e recall explicados

Precisão e recall são métricas fundamentais para medir o desempenho de um modelo de machine learning e é importante que esses modelos de treinamento as compreendam antes de tentarem avaliar o desempenho de seu próprio modelo.

Então, o que essas medidas significam?

Precisão é a proporção de todas as previsões que estavam realmente corretas.

Recall é a proporção de todos os possíveis positivos verdadeiros que foram identificados.

Abaixo estão alguns exemplos do mundo real que explicam como a precisão e o recall funcionam.

Exemplo 1 - Cenário 1

Se você tem um passaporte eletrônico, pode estar familiarizado com os gateways eletrônico (e-gates) no controle de fronteira ao chegar no país. Eles têm máquinas de reconhecimento de imagem instaladas que são projetadas para analisar seu rosto e verificar se ele corresponde à versão digital no seu passaporte. Em suma, é um problema de classificação que eles estão tentando resolver – é essa pessoa que eles dizem ser ou não.

Digamos que um Aeroporto decida que deseja implementar esses cancelas eletrônicas. No entanto, eles querem verificar a eficiência das câmera em combinar os rostos das pessoas com as imagens dos passaportes antes de permitir que o público as use. Neste exemplo, o objetivo é usar uma câmera que apenas identifique (ou preveja) rostos que correspondam à imagem no passaporte. Essas câmera querem deixar passar o maior número de pessoas possível, mas captura todas as que possam estar usando o passaporte de outra pessoa ou um falso em que as imagens não correspondam.

Precisão

A precisão mediria a precisão da câmera ao deixar as pessoas corretas passarem pelos portas. Essencialmente, de todas as pessoas que deixou passar, a proporção delas tinha um passaporte correspondente.

No primeiro teste, você consegue 100 pessoas para usarem a nova câmera. Os resultados mostram que a câmera deixou passar 70 pessoas e rejeitou 30, que então têm que ir para as desktops tradicionais operadas por funcionários.

Das 70 pessoas permitidas, na verdade havia 4 que não deveriam ter permitido passar (já sabemos de antemão que eles estavam com os passaportes errados). Para calcular a precisão, faremos o seguinte:

Precisão = Número de pessoas identificadas corretamente / O número total de pessoas que passaram (correta e incorreta) = 66/(66+4) = 94%

Lembrar

Porém, há um pequeno problema aqui. Digamos que sabemos que existem, na verdade, 95 pessoas no total com passaportes corretos e que apenas 66 delas passaram corretamente (conforme acima), o que significa que 29 (95-66) pessoas foram rejeitadas incorretamente e tiveram que ingressar na fila manual. Como podemos fazer um trabalho melhor para identificar corretamente todas as pessoas que devemos deixar passar?

É aqui que entra em ação nossa outra medida, o recall. De todas as pessoas que a câmera deveria ter identificado como corretas e deixadas passar, a recall mede quantas delas foram capturadas. Neste exemplo, sabemos que apenas 66 das 95 pessoas que tinham passaportes corretos foram deixadas passar, portanto, a recall seria calculada da seguinte maneira:

Recall = Número de passaportes corretos identificados / O número total de pessoas com passaportes corretos = 66/95 = 69%

Exemplo 1 - Cenário 2

Vamos analisar outro cenário para mostrar como a precisão e o recall podem mudar. Usamos a mesma configuração, mas desta vez a câmera foi treinada em uma variedade maior de imagens e queremos testar o quanto isso melhora a câmera.

Assim como no Cenário 1, as mesmas 100 pessoas passam pelos gateways de passaporte novamente e sabemos que 95 delas têm passaportes corretos.

Porém, desta vez, 85 são autorizados a passar, com 15 sendo rejeitados para irem para as mesas tradicionais operadas por humanos. Dessas 85 pessoas permitidas passar pelos portas, 82 tiveram permissão para passar corretamente e 3 pessoas que não deveriam ter passado, pois estavam com passaportes errados.

A precisão aqui é = 82/(82+3) = 96%

Agora vamos ver como o recall foi afetado:

Recall = 82/95 = 86%

Neste cenário, temos uma pontuação de precisão semelhante, mas uma grande melhoria no recall. Isso significa que, embora nossas previsões ainda estivessem precisas (94% vs 96), conseguimos identificar mais casos em que alguém deveria ter passado porque tinha o passaporte correto (69% vs 86%). Isso mostra que o treinamento adicional melhorou significativamente o recall da câmera em comparação com o Cenário 1.

Exemplo 2

Outro exemplo simples mostra como as mesmas medidas podem diferir entre as situações.

Os alarmes de Incêndio são projetados para detectar quando um foco de calor começa. De certa forma, eles têm que prever quando há um foco de disparo, mas também há ocasiões em que podem se confundir e causar um falso alarme. O mais importante nessa situação é garantir que, caso haja um Incêndio, ele seja detectado 100% do tempo. Podemos aceitar até falsos alertas, desde que haja um foco de calor, ele seja detectado. Neste exemplo, ter um alto recall é mais importante – garantir que todos os disparos sejam detectados!

Digamos que em um ano haja 10 focos de calor detectados e apenas 1 deles seja real. O alarme/detector previu um disparo 10 vezes, 1 estava correto, 9 estavam incorretos. Neste caso, a precisão era de apenas 10% (1/10), mas a recall era de 100% (1/1). De todos os focos de atenção que existiram, o alarme de injetor detectou todos eles. Portanto, embora a precisão fosse baixa e houvesse muitos alarmes falsos, o recall era perfeito, e capturamos a única vez em que houve um foco de disparo.

O que é mais importante: precisão ou recall?

Há duas respostas corretas para essa pergunta:

• Ambos
• Depende

Os exemplos acima mostram uma contrapartida entre as duas métricas e como cada uma se torna mais importante, dependendo da situação para a qual é usada.

Tomando o exemplo do alarme de Incêndio, é mais importante detectar todos os casos de disparo, porque as consequências de não fazê-lo são perigosos. Se um chamas começasse e o detetor não funcionasse, as pessoas podiam perder a vida. Nesses cenários, queremos otimizar para um alto recall – para garantir que todos os casos sejam identificados, mesmo à custa de falsos alarmes de princípio de erro

Por outro lado, para o exemplo do portal dos passaportes, seria mais importante deixar passar apenas as pessoas cuja imagem em seus passaportes correspondesse àquela detectada pela câmera. Você não quer deixar passar alguém que tem um passaporte falso ou errado. Você deseja otimizar para alta precisão neste exemplo e não se importa se a pessoa ímpar que deveria ter sido deixada passar for enviada para a mesa para inspeção manual. Nesse caso, o recall seria menor, mas a precisão (que é mais importante aqui) seria alta.