Precisão e recall explicados

Métricas de precisão e recall usadas para medir o desempenho do modelo de machine learning no Communications Mining no Automation Cloud.

Precisão e Recall são métricas fundamentais para medir o desempenho de um modelo de aprendizado de máquina. Se você estiver treinando modelos, certifique-se de entender as métricas antes de tentar avaliar o desempenho do modelo.

• Precisão é a proporção de todas as previsões que estavam realmente corretas.
• Recall é a proporção de todos os possíveis positivos verdadeiros que a plataforma identificou.

Exemplos

Esta seção contém alguns exemplos reais que explicam como a precisão e o recall funcionam.

Exemplo 1 - Cenário 1

Se você tem um passaporte eletrônico, pode estar familiarizado com os gateways eletrônico (e-gates) no controle de fronteira ao chegar no país. Eles têm máquinas de reconhecimento de imagem instaladas que são projetadas para analisar seu rosto e verificar se ele corresponde à versão digital no seu passaporte. Em suma, é um problema de classificação que eles estão tentando resolver – é essa pessoa que eles dizem ser ou não.

Digamos que um aeroporto decida que queira implementar essas portas eletrônicas. No entanto, eles querem verificar a eficácia das máquinas na correspondência dos rostos das pessoas com imagens de passaportes antes de permitirem que o público as use.

Neste exemplo, o objetivo é usar uma câmera que identifique apenas (ou preveja) rostos que correspondam à imagem no passaporte. Essas máquinas permitem a passagem do maior número de pessoas, mas capturam todas as que podem estar usando o passaporte de outra pessoa ou um passaporte falso em que as imagens não correspondem.

Precisão

A precisão mediria a precisão da câmera ao deixar as pessoas corretas passarem pelos portas. Essencialmente, de todas as pessoas que deixou passar, a proporção delas tinha um passaporte correspondente.

No primeiro teste, você consegue 100 pessoas para usarem a nova câmera. Os resultados mostram que a câmera deixou passar 70 pessoas e rejeitou 30, que então têm que ir para as desktops tradicionais operadas por funcionários.

Das 70 pessoas permitidas, na verdade havia 4 que não deveriam ter permitido passar (já sabemos de antemão que eles estavam com os passaportes errados). Para calcular a precisão, faremos o seguinte:

Precisão = Número de pessoas identificadas corretamente / O número total de pessoas que passaram (correta e incorreta) = 66/(66+4) = 94%

Lembrar

Porém, há um pequeno problema aqui. Digamos que sabemos que na verdade há 95 pessoas no total com passaportes corretos e apenas 66 delas passaram corretamente (conforme o anterior), o que significa que 29 (95-66) pessoas foram rejeitadas incorretamente e tiveram que entrar na fila manual . Como podemos identificar melhor todas as pessoas que devemos deixar passar?

É aqui que entra em ação nossa outra medida, o recall. De todas as pessoas que a câmera deveria ter identificado como corretas e deixadas passar, a recall mede quantas delas foram capturadas. Neste exemplo, sabemos que apenas 66 das 95 pessoas que tinham passaportes corretos foram deixadas passar, portanto, a recall seria calculada da seguinte maneira:

Recall = Número de passaportes corretos identificados / O número total de pessoas com passaportes corretos = 66/95 = 69%

Exemplo 1 - Cenário 2

Vamos analisar outro cenário para mostrar como a precisão e o recall podem mudar. Usamos a mesma configuração, mas desta vez a câmera foi treinada em uma variedade maior de imagens e queremos testar o quanto isso melhora a câmera.

Assim como no Cenário 1, as mesmas 100 pessoas passam pelos gateways de passaporte novamente e sabemos que 95 delas têm passaportes corretos.

Porém, desta vez, 85 são autorizados a passar, com 15 sendo rejeitados para irem para as mesas tradicionais operadas por humanos. Dessas 85 pessoas permitidas passar pelos portas, 82 tiveram permissão para passar corretamente e 3 pessoas que não deveriam ter passado, pois estavam com passaportes errados.

A precisão neste caso é = 82/(82+3) = 96%

Recall = 82/95 = 86%

Neste cenário, temos uma pontuação de precisão semelhante, mas uma grande melhoria no recall. Isso significa que, embora nossas previsões ainda estivessem precisas (94% vs 96), conseguimos identificar mais casos em que alguém deveria ter passado porque tinha o passaporte correto (69% vs 86%). Isso mostra que o treinamento adicional melhorou significativamente o recall da câmera em comparação com o Cenário 1.

Exemplo 2

Outro exemplo simples mostra como as mesmas medidas podem diferir entre as situações.

Os assistentes de disparo são projetados para detectar quando um início de disparo deção deção de instrução. De certa forma, eles têm que prever quando há um foco de disparo, mas também há ocasiões em que se falham e causam um falso alerta.

O mais importante nessa situação é garantir que quando houver um disparo ele seja detectado 100% do tempo. Podemos aceitar o Outlook falso, desde que haja um disparo, ele seja detectado. Nesse exemplo, ter um alto recall é mais importante – garantindo que todos os disparos sejam detectados!

Digamos que em um ano haja 10 focos de calor detectados e apenas 1 deles seja real. O alarme/detector previu um disparo 10 vezes, 1 estava correto, 9 estavam incorretos. Neste caso, a precisão era de apenas 10% (1/10), mas a recall era de 100% (1/1). De todos os focos de atenção que existiram, o alarme de injetor detectou todos eles. Portanto, embora a precisão fosse baixa e houvesse muitos alarmes falsos, o recall era perfeito, e capturamos a única vez em que houve um foco de disparo.

Escolhendo entre Precisão e Recall

Ao decidir quais métricas usar, Precisão ou Recall, você deve considerar que pode usar ambas, ou escolher uma delas, dependendo do seu caso.

Os exemplos anteriores mostram uma escolha entre as duas métricas e como cada uma se torna mais importante, dependendo da situação para a qual é usada.

Tomando o exemplo do alarme de Incêndio, é mais importante detectar todos os casos de disparo, porque as consequências de não fazê-lo são perigosos. Se um chamas começasse e o detetor não funcionasse, as pessoas podiam perder a vida. Nesses cenários, queremos otimizar para um alto recall – para garantir que todos os casos sejam identificados, mesmo à custa de falsos alarmes de princípio de erro

Em contraste, para o exemplo da porta do passaporte, seria mais importante permitir apenas as pessoas passarem pelas portas cuja imagem no passaporte corresponda à versão detectada pela câmera.

Você não quer deixar passar alguém que tinha um passaporte falso ou errado. Você deseja otimizar para alta precisão neste exemplo e não se importa se a pessoa ímpar que deveria ter sido deixada passar for enviada para a estação para inspeção manual. Nesse caso, o recall seria menor, mas a precisão (que é mais importante aqui) seria alta.