Precisão e recall explicados

Métricas de precisão e recall usadas para medir o desempenho do modelo de machine learning no Communications Mining no Automation Cloud.

Precisão e Recall são métricas fundamentais para medir o desempenho de um modelo de aprendizado de máquina. Se você estiver treinando modelos, certifique-se de entender as métricas antes de tentar avaliar o desempenho do modelo.

• Precisão é a proporção de todas as previsões que estavam realmente corretas.
• Recall é a proporção de todos os possíveis positivos verdadeiros que a plataforma identificou.

Exemplos

Esta seção contém alguns exemplos reais que explicam como a precisão e o recall funcionam.

Exemplo 1 - Cenário 1

Se você tem um passaporte eletrônico, pode estar familiarizado com os gateways eletrônico (e-gates) no controle de fronteira ao chegar no país. Eles têm máquinas de reconhecimento de imagem instaladas que são projetadas para analisar seu rosto e verificar se ele corresponde à versão digital no seu passaporte. Em suma, é um problema de classificação que eles estão tentando resolver – é essa pessoa que eles dizem ser ou não.

Let’s say an airport decides it wants to implement these electronic gates. However, they want to check how effective the cameras are at matching peoples’ faces to passport images before they let the public use them.

Neste exemplo, o objetivo é usar uma câmera que identifique apenas (ou preveja) rostos que correspondam à imagem no passaporte. Essas máquinas permitem a passagem do maior número de pessoas, mas capturam todas as que podem estar usando o passaporte de outra pessoa ou um passaporte falso em que as imagens não correspondem.

Precisão

A precisão mediria a precisão da câmera ao deixar as pessoas corretas passarem pelos portas. Essencialmente, de todas as pessoas que deixou passar, a proporção delas tinha um passaporte correspondente.

In the first test you get 100 people to use the new camera. The results show the camera let 70 people through and rejected 30, who then have to go to the traditional desks manned by people.

Das 70 pessoas permitidas, na verdade havia 4 que não deveriam ter permitido passar (já sabemos de antemão que eles estavam com os passaportes errados). Para calcular a precisão, faremos o seguinte:

Precisão = Número de pessoas identificadas corretamente / O número total de pessoas que passaram (correta e incorreta) = 66/(66+4) = 94%

Lembrar

Porém, há um pequeno problema aqui. Digamos que sabemos que na verdade há 95 pessoas no total com passaportes corretos e apenas 66 delas passaram corretamente (conforme o anterior), o que significa que 29 (95-66) pessoas foram rejeitadas incorretamente e tiveram que entrar na fila manual . Como podemos identificar melhor todas as pessoas que devemos deixar passar?

É aqui que entra em ação nossa outra medida, o recall. De todas as pessoas que a câmera deveria ter identificado como corretas e deixadas passar, a recall mede quantas delas foram capturadas. Neste exemplo, sabemos que apenas 66 das 95 pessoas que tinham passaportes corretos foram deixadas passar, portanto, a recall seria calculada da seguinte maneira:

Recall = Número de passaportes corretos identificados / O número total de pessoas com passaportes corretos = 66/95 = 69%

Exemplo 1 - Cenário 2

Vamos analisar outro cenário para mostrar como a precisão e o recall podem mudar. Usamos a mesma configuração, mas desta vez a câmera foi treinada em uma variedade maior de imagens e queremos testar o quanto isso melhora a câmera.

Assim como no Cenário 1, as mesmas 100 pessoas passam pelos gateways de passaporte novamente e sabemos que 95 delas têm passaportes corretos.

Porém, desta vez, 85 são autorizados a passar, com 15 sendo rejeitados para irem para as mesas tradicionais operadas por humanos. Dessas 85 pessoas permitidas passar pelos portas, 82 tiveram permissão para passar corretamente e 3 pessoas que não deveriam ter passado, pois estavam com passaportes errados.

A precisão neste caso é = 82/(82+3) = 96%

Recall = 82/95 = 86%

Neste cenário, temos uma pontuação de precisão semelhante, mas uma grande melhoria no recall. Isso significa que, embora nossas previsões ainda estivessem precisas (94% vs 96), conseguimos identificar mais casos em que alguém deveria ter passado porque tinha o passaporte correto (69% vs 86%). Isso mostra que o treinamento adicional melhorou significativamente o recall da câmera em comparação com o Cenário 1.

Exemplo 2

Outro exemplo simples mostra como as mesmas medidas podem diferir entre as situações.

Os assistentes de disparo são projetados para detectar quando um início de disparo deção deção de instrução. De certa forma, eles têm que prever quando há um foco de disparo, mas também há ocasiões em que se falham e causam um falso alerta.

O mais importante nessa situação é garantir que quando houver um disparo ele seja detectado 100% do tempo. Podemos aceitar o Outlook falso, desde que haja um disparo, ele seja detectado. Nesse exemplo, ter um alto recall é mais importante – garantindo que todos os disparos sejam detectados!

Digamos que em um ano haja 10 focos de calor detectados e apenas 1 deles seja real. O alarme/detector previu um disparo 10 vezes, 1 estava correto, 9 estavam incorretos. Neste caso, a precisão era de apenas 10% (1/10), mas a recall era de 100% (1/1). De todos os focos de atenção que existiram, o alarme de injetor detectou todos eles. Portanto, embora a precisão fosse baixa e houvesse muitos alarmes falsos, o recall era perfeito, e capturamos a única vez em que houve um foco de disparo.

Escolhendo entre Precisão e Recall

Ao decidir quais métricas usar, Precisão ou Recall, você deve considerar que pode usar ambas, ou escolher uma delas, dependendo do seu caso.

Os exemplos anteriores mostram uma escolha entre as duas métricas e como cada uma se torna mais importante, dependendo da situação para a qual é usada.

Taking the fire alarm example, it is more important to pick up all cases of fire, because the consequences of not doing so are dangerous. If a fire broke out and the detector didn’t work, people could die. In these scenarios we would want to optimise for high recall – to make sure all cases were identified, even at the expense of false fire alarms.

Em contraste, para o exemplo da porta do passaporte, seria mais importante permitir apenas as pessoas passarem pelas portas cuja imagem no passaporte corresponda à versão detectada pela câmera.

Você não quer deixar passar alguém que tinha um passaporte falso ou errado. Você deseja otimizar para alta precisão neste exemplo e não se importa se a pessoa ímpar que deveria ter sido deixada passar for enviada para a estação para inspeção manual. Nesse caso, o recall seria menor, mas a precisão (que é mais importante aqui) seria alta.