Precisão

A precisão mede a proporção das previsões feitas pelo modelo que estavam realmente corretas. Ou seja, de todas as previsões positivas que o modelo fez, qual foi a proporção de verdadeiros positivos.

Precisão = verdadeiros positivos / (verdadeiros positivos + falsos positivos)

Por exemplo, para cada 100 mensagens em um conjunto de dados prevista como tendo o rótulo “Solicitação de informações”, a precisão é a porcentagem de vezes que “Solicitação de informações” foi prevista corretamente do total de vezes que foi prevista.

Uma precisão de 95% significaria que, para cada 100 mensagens prevista como tendo um rótulo específico, 95 seriam anotadas corretamente e 5 serão anotadas incorretamente (ou seja, elas não deveriam ter sido anotadas com aquele rótulo).

Para uma explicação mais detalhada sobre como a precisão funciona, consulte aqui.

Precisão média (AP)

A pontuação média de precisão (AP) para um rótulo individual é calculada como a média de todas as pontuações de precisão em cada valor de recall (entre 0 e 100%) para esse rótulo.

Essencialmente, a precisão média mede o desempenho do modelo em todos os limites de confiança para esse rótulo.

Precisão média média (MAPA)

Precisão média média (MAPA) é uma das medidas mais úteis do desempenho geral do modelo, sendo uma maneira fácil de comparar diferentes versões de modelos.

A pontuação do MAP leva a média da pontuação de precisão média para cada rótulo em sua taxonomia que tem pelo menos 20 exemplos no conjunto de treinamento usado na validação.

Normalmente, quanto maior a pontuação do MAP, melhor o desempenho geral do modelo, embora esse não seja o único fator que deve ser considerado ao se entender o quão íntegro é um modelo. Também é importante saber que seu modelo é independente e tem alta cobertura.

Precisão Média no Recall

A precisão média no recall é outra métrica que mostra o desempenho geral do modelo. Ela é apresentada graficamente como uma precisão na curva de recall, média de todos os rótulos em sua taxonomia.

Exemplo de precisão média na curva de recall