Precisão

Precision measures the proportion of the predictions the model makes that were actually correct. This means that it identifies what proportion were true positives of all the positive predictions that the model made.

Precision = true positives / (true positives + false positives)

Por exemplo, para cada 100 mensagens em um conjunto de dados prevista como tendo o rótulo Solicitação de informação, a precisão é a porcentagem de vezes que a Solicitação de informação foi prevista corretamente fora do total de vezes em que foi prevista.

Uma precisão de 95% significaria que, para cada 100 mensagens previstas como tendo um rótulo específico, 95 seriam anotadas corretamente e 5 serão anotadas incorretamente, o que significa que elas não deveriam ter sido anotadas com esse rótulo.

For a more detailed explanation on how precision works, check Precision and recall explained.

Precisão média (AP)

A pontuação AP para um rótulo individual é calculada como a média de todas as pontuações de precisão em cada valor de recall, entre 0 e 100%, para esse rótulo.

Essencialmente, a precisão média mede o desempenho do modelo em todos os limites de confiança para esse rótulo.

Precisão média média (MAPA)

MAP é uma das medidas mais úteis do desempenho geral do modelo e é uma maneira fácil de comparar diferentes versões de modelo entre si.

A pontuação do MAP leva a média da pontuação de precisão média para cada rótulo em sua taxonomia que tenha pelo menos 20 exemplos no conjunto de treinamento usado na Validação.

Typically, the higher the MAP score, the better the model is performing overall, although, this is not the only factor that should be considered when understanding how healthy a model is. It is also important to know that your model is unbiased and has high coverage.

Precisão Média no Recall

A precisão média no recall é outra métrica que mostra o desempenho geral do modelo. Ela é apresentada graficamente como uma precisão na curva de recall, média de todos os rótulos em sua taxonomia.