Precisão e recall

Visão geral

Quando você cria uma taxonomia anotando dados, você está criando um modelo. Esse modelo usará os rótulos que você aplicou a um conjunto de dados para identificar conceitos e intenções semelhantes em outras mensagens e prever quais rótulos se aplicam a eles.

Ao fazer isso, cada rótulo terá seu próprio conjunto de pontuações de precisão e recall.

Por exemplo, considere ter, como parte de uma taxonomia, um rótulo na plataforma chamado Solicitação de informações. Para esse cenário, precisão e recall podem estar relacionados a isso da seguinte forma:

• Precisão - Para cada 100 mensagens previstas como tendo o rótulo 'Request for information', é a porcentagem de vezes que a 'Request for information' foi prevista corretamente do total de vezes que foi prevista. Uma precisão de 95% significa que, a cada 100 mensagens, 95 serão anotadas corretamente como "Solicitação de informação" e 5 serão anotadas incorretamente (ou seja, não deveriam ter sido anotadas com esse rótulo)
• Recall — para cada 100 mensagens que deveriam ser anotadas como 'Solicitação de informação', quantas a plataforma encontrou. Um recall de 77% significaria que havia 23 mensagens que deveriam ter sido previstas como tendo a aplicação do rótulo "Solicitação de informação", mas elas foram perdidas

O recall em todos os rótulos está diretamente relacionado à cobertura do seu modelo.

Se você estiver confiante de que sua taxonomia abrange todos os conceitos relevantes dentro do seu conjunto de dados e seus rótulos tiverem precisão adequada, o recall desses rótulos determinará o quão bem seu conjunto de dados é coberto por previsões de rótulos. Se todos os seus rótulos tiverem alta recall, seu modelo terá alta cobertura.

Comparação de precisão e recall

Também precisamos entender a escolha entre precisão e recall dentro de uma versão de modelo específica.

As estatísticas de precisão e recall para cada rótulo em uma versão de modelo específica são determinadas por um limite de confiança (ou seja, qual é o nível de confiança do modelo ao qual esse rótulo se aplica?).

A plataforma publica estatísticas de precisão e recall ao vivo na página Validação, e os usuários podem entender como diferentes limites de confiança afetam as pontuações de precisão e recall usando o controle deslizante deslizante.

À medida que você aumenta o limite de confiança, o modelo tem mais certeza de que um rótulo se aplica e, portanto, a precisão normalmente aumentará. Ao mesmo tempo, como o modelo precisa ter mais confiança para aplicar uma previsão, ele fará menos previsões e a recall normalmente diminuirá. O contrário também é normalmente o caso quando você diminui o limite de confiança.

Portanto, como regra geral, quando você ajusta o limite de confiança e a precisão melhora, o recall normalmente diminui e vice-versa.

Dentro da plataforma, é importante entender essa escolha e o que ela significa ao configurar automações usando a plataforma. Os usuários terão que definir um limite de confiança para o rótulo que desejam que faça parte de sua automação, e esse limite precisa ser ajustado para fornecer estatísticas de precisão e recall que sejam aceitáveis para esse processo.

Certos processos podem atribuir valor à alta recuperação (capturar o maior número de instâncias de um evento possível), enquanto outros avaliarão a precisão (identificar corretamente instâncias de um evento).