Precisão e recall

Visão geral

Quando você cria uma taxonomia anotando dados, você está criando um modelo. Esse modelo usará os rótulos que você aplicou a um conjunto de dados para identificar conceitos e intenções semelhantes em outras mensagens e prever quais rótulos se aplicam a eles.

Ao fazê-lo, cada rótulo terá seu próprio conjunto de pontuações de precisão e recall .

Digamos que, como parte de uma taxonomia, tenhamos um rótulo na plataforma chamado "Solicitação de informações", como a precisão e o recall se relacionam com isso:

• Precisão: para cada 100 mensagens prevista com o rótulo “Solicitação de informações”, é a porcentagem de vezes que “Solicitação de informações” foi prevista corretamente do total de vezes que foi prevista. Uma precisão de 95% significaria que, para cada 100 mensagens, 95 seriam anotadas corretamente como "Solicitação de informações" e 5 seriam anotadas incorretamente (ou seja, elas não deveriam ser anotadas com aquele rótulo)
• Recall: para cada 100 mensagens que deveriam ser anotadas como "Solicitação de informações", quantas a plataforma encontrou. Um recall de 77% significaria que havia 23 mensagens que deveriam ter sido previstos como tendo a aplicação do rótulo “Solicitação de informações”, mas não foi possível

A opção "Recall" em todos os rótulos está diretamente relacionada à cobertura do seu modelo.

Se você tiver certeza de que sua taxonomia abrange todos os conceitos relevantes do seu conjunto de dados e seus rótulos tiverem precisão adequada, a recuperação desses rótulos determinará o quão bem seu conjunto de dados está coberto pelas previsões dos rótulos. Se todos os seus rótulos tiverem uma alta recuperação, seu modelo terá uma alta cobertura.

Precisão versus recall

Também precisamos entender a escolha entre precisão e recall dentro de uma versão de modelo específica.

As estatísticas de precisão e recall para cada rótulo em uma versão de modelo específica são determinadas por um limite de confiança (ou seja, qual é o nível de confiança do modelo ao qual esse rótulo se aplica?).

A plataforma publica estatísticas de precisão e recall ao vivo na página Validação, e os usuários podem entender como diferentes limites de confiança afetam as pontuações de precisão e recall usando o controle deslizante deslizante.

À medida que você aumenta o limite de confiança, o modelo tem mais certeza de que um rótulo se aplica e, portanto, a precisão normalmente aumentará. Ao mesmo tempo, como o modelo precisa ter mais confiança para aplicar uma previsão, ele fará menos previsões e a recall normalmente diminuirá. O contrário também é normalmente o caso quando você diminui o limite de confiança.

Portanto, como regra geral, quando você ajusta o limite de confiança e a precisão melhora, o recall normalmente diminui e vice-versa.

Dentro da plataforma, é importante entender essa escolha e o que ela significa ao configurar automações usando a plataforma. Os usuários terão que definir um limite de confiança para o rótulo que desejam que faça parte de sua automação, e esse limite precisa ser ajustado para fornecer estatísticas de precisão e recall que sejam aceitáveis para esse processo.

Certos processos podem atribuir valor à alta recuperação (capturar o maior número de instâncias de um evento possível), enquanto outros avaliarão a precisão (identificar corretamente instâncias de um evento).