- Introdução
- Balanceamento
- Clusters
- Desvio de conceito
- Cobertura
- Conjuntos de dados
- Entidades
- Rótulos (previsões, níveis de confiança, hierarquia etc.)
- Modelos
- Transmissões
- Classificação do Modelo
- Projetos
- Precisão
- Lembrar
- Mensagens revisadas e não revisadas
- Fontes
- Taxonomias
- Treinamento
- Previsões positivos e negativos verdadeiros e falsos
- Validação
- Mensagens
- Administração
- Gerenciar origens e conjuntos de dados
- Entender a estrutura de dados e permissões
- Crie uma origem de dados na GUI
- Carregar um arquivo CSV para uma origem
- Criar um conjunto de dados
- Origens e conjuntos de dados multilíngues
- Habilitando o sentimento em um conjunto de dados
- Corrigir configurações de conjunto de dados
- Excluir mensagens por meio da interface do usuário
- Excluir um conjunto de dados
- Exportar um conjunto de dados
- Usando integrações do Exchange
- Preparando dados para upload de .CSV
- Treinamento e manutenção do modelo
- Noções Básicas sobre rótulos, entidades e metadados
- Hierarquia de rótulo e práticas recomendadas
- Definição dos seus objetivos de taxonomia
- Casos de uso de análise versus automação
- Transformando seus objetivos em rótulos
- Criação da sua estrutura taxonômica
- Práticas recomendadas de design de taxonomia
- Importando sua taxonomia
- Visão geral do processo de treinamento do modelo
- Anotação Generativa (Novo)
- Entendendo o status do seu conjunto de dados
- Práticas recomendadas de treinamento e rotulagem de modelos
- Treinamento com análise de sentimento de rótulo habilitada
- Treinamento
- Introdução a "Refinar"
- Precisão e recall explicados
- Precisão e recall
- Como funciona a Validação?
- Compreender e melhorar o desempenho do modelo
- Por que um rótulo pode ter uma precisão média baixa?
- Treinamento usando "Check label" e "Missed label"
- Treinamento usando Ensinar rótulo (Refinar)
- Treinamento usando a Pesquisa (Refinamento)
- Noções Básicas e Aumentando a Cobertura
- Como melhorar o balanceamento e usar o 'Rebalance'
- Quando parar de treinar seu modelo
- Definição e configuração de suas entidades
- Noções Básicas sobre Entidades
- Quais entidades pré-treinadas estão disponíveis?
- Habilitar, desabilitar, atualizar e criar entidades
- Filtragem de entidades
- Revisar e aplicar entidades
- Validação para entidades
- Melhoria do desempenho de entidade
- Como criar entidades regex personalizadas
- Uso de Análise e Monitoramento
- Automations e Communications Mining
- Perguntas frequentes e mais
Precisão e recall
Visão geral
Quando você cria uma taxonomia rotulando dados, você está criando um modelo. Esse modelo usará os rótulos que você aplicou a um conjunto de dados para identificar conceitos e intenções semelhantes em outras mensagens e prever quais rótulos se aplicam a eles.
Ao fazê-lo, cada rótulo terá seu próprio conjunto de pontuações de precisão e recall .
Digamos que, como parte de uma taxonomia, tenhamos um rótulo na plataforma chamado "Solicitação de informações", como a precisão e o recall se relacionam com isso:
- Precisão: para cada 100 mensagens prevista com o rótulo “Solicitação de informações”, é a porcentagem de vezes que “Solicitação de informações” foi prevista corretamente do total de vezes que foi prevista. Uma precisão de 95% significaria que, para cada 100 mensagens, 95 seriam rotuladas corretamente como "Solicitação de informações" e 5 seriam rotulados incorretamente (ou seja, não deveriam ter sido rotulados com esse rótulo)
- Recall: para cada 100 mensagens que deveriam ser rotuladas como "Solicitação de informações", quantas a plataforma encontrou. Um recall de 77% significaria que havia 23 mensagens que deveriam ter sido previstos como tendo a aplicação do rótulo “Solicitação de informações”, mas não foi possível
A opção "Recall" em todos os rótulos está diretamente relacionada à cobertura do seu modelo.
Se você tiver certeza de que sua taxonomia abrange todos os conceitos relevantes do seu conjunto de dados e seus rótulos tiverem precisão adequada, a recuperação desses rótulos determinará o quão bem seu conjunto de dados está coberto pelas previsões dos rótulos. Se todos os seus rótulos tiverem uma alta recuperação, seu modelo terá uma alta cobertura.
Precisão versus recall
Também precisamos entender a escolha entre precisão e recall dentro de uma versão de modelo específica.
As estatísticas de precisão e recall para cada rótulo em uma versão de modelo específica são determinadas por um limite de confiança (ou seja, qual é o nível de confiança do modelo ao qual esse rótulo se aplica?).
A plataforma publica estatísticas de precisão e recall ao vivo na página Validação, e os usuários podem entender como diferentes limites de confiança afetam as pontuações de precisão e recall usando o controle deslizante deslizante.
À medida que você aumenta o limite de confiança, o modelo tem mais certeza de que um rótulo se aplica e, portanto, a precisão normalmente aumentará. Ao mesmo tempo, como o modelo precisa ter mais confiança para aplicar uma previsão, ele fará menos previsões e a recall normalmente diminuirá. O contrário também é normalmente o caso quando você diminui o limite de confiança.
Portanto, como regra geral, quando você ajusta o limite de confiança e a precisão melhora, o recall normalmente diminui e vice-versa.
Dentro da plataforma, é importante entender essa escolha e o que ela significa ao configurar automações usando a plataforma. Os usuários terão que definir um limite de confiança para o rótulo que desejam que faça parte de sua automação, e esse limite precisa ser ajustado para fornecer estatísticas de precisão e recall que sejam aceitáveis para esse processo.
Certos processos podem atribuir valor à alta recuperação (capturar o maior número de instâncias de um evento possível), enquanto outros avaliarão a precisão (identificar corretamente instâncias de um evento).