- Introdução
- Balanceamento
- Clusters
- Desvio de conceito
- Cobertura
- Conjuntos de dados
- Entidades
- Rótulos (previsões, níveis de confiança, hierarquia etc.)
- Modelos
- Transmissões
- Classificação do Modelo
- Projetos
- Precisão
- Lembrar
- Mensagens revisadas e não revisadas
- Fontes
- Taxonomias
- Treinamento
- Previsões positivos e negativos verdadeiros e falsos
- Validação
- Mensagens
- Administração
- Gerenciar origens e conjuntos de dados
- Entender a estrutura de dados e permissões
- Crie uma origem de dados na GUI
- Carregar um arquivo CSV para uma origem
- Criar um conjunto de dados
- Origens e conjuntos de dados multilíngues
- Habilitando o sentimento em um conjunto de dados
- Corrigir configurações de conjunto de dados
- Excluir mensagens por meio da interface do usuário
- Excluir um conjunto de dados
- Exportar um conjunto de dados
- Usando integrações do Exchange
- Preparando dados para upload de .CSV
- Treinamento e manutenção do modelo
- Noções Básicas sobre rótulos, entidades e metadados
- Hierarquia de rótulo e práticas recomendadas
- Definição dos seus objetivos de taxonomia
- Casos de uso de análise versus automação
- Transformando seus objetivos em rótulos
- Criação da sua estrutura taxonômica
- Práticas recomendadas de design de taxonomia
- Importando sua taxonomia
- Visão geral do processo de treinamento do modelo
- Anotação Generativa (Novo)
- Entendendo o status do seu conjunto de dados
- Práticas recomendadas de treinamento e rotulagem de modelos
- Treinamento com análise de sentimento de rótulo habilitada
- Treinamento
- Introdução a "Refinar"
- Precisão e recall explicados
- Precisão e recall
- Como funciona a Validação?
- Compreender e melhorar o desempenho do modelo
- Por que um rótulo pode ter uma precisão média baixa?
- Treinamento usando "Check label" e "Missed label"
- Treinamento usando Ensinar rótulo (Refinar)
- Treinamento usando a Pesquisa (Refinamento)
- Noções Básicas e Aumentando a Cobertura
- Como melhorar o balanceamento e usar o 'Rebalance'
- Quando parar de treinar seu modelo
- Definição e configuração de suas entidades
- Noções Básicas sobre Entidades
- Quais entidades pré-treinadas estão disponíveis?
- Habilitar, desabilitar, atualizar e criar entidades
- Filtragem de entidades
- Revisar e aplicar entidades
- Validação para entidades
- Melhoria do desempenho de entidade
- Como criar entidades regex personalizadas
- Uso de Análise e Monitoramento
- Automations e Communications Mining
- Seleção dos limites de confiança do rótulo
- Criar um fluxo
- Atualizar ou excluir um stream
- Perguntas frequentes e mais
Seleção dos limites de confiança do rótulo
A plataforma é normalmente usada em uma das primeiras etapas de um processo automatizado: ingerir, interpretar e estruturar uma comunicação de entrada, como um e-mail de cliente, muito parecido com o que um humano faria quando esse e-mail chegasse em sua caixa de entrada.
Quando a plataforma prevê quais rótulos (ou tags) se aplicam a uma comunicação, ela atribui a cada previsão uma pontuação de confiança (%) para mostrar o quão confiável é a aplicação do rótulo.
Se essas previsões forem usadas para classificar automaticamente a comunicação, no entanto, é necessário que haja uma decisão binária: ou seja, esse rótulo se aplica ou não? É aqui que entram os limites de confiança .
Um limite de confiança é a pontuação de confiança (%) na qual ou acima da qual um robô de RPA ou outro serviço de automação receberá a previsão da plataforma como um binário "Sim, este rótulo se aplica" e abaixo do qual a previsão será aceita como um binário “Não, este rótulo não se aplica”.
Portanto, é muito importante entender os limites de confiança e como selecionar o apropriado, para atingir o equilíbrio certo entre precisão e recall para esse rótulo.
- Para selecionar um limite para um rótulo, navegue até a página Validação e selecione o rótulo na barra do filtro de rótulos
- Em seguida, basta arrastar o controle deslizante limite ou digitar um valor em % na caixa (conforme mostrado abaixo), para ver as diferentes estatísticas de precisão e recall que seriam alcançadas para esse limite
- O gráfico de precisão vs recall fornece uma indicação visual dos limites de confiança que maximizariam a precisão ou recall, ou forneceriam um equilíbrio entre os dois:
- Na primeira imagem abaixo, o limite de confiança selecionado (68,7%) maximizaria a precisão (100%).
- Na segunda imagem, o limite de confiança selecionado (39,8%) fornece um bom equilíbrio entre precisão e recall (ambos 92%)
- Na terceira imagem, o limite de confiança selecionado (17%) maximizaria a recall (100%), ou seja, a plataforma deve identificar todas as instâncias às quais esse rótulo deve ser aplicado, mas teria um valor de precisão menor (84%) como resultado
Então, como escolher o limiar certo para você? A resposta simples é: depende.
Dependendo do seu caso de uso e do rótulo específico em questão, você pode querer maximizar a precisão ou o recall, ou encontrar o limite que forneça o melhor equilíbrio possível entre ambos.
Ao pensar em qual limite é necessário, é útil pensar em possíveis resultados: qual é o custo ou consequência em potencial para sua empresa se um rótulo for aplicado incorretamente? E se faltar?
Para cada rótulo, seu limite deve ser escolhido com base no melhor resultado para o negócio se algo der errado, ou seja, se algo for classificado incorretamente (um falso positivo) ou se algo passar despercebido (um falso negativo).
Por exemplo, se você quiser classificar automaticamente as comunicações de entrada em diferentes categorias, mas também tinha um rótulo para "Urgent" que encaminhou as solicitações para uma fila de trabalho de alta prioridade, pode ser interessante maximizar a recall desse rótulo para garantir que nenhuma mensagem urgente solicitações são perdidas e aceitam uma precisão menor como resultado. Isso ocorre porque pode não ser muito prejudicial para o negócio ter algumas solicitações menos urgentes colocadas na fila de prioridade, mas pode ser muito prejudicial para o negócio perder uma solicitação urgente que é sensível ao tempo.
Como outro exemplo, se você estivesse automatizando um tipo de solicitação de ponta a ponta que fosse alguma forma de transação monetário ou fosse de alto valor, você provavelmente escolheria um limite que maximizasse a precisão, de modo a automatizar apenas de ponta a ponta encerrar as transações em que a plataforma mais confiava. As previsões com confiança abaixo do limite seriam revisadas manualmente. Isso ocorre porque o custo de uma previsão errada (um falso positivo) é potencialmente muito alto se uma transação for processada incorretamente.
