Seleção dos limites de confiança do rótulo

Defina os limites de confiança do rótulo para controlar quando as previsões do modelo são aceitas durante o processamento automatizado no Communications Mining no Automation Cloud.

Introdução

A plataforma é normalmente usada em uma das primeiras etapas de um processo automatizado: ingerir, interpretar e estruturar uma comunicação de entrada, como um e-mail de cliente, muito parecido com o que um humano faria quando esse e-mail chegasse em sua caixa de entrada.

Quando a plataforma prevê quais rótulos ou tags se aplicam a uma comunicação, ela atribui a cada previsão uma pontuação de confiança (%) para mostrar o nível de confiança de que o rótulo se aplica.

Se essas previsões forem usadas para classificar automaticamente a comunicação, no entanto, é necessário haver uma decisão binária, em outras palavras, se esse rótulo se aplica ou não. É aqui que os limites de confiança entram.

O que é um limite de confiança

Um limite de confiança é a pontuação de confiança (%). , esse rótulo não se aplica.

Certifique-se de entender os limites de confiança e como selecionar o apropriado, para alcançar o equilíbrio certo de precisão e recall para esse rótulo.

Seleção de um limite para um rótulo

• Para selecionar um limite para um rótulo, prossiga da seguinte maneira:
  1. Navegue até a página Validação e selecione o rótulo na barra de filtro do rótulo.
  2. Arraste o controle deslizante de limite ou digite um valor % na caixa, conforme mostrado na imagem a seguir, para visualizar as diferentes estatísticas de precisão e recall que seriam alcançadas para esse limite
  3. O gráfico de precisão versus recall fornece uma indicação visual dos limites de confiança que maximizariam a precisão ou recall, ou fornecerão um equilíbrio entre os dois:
     • Na Figura 1, o limite de confiança selecionado (68,7%) maximizaria a precisão (100%.
     • Na Figura 2, o limite de confiança selecionado (39,8%) fornece um bom equilíbrio entre precisão e recall (ambos 92%).
     • Na Figura 3, o limite de confiança selecionado (17%) maximizaria o recall (100), ou seja, a plataforma deve identificar todas as instâncias em que esse rótulo deve ser aplicado, mas teria um valor de precisão menor (84%) como resultado.

Figura 1. Validação do rótulo com limite de confiança definido em 68,7%. Validação do rótulo com limite de confiança definido em 68,7%

Figura 2. Validação do rótulo com limite de confiança definido em 39,8%. Validação do rótulo com limite de confiança definido em 39,8%

Figura 3. Validação do rótulo com limite de confiança definido em 17%. Validação do rótulo com limite de confiança definido em 17%

Observação:

Label predictions will never be exactly 100% confident, so leaving the stream threshold at 100% effectively keeps the custom stream threshold disabled. The auto thresholds of Balanced, High Recall, and High Precision are still returned.

Escolhendo o limite direito

Dependendo do seu caso de uso e do rótulo específico em questão, pode ser interessante maximizar a precisão ou o recall, ou encontrar o limite que forneça o melhor equilíbrio possível de ambos.

Ao pensar em qual limite é necessário, pense em resultados potenciais, como qual é o custo ou consequência potencial para seu negócio se um rótulo for aplicado incorretamente ou perdido.

Para cada rótulo, seu limite deve ser escolhido com base no melhor resultado para os negócios se algo der errado, ou seja, algo for classificado incorretamente ( um falso positivo) ou algo estiver faltando ( um falso negativo).

Exemplo: maximização do recall

Por exemplo, se você quiser classificar automaticamente as comunicações de entrada em diferentes categorias, mas também tiver um rótulo para Urgent que encaminha as solicitações para uma fila de trabalho de alta prioridade, pode ser interessante maximizar o recall desse rótulo para garantir que nenhuma solicitação urgente seja perdida e aceita uma precisão menor como resultado.

Isso ocorre porque pode não ser muito prejudicial para os negócios ter algumas solicitações menos urgentes colocadas na fila de prioridade, mas pode ser muito prejudicial para os negócios perder uma solicitação urgente que é sensível ao tempo.

Exemplo: maximização da precisão

Como outro exemplo, se você estiver automatizando um tipo de solicitação de ponta a ponta que seja alguma forma de transação monetária ou seja de alto valor, você provavelmente escolherá um limite que maximizar a precisão, de modo a automatizar apenas de ponta a ponta encerrar as transações nas quais a plataforma estava mais confiante. As previsões com confianças abaixo do limite seriam revisadas manualmente.

Isso ocorre porque o custo de uma previsão errada (um falso positivo) é potencialmente muito alto se uma transação for processada incorretamente.

Limites automáticos

Depois que um rótulo tiver sido suficientemente treinado, o Communications Mining™ sugere automaticamente limites para você, que incluem o seguinte:

• Alto Recall: maximiza o recall do seu rótulo, mantendo uma precisão razoável do modelo.
• Alta precisão: maximiza a precisão do seu rótulo com compromisso mínimo do recall do modelo.
• Equilibrado: atinge um equilíbrio entre precisão e recall, sem priorizar um em relação ao outro.