Seleção dos limites de confiança do rótulo

Introdução

A plataforma é normalmente usada em uma das primeiras etapas de um processo automatizado: ingerir, interpretar e estruturar uma comunicação de entrada, como um e-mail de cliente, muito parecido com o que um humano faria quando esse e-mail chegasse em sua caixa de entrada.

Quando a plataforma prevê quais rótulos ou tags se aplicam a uma comunicação, ela atribui a cada previsão uma pontuação de confiança (%) para mostrar o nível de confiança de que o rótulo se aplica.

Se essas previsões forem usadas para classificar automaticamente a comunicação, no entanto, é necessário haver uma decisão binária, em outras palavras, se esse rótulo se aplica ou não. É aqui que os limites de confiança entram.

Um limite de confiança é a pontuação de confiança (%). , esse rótulo não se aplica.

Certifique-se de entender os limites de confiança e como selecionar o apropriado, para alcançar o equilíbrio certo de precisão e recall para esse rótulo.

Seleção de um limite para um rótulo

• Para selecionar um limite para um rótulo, prossiga da seguinte maneira:
  1. Navegue até a página Validação e selecione o rótulo na barra de filtro do rótulo.
  2. Arraste o controle deslizante de limite ou digite um valor % na caixa, conforme mostrado na imagem a seguir, para visualizar as diferentes estatísticas de precisão e recall que seriam alcançadas para esse limite
  3. O gráfico de precisão versus recall fornece uma indicação visual dos limites de confiança que maximizariam a precisão ou recall, ou fornecerão um equilíbrio entre os dois:
     • Na Figura 1, o limite de confiança selecionado (68,7%) maximizaria a precisão (100%.
     • Na Figura 2, o limite de confiança selecionado (39,8%) fornece um bom equilíbrio entre precisão e recall (ambos 92%).
     • Na Figura 3, o limite de confiança selecionado (17%) maximizaria o recall (100), ou seja, a plataforma deve identificar todas as instâncias em que esse rótulo deve ser aplicado, mas teria um valor de precisão menor (84%) como resultado.

Figura 1. Validação do rótulo com limite de confiança definido em 68,7%. Validação do rótulo com limite de confiança definido em 68,7%

Figura 2. Validação do rótulo com limite de confiança definido em 39,8%. Validação do rótulo com limite de confiança definido em 39,8%

Figura 3. Validação do rótulo com limite de confiança definido em 17%. Validação do rótulo com limite de confiança definido em 17%

Escolhendo o limite direito

Dependendo do seu caso de uso e do rótulo específico em questão, pode ser interessante maximizar a precisão ou o recall, ou encontrar o limite que forneça o melhor equilíbrio possível de ambos.

Ao pensar em qual limite é necessário, pense em resultados potenciais, como qual é o custo ou consequência potencial para seu negócio se um rótulo for aplicado incorretamente ou perdido.

Para cada rótulo, seu limite deve ser escolhido com base no melhor resultado para o negócio se algo der errado, ou seja, se algo for classificado incorretamente (um falso positivo) ou se algo passar despercebido (um falso negativo).

Por exemplo, se você quiser classificar automaticamente as comunicações de entrada em diferentes categorias, mas também tiver um rótulo para Urgente que encaminha as solicitações para uma fila de trabalho de alta prioridade, maximizar o recall desse rótulo para garantir que nenhuma solicitação urgente seja perdidos e aceitar uma precisão menor como resultado. Isso ocorre porque pode não ser muito prejudicial para a empresa ter algumas solicitações menos urgentes colocadas na fila de prioridade, mas pode ser muito negativo para a empresa perder uma solicitação urgente urgente.

Como outro exemplo, se você estivesse automatizando um tipo de solicitação de ponta a ponta que fosse alguma forma de transação monetário ou fosse de alto valor, você provavelmente escolheria um limite que maximizasse a precisão, de modo a automatizar apenas de ponta a ponta encerrar as transações em que a plataforma mais confiava. As previsões com confiança abaixo do limite seriam revisadas manualmente. Isso ocorre porque o custo de uma previsão errada (um falso positivo) é potencialmente muito alto se uma transação for processada incorretamente.

Limites automáticos

Depois que um rótulo tiver sido suficientemente treinado, o Communications Mining™ sugere automaticamente limites para você, que incluem o seguinte:

• Alto Recall: maximiza o recall do seu rótulo, mantendo uma precisão razoável do modelo.
• Alta precisão: maximiza a precisão da sua etiqueta com um compromisso mínimo no recall do modelo.
• Equilibrado: atinge um equilíbrio equilibrado entre precisão e recall, sem priorizar um sobre o outro.