Seleccionar umbrales de confianza de etiquetas

Introducción

La plataforma se utiliza normalmente en uno de los primeros pasos de un proceso automatizado: ingesta, interpretación y estructuración de una comunicación entrante, como el correo electrónico de un cliente, de forma muy parecida a como lo haría un ser humano cuando ese correo electrónico llegara a su bandeja de entrada.

Cuando la plataforma predice qué etiquetas se aplican a una comunicación, asigna a cada predicción una puntuación de confianza (%) para mostrar la confianza de que se aplica la etiqueta.

Sin embargo, si estas predicciones se van a utilizar para clasificar automáticamente la comunicación, debe haber una decisión binaria, en otras palabras, si esta etiqueta se aplica o no. Aquí es donde entran en juego los umbrales de confianza .

Un umbral de confianza es la puntuación de confianza (%) a partir de la cual un bot RPA u otro servicio de automatización tomará la predicción de la plataforma como binaria Sí, esta etiqueta se aplica, y por debajo de la cual tomará la predicción como binaria No , esta etiqueta no se aplica.

Make sure you understand confidence thresholds and how to select the appropriate one, in order to achieve the right balance of precision and recall for that label.

Seleccionar un umbral para una etiqueta

• Para seleccionar un umbral para una etiqueta, procede de la siguiente manera:
  1. Ve a la página Validación y selecciona la etiqueta en la barra de filtro de etiquetas.
  2. Arrastre el control deslizante del umbral, o escriba un porcentaje en el cuadro como se muestra en la siguiente imagen, para ver las diferentes estadísticas de precisión y recuperación que se lograrían para ese umbral
  3. El gráfico de precisión frente a recuperación te ofrece una indicación visual de los umbrales de confianza que maximizarían la precisión o la recuperación, o proporcionarían un equilibrio entre ambas:
     • En la Figura 1, el umbral de confianza seleccionado (68,7 %) maximizaría la precisión (100 %), es decir, la plataforma normalmente no debería hacer predicciones erróneas en este umbral, pero tendría como resultado un valor de recuperación más bajo (85 %).
     • En la Figura 2, el umbral de confianza seleccionado (39,8 %) proporciona un buen equilibrio entre precisión y recuperación (ambos 92 %).
     • En la Figura 3, el umbral de confianza seleccionado (17 %) maximizaría la recuperación (100 %), es decir, la plataforma debería identificar cada instancia en la que debería aplicarse esta etiqueta, pero como resultado tendría un valor de precisión más bajo (84 %).

Figura 1. Validación de etiquetas con umbral de confianza establecido en 68,7 %. Validación de etiquetas con umbral de confianza establecido en 68,7 %

Figura 2. Validación de etiquetas con un umbral de confianza establecido en 39,8 %. Validación de etiquetas con umbral de confianza establecido en 39,8 %

Figura 3. Validación de etiquetas con un umbral de confianza establecido en 17 %. Validación de etiquetas con umbral de confianza establecido en 17 %

Elegir el umbral correcto

Dependiendo de tu caso de uso y de la etiqueta específica en cuestión, es posible que desees maximizar la precisión o la recuperación, o encontrar el umbral que ofrezca el mejor equilibrio posible de ambos.

Al pensar en qué umbral se requiere, piense en los posibles resultados, como cuál es el coste potencial o la consecuencia para su negocio si una etiqueta se aplica incorrectamente o se omite.

For each label your threshold should be chosen based on the better outcome for the business if something goes wrong - i.e. something is incorrectly classified (a false positive), or something is missed (a false negative).

Por ejemplo, si desea clasificar automáticamente las comunicaciones entrantes en diferentes categorías, pero también tiene una etiqueta para Urgente que dirige las solicitudes a una cola de trabajo de alta prioridad, puede maximizar la recuperación de esta etiqueta para asegurarse de que no se reciben solicitudes urgentes. perdido, y aceptar una precisión más baja como resultado. Esto se debe a que puede no ser muy perjudicial para la empresa tener algunas solicitudes menos urgentes en la cola de prioridad, pero podría ser muy perjudicial para la empresa perder una solicitud urgente que es sensible al tiempo.

Como otro ejemplo, si estuviera automatizando un tipo de solicitud de extremo a extremo que fuera algún tipo de transacción monetaria o de alto valor, probablemente elegiría un umbral que maximizara la precisión, para automatizar solo de extremo a extremo. finalizar las transacciones en las que la plataforma tenía más confianza. Las predicciones con confianzas por debajo del umbral se revisarían manualmente. Esto se debe a que el coste de una predicción errónea (un falso positivo) es potencialmente muy alto si una transacción se procesa de forma incorrecta.

Umbrales automáticos

Una vez que una etiqueta ha sido suficientemente entrenada, Communications Mining™ sugiere automáticamente umbrales, que incluyen lo siguiente:

• Recuperación alta: maximiza la recuperación de tu etiqueta manteniendo una precisión de modelo razonable.
• Alta precisión: maximiza la precisión de tu etiqueta con un compromiso mínimo en la recuperación del modelo.
• Equilibrado: logra un equilibrio uniforme entre precisión y recuperación, sin priorizar una sobre la otra.