Seleccionar umbrales de confianza de etiquetas

Introducción

La plataforma se utiliza normalmente en uno de los primeros pasos de un proceso automatizado: ingesta, interpretación y estructuración de una comunicación entrante, como el correo electrónico de un cliente, de forma muy parecida a como lo haría un ser humano cuando ese correo electrónico llegara a su bandeja de entrada.

Cuando la plataforma predice qué etiquetas (o etiquetas) se aplican a una comunicación, asigna a cada predicción una puntuación de confianza (%) para mostrar la confianza de que se aplica la etiqueta.

Sin embargo, si estas predicciones se van a utilizar para clasificar automáticamente la comunicación, debe haber una decisión binaria, es decir, ¿se aplica esta etiqueta o no? Aquí es donde entran en juego los umbrales de confianza .

Un umbral de confianza es la puntuación de confianza (%) a partir de la cual un bot RPA u otro servicio de automatización tomará la predicción de la plataforma como un binario 'Sí, esta etiqueta se aplica' y por debajo del cual tomará la predicción como un binario "No, esta etiqueta no se aplica".

Por lo tanto, es muy importante comprender los umbrales de confianza y cómo seleccionar el adecuado, para lograr el equilibrio adecuado de precisión y recuperación para esa etiqueta.

Seleccionar un umbral para una etiqueta

• Para seleccionar un umbral para una etiqueta, ve a la página Validación y selecciona la etiqueta en la barra de filtro de etiquetas
• A continuación, simplemente arrastre el control deslizante del umbral, o escriba un porcentaje en el cuadro (como se muestra a continuación), para ver las diferentes estadísticas de precisión y recuperación que se lograrían para ese umbral
• El gráfico de precisión frente a recuperación te ofrece una indicación visual de los umbrales de confianza que maximizarían la precisión o la recuperación, o proporcionarían un equilibrio entre ambas:
  • En la primera imagen a continuación, el umbral de confianza seleccionado (68,7 %) maximizaría la precisión (100 %), es decir, la plataforma normalmente no debería hacer predicciones erróneas en este umbral, pero tendría un valor de recuperación más bajo (85 %) como resultado
  • En la segunda imagen, el umbral de confianza seleccionado (39,8 %) proporciona un buen equilibrio entre precisión y recuperación (ambos 92 %).
  • En la tercera imagen, el umbral de confianza seleccionado (17 %) maximizaría la recuperación (100 %), es decir, la plataforma debería identificar todas las instancias en las que debería aplicarse esta etiqueta, pero como resultado tendría un valor de precisión más bajo (84 %).

Validación de etiquetas con umbral de confianza establecido en 68,7 %

Validación de etiquetas con umbral de confianza establecido en 39,8 %

Validación de etiquetas con umbral de confianza establecido en 17 %

Elegir el umbral correcto

Entonces, ¿cómo eliges el umbral adecuado para ti? La respuesta es simple: depende.

Dependiendo de tu caso de uso y de la etiqueta específica en cuestión, es posible que desees maximizar la precisión o la recuperación, o encontrar el umbral que ofrezca el mejor equilibrio posible de ambos.

Al pensar en qué umbral se requiere, es útil pensar en los posibles resultados: ¿cuál es el costo potencial o la consecuencia para su negocio si una etiqueta se aplica incorrectamente? ¿Qué pasa si se pierde?

Para cada etiqueta, tu umbral debe elegirse en función del mejor resultado para el negocio si algo sale mal, es decir, algo se clasifica incorrectamente (un falso positivo) o algo se pierde (un falso negativo).

Por ejemplo, si desea clasificar automáticamente las comunicaciones entrantes en diferentes categorías, pero también tiene una etiqueta para "Urgente" que dirige las solicitudes a una cola de trabajo de alta prioridad, puede maximizar la recuperación de esta etiqueta para asegurarse de que no se pierden las solicitudes y aceptan una precisión más baja como resultado. Esto se debe a que puede no ser muy perjudicial para la empresa tener algunas solicitudes menos urgentes en la cola de prioridad, pero podría ser muy perjudicial para la empresa perder una solicitud urgente que es sensible al tiempo.

Como otro ejemplo, si estuviera automatizando un tipo de solicitud de extremo a extremo que fuera algún tipo de transacción monetaria o de alto valor, probablemente elegiría un umbral que maximizara la precisión, para automatizar solo de extremo a extremo. finalizar las transacciones en las que la plataforma tenía más confianza. Las predicciones con confianzas por debajo del umbral se revisarían manualmente. Esto se debe a que el coste de una predicción errónea (un falso positivo) es potencialmente muy alto si una transacción se procesa de forma incorrecta.