- Primeros pasos
- Equilibrio
- Clústeres
- Deriva del concepto
- Cobertura
- Conjuntos de datos
- Entidades
- Etiquetas (predicciones, niveles de confianza, jerarquía, etc.)
- Modelos
- Transmisiones
- Clasificación del modelo
- Proyectos
- Precisión
- Recordar
- Mensajes revisados y no revisados
- Fuentes
- Taxonomías
- Formación
- Predicciones positivas y negativas verdaderas y falsas
- Validación
- Mensajes
- Administración
- Administrar fuentes y conjuntos de datos
- Comprender la estructura de datos y los permisos
- Crear un origen de datos en la GUI
- Cargar un archivo CSV en un origen
- Crear un nuevo conjunto de datos
- Fuentes y conjuntos de datos multilingües
- Habilitar sentimiento en un conjunto de datos
- Modificar la configuración de un conjunto de datos
- Eliminar mensajes a través de la IU
- Eliminar un conjunto de datos
- Exportar un conjunto de datos
- Uso de integraciones de Exchange
- Preparar datos para cargar archivos .CSV
- Entrenamiento y mantenimiento de modelos
- Comprender las etiquetas, las entidades y los metadatos
- Jerarquía de etiquetas y mejores prácticas
- Definición de los objetivos de taxonomía
- Casos de uso de análisis frente a automatización
- Convertir tus objetivos en etiquetas
- Crear tu estructura de taxonomía
- Mejores prácticas de diseño de taxonomía
- Importar tu taxonomía
- Descripción general del proceso de entrenamiento del modelo
- Anotación generativa (NUEVO)
- Comprender el estado de tu conjunto de datos
- Mejores prácticas de entrenamiento y etiquetado de modelos
- Entrenamiento con análisis de sentimiento de etiqueta habilitado
- Entrenamiento
- Introducción a 'Perfeccionar'
- Explicación de la precisión y la recuperación
- Precisión y recuperación
- ¿Cómo funciona la validación?
- Comprender y mejorar el rendimiento del modelo
- ¿Por qué una etiqueta puede tener una precisión media baja?
- Entrenamiento utilizando 'Comprobar etiqueta' y 'Etiqueta perdida'
- Entrenamiento mediante la etiqueta de aprendizaje (refinar)
- Entrenamiento mediante Buscar (Refinar)
- Comprender y aumentar la cobertura
- Mejorar el equilibrio y usar 'Reequilibrar'
- Cuándo dejar de entrenar tu modelo
- Definir y configurar tus entidades
- Comprender las entidades
- ¿Qué entidades preentrenadas están disponibles?
- Habilitar, deshabilitar, actualizar y crear entidades
- Filtrado de entidades
- Revisar y aplicar entidades
- Validación para entidades
- Mejorar el rendimiento de la entidad
- Creación de entidades regex personalizadas
- Uso de análisis y supervisión
- Minería de automatizaciones y comunicaciones
- Seleccionar umbrales de confianza de etiquetas
- Crear una transmisión
- Actualizar o eliminar una transmisión
- Preguntas frecuentes y más
Seleccionar umbrales de confianza de etiquetas
La plataforma se utiliza normalmente en uno de los primeros pasos de un proceso automatizado: ingesta, interpretación y estructuración de una comunicación entrante, como el correo electrónico de un cliente, de forma muy parecida a como lo haría un ser humano cuando ese correo electrónico llegara a su bandeja de entrada.
Cuando la plataforma predice qué etiquetas (o etiquetas) se aplican a una comunicación, asigna a cada predicción una puntuación de confianza (%) para mostrar la confianza de que se aplica la etiqueta.
Sin embargo, si estas predicciones se van a utilizar para clasificar automáticamente la comunicación, debe haber una decisión binaria, es decir, ¿se aplica esta etiqueta o no? Aquí es donde entran en juego los umbrales de confianza .
Un umbral de confianza es la puntuación de confianza (%) a partir de la cual un bot RPA u otro servicio de automatización tomará la predicción de la plataforma como un binario 'Sí, esta etiqueta se aplica' y por debajo del cual tomará la predicción como un binario "No, esta etiqueta no se aplica".
Por lo tanto, es muy importante comprender los umbrales de confianza y cómo seleccionar el adecuado, para lograr el equilibrio adecuado de precisión y recuperación para esa etiqueta.
- Para seleccionar un umbral para una etiqueta, ve a la página Validación y selecciona la etiqueta en la barra de filtro de etiquetas
- A continuación, simplemente arrastre el control deslizante del umbral, o escriba un porcentaje en el cuadro (como se muestra a continuación), para ver las diferentes estadísticas de precisión y recuperación que se lograrían para ese umbral
- El gráfico de precisión frente a recuperación te ofrece una indicación visual de los umbrales de confianza que maximizarían la precisión o la recuperación, o proporcionarían un equilibrio entre ambas:
- En la primera imagen a continuación, el umbral de confianza seleccionado (68,7 %) maximizaría la precisión (100 %), es decir, la plataforma normalmente no debería hacer predicciones erróneas en este umbral, pero tendría un valor de recuperación más bajo (85 %) como resultado
- En la segunda imagen, el umbral de confianza seleccionado (39,8 %) proporciona un buen equilibrio entre precisión y recuperación (ambos 92 %).
- En la tercera imagen, el umbral de confianza seleccionado (17 %) maximizaría la recuperación (100 %), es decir, la plataforma debería identificar todas las instancias en las que debería aplicarse esta etiqueta, pero como resultado tendría un valor de precisión más bajo (84 %).
Entonces, ¿cómo eliges el umbral adecuado para ti? La respuesta es simple: depende.
Dependiendo de tu caso de uso y de la etiqueta específica en cuestión, es posible que desees maximizar la precisión o la recuperación, o encontrar el umbral que ofrezca el mejor equilibrio posible de ambos.
Al pensar en qué umbral se requiere, es útil pensar en los posibles resultados: ¿cuál es el costo potencial o la consecuencia para su negocio si una etiqueta se aplica incorrectamente? ¿Qué pasa si se pierde?
Para cada etiqueta, tu umbral debe elegirse en función del mejor resultado para el negocio si algo sale mal, es decir, algo se clasifica incorrectamente (un falso positivo) o algo se pierde (un falso negativo).
Por ejemplo, si desea clasificar automáticamente las comunicaciones entrantes en diferentes categorías, pero también tiene una etiqueta para "Urgente" que dirige las solicitudes a una cola de trabajo de alta prioridad, puede maximizar la recuperación de esta etiqueta para asegurarse de que no se pierden las solicitudes y aceptan una precisión más baja como resultado. Esto se debe a que puede no ser muy perjudicial para la empresa tener algunas solicitudes menos urgentes en la cola de prioridad, pero podría ser muy perjudicial para la empresa perder una solicitud urgente que es sensible al tiempo.
Como otro ejemplo, si estuviera automatizando un tipo de solicitud de extremo a extremo que fuera algún tipo de transacción monetaria o de alto valor, probablemente elegiría un umbral que maximizara la precisión, para automatizar solo de extremo a extremo. finalizar las transacciones en las que la plataforma tenía más confianza. Las predicciones con confianzas por debajo del umbral se revisarían manualmente. Esto se debe a que el coste de una predicción errónea (un falso positivo) es potencialmente muy alto si una transacción se procesa de forma incorrecta.
