- Introducción
- Configuración de su cuenta
- Equilibrio
- Clústeres
- Deriva del concepto
- Cobertura
- Conjuntos de datos
- Campos generales
- Etiquetas (predicciones, niveles de confianza, jerarquía de etiquetas y sentimiento de etiqueta)
- Modelos
- Transmisiones
- Clasificación del modelo
- Proyectos
- Precisión
- Recordar
- Mensajes anotados y no anotados
- Campos extraídos
- Fuentes
- Taxonomías
- Formación
- Predicciones positivas y negativas verdaderas y falsas
- Validación
- Mensajes
- Control y administración de acceso
- Gestionar fuentes y conjuntos de datos
- Comprender la estructura de datos y los permisos
- Crear o eliminar un origen de datos en la GUI
- Cargar un archivo CSV en un origen
- Preparando datos para cargar archivos .CSV
- Crear un conjunto de datos
- Fuentes y conjuntos de datos multilingües
- Habilitar sentimiento en un conjunto de datos
- Modificar la configuración del conjunto de datos
- Eliminar un mensaje
- Eliminar un conjunto de datos
- Exportar un conjunto de datos
- Utilizar integraciones de Exchange
- Entrenamiento y mantenimiento de modelos
- Comprender las etiquetas, los campos generales y los metadatos
- Jerarquía de etiquetas y mejores prácticas
- Comparar casos de uso de análisis y automatización
- Convertir tus objetivos en etiquetas
- Descripción general del proceso de entrenamiento del modelo
- Anotación generativa
- Estado de Dastaset
- Entrenamiento de modelos y mejores prácticas de anotación
- Entrenamiento con análisis de sentimiento de etiqueta habilitado
- Chat de entrenamiento y datos de llamadas
- Comprender los requisitos de datos
- Entrenamiento
- Introducción a Refinar
- Explicación de la precisión y la recuperación
- Precisión y recuperación
- Cómo funciona la validación
- Comprender y mejorar el rendimiento del modelo
- Razones para etiquetar una precisión media baja
- Entrenamiento utilizando la etiqueta Comprobar y la etiqueta Perdida
- Entrenamiento mediante la etiqueta de aprendizaje (refinar)
- Entrenamiento mediante Buscar (Refinar)
- Comprender y aumentar la cobertura
- Mejorar el equilibrio y utilizar Reequilibrar
- Cuándo dejar de entrenar tu modelo
- Uso de campos generales
- Extracción generativa
- Información general
- Configurar campos
- Filtrado de tipo de campo de extracción
- Generar tus extracciones
- Validar y anotar extracciones generadas
- Mejores prácticas y consideraciones
- Comprender la validación de las extracciones y el rendimiento de las extracciones
- Preguntas frecuentes (FAQ)
- Uso de análisis y supervisión
- Automations and Communications Mining™
- Desarrollador
- Uso de la API
- Tutorial de la API
- Fuentes
- Conjuntos de datos
- Comentarios
- Archivos adjuntos
- Predictions
- Crear una transmisión
- Actualizar una transmisión
- Obtener una transmisión por nombre
- Obtener todas las transmisiones
- Eliminar una transmisión
- Obtener resultados de la transmisión
- Obtener comentarios de una transmisión (heredado)
- Avanzar una transmisión
- Restablecer una transmisión
- Etiquetar una excepción
- Desetiquetar una excepción
- Eventos de auditoría
- Obtener todos los usuarios
- Cargar datos
- Descargando datos
- Integración de Exchange con el usuario del servicio de Azure
- Integración de Exchange con la autenticación de aplicaciones de Azure
- Integración de Exchange con Azure Application Authentication y Graph
- Obtener datos para Tableau con Python
- Integración de Elasticsearch
- Extracción de campos general
- Integración de Exchange autohospedado
- Marco de automatización de UiPath®
- Actividades oficiales de UiPath®
- Cómo aprenden las máquinas a entender palabras: una guía para las incrustaciones en PNL
- Aprendizaje basado en solicitudes con Transformers
- Efficient Transformers II: destilación de conocimientos y ajuste
- Transformadores eficientes I: mecanismos de atención
- Modelado de intenciones jerárquico profundo no supervisado: obtener valor sin datos de entrenamiento
- Corregir el sesgo de anotación con Communications Mining™
- Aprendizaje activo: mejores modelos ML en menos tiempo
- Todo está en los números: evaluar el rendimiento del modelo con métricas
- Por qué es importante la validación del modelo
- Comparación de Communications Mining™ y Google AutoML para la inteligencia de datos conversacional
- Licencia
- Preguntas frecuentes y más
Guía del usuario de Communications Mining
La página Validación muestra una descripción general del rendimiento de las extracciones y te ayuda a profundizar en el rendimiento individual de cada extracción.
Puedes acceder a los detalles de validación en la pestaña Extracciones desde Validación. La pestaña Extracción solo está disponible si tienes campos de extracción definidos en tu conjunto de datos.
La página predeterminada de la pestaña Extracciones de Validación es una descripción general que utiliza el filtro Todos . Esta página proporciona las siguientes estadísticas de resumen sobre el rendimiento general de las extracciones en el conjunto de datos:
- Puntuación F1 media de las extracciones
- Precisión media de las extracciones
- Recuperación media de las extracciones
Selecciona etiquetas individuales para ver el rendimiento de las extracciones individuales, es decir, la etiqueta y sus campos de extracción asociados.
Para cada extracción, puedes observar los siguientes valores:
- Puntuación F1
- Precisión
- Recordar
Para todos los campos de extracción de la etiqueta, puedes observar los siguientes valores:
- Puntuación media F1
- Precisión promedio
- Recuperación promedio
Para los campos de extracción individuales, puedes observar los siguientes valores:
- Puntuación F1
- Precisión
- Recordar
El funcionamiento de los niveles de confianza varía en función del modelo LLM subyacente que utilices.
Si utilizas el CommPath LLM
Si utilizas CommPath LLM, el modelo asigna un conjunto de puntuaciones de confianza para cada predicción (%).
CommPath calcula y devuelve lo siguiente:
-
Confianza de ocurrencia: la probabilidad de que la ocurrencia detectada corresponda a la etiqueta asignada.
-
Confianza de extracción: la confianza en la corrección del contenido extraído.
Estos valores de confianza permiten que las automatizaciones posteriores filtren las extracciones con niveles de confianza por debajo de un umbral de etiqueta establecido. Si estableces un umbral adecuado, puedes asegurarte de que solo se utilizan en los flujos de trabajo las predicciones que cumplen un nivel de confianza deseado.
Si utilizas el LLM de vista previa
La Preview LLM para la extracción generativa proporciona un valor de confianza de ocurrencia de etiqueta única para cada extracción, reemplazando tanto la confianza de ocurrencia como la confianza de extracción. Este enfoque difiere de CommPath, que devuelve valores de confianza independientes para cada extracción.
Devolver la confianza de la etiqueta ayuda a filtrar las extracciones posteriores si es necesario, lo que permite a los usuarios mejorar la precisión de algunos resultados.
Esta sección describe las salidas de la actividad Obtener resultados de transmisión . Para obtener más detalles, consulta el marco del distribuidor de Communications Mining™.
Para automatizar con la extracción generativa, primero debes comprender el contenido de las salidas de tus extracciones.
La confianza de ocurrencia se refiere a la confianza del modelo en torno al número de instancias que puede ocurrir una solicitud en un mensaje, es decir, cuántas veces puede ocurrir una extracción.
Por ejemplo, para procesar un extracto de cuentas en un sistema descendente, siempre necesitas un ID de cuenta, un número de PO, el importe del pago y la fecha de vencimiento.
Consulta el ejemplo de confianza de ocurrencia en la siguiente imagen. Muestra cómo el modelo puede identificar con confianza que hay dos posibles ocurrencias en las que debes facilitar este proceso posterior.
Confianza de extracción
La confianza de extracción es la confianza del modelo sobre sus predicciones. Esto incluye qué tan preciso cree que fue al predecir la instancia de una etiqueta y sus campos relacionados. También incluye la confianza del modelo para predecir correctamente si falta un campo.
Considera el mismo ejemplo que antes. Para procesar un extracto de cuentas en un sistema descendente, siempre necesitas un ID de cuenta, un número de PO, el importe del pago y la fecha de vencimiento.
Sin embargo, esta vez, el número de PO no está presente en el mensaje, ni la fecha de vencimiento, solo la fecha de inicio.
La confianza de extracción de este ejemplo es la confianza del modelo sobre la identificación de si los valores para cada campo asociado con la etiqueta están presentes. También incluye la confianza del modelo para predecir correctamente si falta un campo.
En este caso, no tienes todos los campos que necesitas para poder extraer completamente todos los campos necesarios.
Ejemplo de carga útil
La transmisión se refiere al umbral que estableces en Communications Mining, y si el mensaje alcanza este umbral.
En lugar de filtrar las predicciones en función de los umbrales, esta ruta devuelve qué confianza de predicción cumplió con los umbrales.
En otras palabras, si se alcanzan los umbrales, se devuelve la transmisión. Si no es así, este valor está vacío.
- La imagen anterior contiene un fragmento de muestra para explicar los diferentes componentes, no el resultado completo de una respuesta de extracción generativa. Además, cuando hay varias extracciones, está condicionado a las extracciones anteriores. Para las etiquetas sin campos de extracción, la confianza de ocurrencia es equivalente a la confianza de la etiqueta que puedes ver en la interfaz de usuario.
- Si el modelo no ha podido extraer correctamente todos los campos de un mensaje porque hay demasiados campos, devolverá una extracción en la respuesta de flujo que tiene una confianza de ocurrencia y una confianza de extracción con valores de cero.
