- Introducción
- Configuración de su cuenta
- Equilibrio
- Clústeres
- Deriva del concepto
- Cobertura
- Conjuntos de datos
- Campos generales
- Etiquetas (predicciones, niveles de confianza, jerarquía de etiquetas y sentimiento de etiqueta)
- Modelos
- Transmisiones
- Clasificación del modelo
- Proyectos
- Precisión
- Recordar
- Mensajes anotados y no anotados
- Campos extraídos
- Fuentes
- Taxonomías
- Formación
- Predicciones positivas y negativas verdaderas y falsas
- Validación
- Mensajes
- Control de acceso y administración
- Gestionar fuentes y conjuntos de datos
- Comprender la estructura de datos y los permisos
- Crear o eliminar un origen de datos en la GUI
- Cargar un archivo CSV en un origen
- Preparando datos para cargar archivos .CSV
- Crear un conjunto de datos
- Fuentes y conjuntos de datos multilingües
- Habilitar sentimiento en un conjunto de datos
- Modificar la configuración del conjunto de datos
- Eliminar un mensaje
- Eliminar un conjunto de datos
- Exportar un conjunto de datos
- Utilizar integraciones de Exchange
- Entrenamiento y mantenimiento de modelos
- Comprender las etiquetas, los campos generales y los metadatos
- Jerarquía de etiquetas y mejores prácticas
- Comparar casos de uso de análisis y automatización
- Convertir tus objetivos en etiquetas
- Descripción general del proceso de entrenamiento del modelo
- Anotación generativa
- Estado de Dastaset
- Entrenamiento de modelos y mejores prácticas de anotación
- Entrenamiento con análisis de sentimiento de etiqueta habilitado
- Chat de entrenamiento y datos de llamadas
- Comprender los requisitos de datos
- Entrenamiento
- Introducción a Refinar
- Explicación de la precisión y la recuperación
- Precisión y recuperación
- Cómo funciona la validación
- Comprender y mejorar el rendimiento del modelo
- Razones para etiquetar una precisión media baja
- Entrenamiento utilizando la etiqueta Comprobar y la etiqueta Perdida
- Entrenamiento mediante la etiqueta de aprendizaje (refinar)
- Entrenamiento mediante Buscar (Refinar)
- Comprender y aumentar la cobertura
- Mejorar el equilibrio y utilizar Reequilibrar
- Cuándo dejar de entrenar tu modelo
- Uso de campos generales
- Extracción generativa
- Uso de análisis y supervisión
- Automations and Communications Mining™
- Desarrollador
- Introducción
- Uso de la API
- Tutorial de la API
- Resumen
- Fuentes
- Conjuntos de datos
- Comentarios
- Archivos adjuntos
- Predictions
- Crear una transmisión
- Actualizar una transmisión
- Obtener una transmisión por nombre
- Obtener todas las transmisiones
- Eliminar una transmisión
- Obtener resultados de la transmisión
- Obtener comentarios de una transmisión (heredado)
- Avanzar una transmisión
- Restablecer una transmisión
- Etiquetar una excepción
- Desetiquetar una excepción
- Eventos de auditoría
- Obtener todos los usuarios
- Integración de Exchange con el usuario del servicio de Azure
- Integración de Exchange con la autenticación de aplicaciones de Azure
- Integración de Exchange con Azure Application Authentication y Graph
- Obtener datos para Tableau con Python
- Integración de Elasticsearch
- Integración de Exchange autohospedado
- Marco de automatización de UiPath®
- Actividades de UiPath® Marketplace
- Actividades oficiales de UiPath®
- Cómo aprenden las máquinas a entender palabras: una guía para las incrustaciones en PNL
- Aprendizaje basado en solicitudes con Transformers
- Efficient Transformers II: destilación de conocimientos y ajuste
- Transformadores eficientes I: mecanismos de atención
- Modelado de intenciones jerárquico profundo no supervisado: obtener valor sin datos de entrenamiento
- Corregir el sesgo de anotación con Communications Mining™
- Aprendizaje activo: mejores modelos ML en menos tiempo
- Todo está en los números: evaluar el rendimiento del modelo con métricas
- Por qué es importante la validación del modelo
- Comparación de Communications Mining™ y Google AutoML para la inteligencia de datos conversacional
- Licencia
- Preguntas frecuentes y más
Guía del usuario de Communications Mining
Cobertura es un término utilizado con frecuencia en el aprendizaje automático y se refiere a lo bien que un modelo "cubre" los datos que se utilizan para analizar. En la plataforma, esto se relaciona con la proporción de mensajes en el conjunto de datos que tienen predicciones de etiquetas informativas, y se presenta en Validación como una puntuación porcentual.
Las etiquetas informativas son aquellas etiquetas que la plataforma entiende que son útiles como etiquetas independientes, al observar la frecuencia con la que se asignan con otras etiquetas. Etiquetas que siempre se asignan con otra etiqueta, por ejemplo las etiquetas principales que nunca se asignan por sí solas o Urgente si siempre se asigna con otra etiqueta, se ponderan hacia abajo cuando se calcula la puntuación.
El siguiente visual da una indicación de cómo sería la cobertura baja frente a la cobertura alta en todo un conjunto de datos. Imagina que los círculos sombreados son mensajes que tienen predicciones de etiquetas informativas.
Como métrica, la cobertura es una forma muy útil de comprender si has capturado todos los diferentes conceptos potenciales en tu conjunto de datos y si has proporcionado suficientes ejemplos de entrenamiento variados para que la plataforma pueda predecirlos de forma efectiva.
En casi todos los casos, cuanto mayor es la cobertura del modelo, mejor es su rendimiento, pero no debe considerarse de forma aislada al comprobar el rendimiento del modelo.
Asegúrate de que las etiquetas en la taxonomía son saludables, lo que significa que tienen una precisión promedio alta y no tienen otras advertencias de rendimiento, y que los datos de entrenamiento son una representación equilibrada del conjunto de datos en su conjunto.
Si tus etiquetas no son saludables o los datos de entrenamiento no son representativos del conjunto de datos, la cobertura de tu modelo que calcula la plataforma no será fiable.
Que tu modelo tenga una alta cobertura es particularmente importante si lo utilizas para impulsar procesos automatizados.
Considere cómo se aplica la cobertura en un caso de uso como el enrutamiento automático de diferentes solicitudes recibidas por una bandeja de entrada de correo electrónico compartida en una empresa.
Para un modelo diseñado para ayudar a enrutar automáticamente diferentes solicitudes, la baja cobertura significaría que muchas solicitudes se enrutaron de forma incorrecta o se enviaron para revisión manual, ya que el modelo no pudo identificarlas.
Si hay 10 procesos clave gestionados por el equipo que trabaja en el buzón, pero la taxonomía solo captura de forma efectiva 7 de ellos, es probable que esto conduzca a una puntuación de cobertura baja. Alternativamente, el modelo puede predecir incorrectamente los procesos restantes como otros procesos, ya que no se le ha enseñado lo que realmente son. Esto daría lugar a una puntuación de cobertura artificialmente alta.
Durante la automatización, los tres procesos restantes probablemente se perderían, se enviarían para revisión manual o se clasificarían erróneamente como un proceso diferente y se enrutarían al lugar equivocado.
It's also important that for each of the processes, there are sufficient varied training examples that capture the varied expressions used when discussing the process. If there are not, each label will have lower recall and the model's coverage will be low.
El siguiente visual demuestra cómo se vería este ejemplo en la práctica: tenemos varios clientes que envían varios tipos de solicitudes por correo electrónico. Cada cliente puede escribir el mismo tipo de solicitud de forma diferente:
Se muestran tres escenarios de modelo diferentes, cada uno con un impacto potencial diferente en la cobertura:
| No todos los tipos de solicitudes, es decir, los conceptos cubiertos por la taxonomía: es probable que tengan una cobertura baja | |
| Todos los tipos de solicitudes están cubiertos, pero algunas etiquetas no son saludables y pueden no tener suficientes ejemplos: la cobertura puede ser baja y es probable que no sea fiable | |
| Todos los tipos de solicitudes cubiertos y las etiquetas están en buen estado: alta cobertura que probablemente sea fiable |
En Validación, la funcionalidad de Calificación del modelo proporciona un desglose detallado del rendimiento del modelo en los factores contribuyentes más importantes, incluida la cobertura.
Los usuarios reciben una puntuación porcentual de la proporción de mensajes que se prevé que tengan predicciones de etiquetas informativas, que a su vez se correlaciona con una calificación y una contribución a la calificación general del modelo.
La plataforma también proporcionó la proporción de mensajes que tienen al menos una etiqueta prevista, pero esto no es lo que determina la puntuación y la calificación de este factor.
En el siguiente ejemplo podemos observar que:
- La cobertura de este modelo es del 85,2 %.
- Esto se traduce en una calificación evaluada de Bueno para este factor.
- Esto también se traduce en una contribución positiva a la calificación general del modelo de +3.
Es importante recordar que la cobertura como medida de rendimiento siempre debe entenderse junto con el estado de las etiquetas en la taxonomía y el equilibrio del conjunto de datos. Antes de considerar que la puntuación de cobertura proporcionada por la plataforma es fiable, también debes asegurarte de tener al menos una calificación Buena para los demás factores que contribuyen a la Calificación del modelo.
Como mínimo, su cobertura debe ser lo suficientemente alta como para que la plataforma proporcione una calificación de "Buena". Si llega a esta etapa, tu modelo está funcionando bien y puedes elegir optimizarlo aún más en función de los requisitos de tu caso de uso.
Al igual que los humanos, los modelos de aprendizaje automático tienen sus límites, por lo que no debes esperar alcanzar el 100 % de cobertura. Puedes acercarte a esto, pero solo si tus datos son extremadamente simples y repetitivos, o si anotas una proporción muy alta del conjunto de datos.
Alcanzar una calificación Excelente puede ser potencialmente desafiante dependiendo de los datos, y no siempre es necesario dependiendo del caso de uso.
Para los casos de uso centrados en la automatización, tener una alta cobertura es particularmente importante, por lo que es probable que en estos casos quieras optimizar la cobertura tanto como sea posible y lograr una calificación Excelente .
Para casos de uso centrados en análisis, tener una cobertura muy alta es ligeramente menos crítico. A menudo es suficiente que los modelos puedan identificar los conceptos más frecuentes, ya que estos proporcionan la mayor información y las oportunidades potenciales de cambio y mejora.
Vale la pena señalar que un modelo centrado en el análisis normalmente sacrificará algo de precisión para capturar una amplia gama de conceptos en su taxonomía.
Al igual que para los demás factores contribuyentes, la plataforma ofrece útiles "próximas mejores acciones" recomendadas que los usuarios pueden realizar para mejorar la cobertura de tu modelo. Para obtener más información, consulta las imágenes de esta sección y la anterior.
Las acciones recomendadas actúan como enlaces que te llevan directamente al modo de entrenamiento sugerido.
In the case of coverage, the platform will most often recommend training in Low Confidence mode, as this mode allows users to annotate the least covered of all the messages in the dataset. For more details, check Training using Low confidence.
Después de completar una cantidad razonable de entrenamiento en el modo de entrenamiento recomendado (cuánto dependerá de lo baja que sea la cobertura para empezar), los usuarios pueden volver a comprobar cómo ha mejorado una vez que el modelo se haya reentrenado y la validación se haya actualizado. Si es necesario, pueden repetir el proceso para seguir mejorando sus puntuaciones.
Cuando la cobertura es muy baja, normalmente al principio del proceso de entrenamiento, la plataforma también puede recomendar otros modos de entrenamiento que considere beneficiosos, como anotar grupos de mensajes similares en Descubrir , como se muestra en el siguiente ejemplo.
La plataforma es capaz de identificar de forma inteligente qué etiquetas de una taxonomía son "informativas" al evaluar la cobertura de un modelo y lo presenta en la Calificación del modelo.
Sin embargo, si quieres evaluar la proporción de un conjunto de datos que es probable que esté cubierta por las predicciones para un conjunto específico de etiquetas en tu taxonomía, puedes hacerlo en la página Informes .
Para ello, puedes seleccionar todas las etiquetas en cuestión en la barra de filtro de etiquetas en Informes (como se muestra a continuación).
El recuento de mensajes en la parte superior de la página en Informes se actualiza en función de los filtros aplicados. Al seleccionar etiquetas del filtro de etiquetas, el recuento se actualiza para mostrar el número de mensajes que es probable que tengan prevista al menos una de las etiquetas seleccionadas.
En este conjunto de datos de ejemplo de correos electrónicos relacionados únicamente con un proceso de llamada de margen en un banco (que contiene 260 000 correos electrónicos), puedes ver que es probable que 237 551 mensajes de los 260 000 tengan al menos una de las etiquetas seleccionadas previstas. Lo que indica una buena cobertura de aproximadamente el 91,4 %.
Esta no debería ser tu única comprobación para probar la cobertura general de tu modelo. La medida de cobertura más fiable para todo el conjunto de datos se presenta en la Clasificación del modelo y debe considerarse junto con el rendimiento general de las etiquetas en la taxonomía.
