- Primeros pasos
- Equilibrio
- Clústeres
- Deriva del concepto
- Cobertura
- Conjuntos de datos
- Campos generales (anteriormente entidades)
- Etiquetas (predicciones, niveles de confianza, jerarquía, etc.)
- Modelos
- Transmisiones
- Clasificación del modelo
- Proyectos
- Precisión
- Recordar
- Mensajes revisados y no revisados
- Fuentes
- Taxonomías
- Formación
- Predicciones positivas y negativas verdaderas y falsas
- Validación
- Mensajes
- Administración
- Gestionar fuentes y conjuntos de datos
- Comprender la estructura de datos y los permisos
- Crear un origen de datos en la GUI
- Cargar un archivo CSV en un origen
- Crear un nuevo conjunto de datos
- Fuentes y conjuntos de datos multilingües
- Habilitar sentimiento en un conjunto de datos
- Modificar la configuración de un conjunto de datos
- Eliminar mensajes a través de la IU
- Eliminar un conjunto de datos
- Eliminar una fuente
- Exportar un conjunto de datos
- Uso de integraciones de Exchange
- Preparando datos para cargar archivos .CSV
- Entrenamiento y mantenimiento de modelos
- Comprender las etiquetas, los campos generales y los metadatos
- Jerarquía de etiquetas y mejores prácticas
- Definición de los objetivos de taxonomía
- Casos de uso de análisis frente a automatización
- Convertir tus objetivos en etiquetas
- Crear tu estructura de taxonomía
- Mejores prácticas de diseño de taxonomía
- Importar tu taxonomía
- Descripción general del proceso de entrenamiento del modelo
- Anotación generativa (NUEVO)
- Estado de Dastaset
- Entrenamiento de modelos y mejores prácticas de anotación
- Entrenamiento con análisis de sentimiento de etiqueta habilitado
- Entrenamiento
- Introducción a Refinar
- Explicación de la precisión y la recuperación
- Precisión y recuperación
- ¿Cómo funciona la validación?
- Comprender y mejorar el rendimiento del modelo
- ¿Por qué una etiqueta puede tener una precisión media baja?
- Entrenamiento utilizando la etiqueta Comprobar y la etiqueta Perdida
- Entrenamiento mediante la etiqueta de aprendizaje (refinar)
- Entrenamiento mediante Buscar (Refinar)
- Comprender y aumentar la cobertura
- Mejorar el equilibrio y utilizar Reequilibrar
- Cuándo dejar de entrenar tu modelo
- Uso de campos generales
- Extracción generativa
- Información general
- Filtrado de tipo de campo de extracción
- Generar tus extracciones
- Validar y anotar las extracciones generadas
- Mejores prácticas y consideraciones
- Comprender la validación de las extracciones y el rendimiento de las extracciones
- Preguntas frecuentes
- Uso de análisis y supervisión
- Minería de automatizaciones y comunicaciones
- Información de licencia
- Preguntas frecuentes y más
Comprender la validación de las extracciones y el rendimiento de las extracciones
La página Validación muestra una descripción general del rendimiento de las extracciones y te ayuda a profundizar en el rendimiento individual de cada extracción.
Puedes acceder a la página Validación desde la pestaña Extracciones dentro de Validación, y solo está disponible si tienes campos de extracción definidos en tu conjunto de datos.
La página predeterminada de la página Validación de extracciones es la página de resumen "Todos", que proporciona las siguientes estadísticas resumidas sobre el rendimiento general de las extracciones en el conjunto de datos:
- Puntuación F1 media de las extracciones
- Precisión media de las extracciones
- Recuperación media de las extracciones
Haz clic en las etiquetas individuales para ver el rendimiento de las extracciones individuales, es decir, la etiqueta y sus campos de extracción asociados.
Para cada extracción, puedes ver los siguientes valores:
- Puntuación F1
- Precisión
- Recordar
Para todos los campos de extracción de la etiqueta, puedes ver los siguientes valores:
- Puntuación media F1
- Precisión promedio
- Recuperación promedio
Para los campos de extracción individuales, puedes ver los siguientes valores:
- Puntuación F1
- Precisión
- Recordar
El funcionamiento de los niveles de confianza varía en función del modelo LLM subyacente que utilices.
La vista previa de LLM no tiene niveles de confianza en sus predicciones. El LLM de vista previa devuelve si una etiqueta o campo es una predicción (Sí = 1) o no (No = 0).
Como resultado, no existe el concepto de diferentes umbrales de confianza.
En esta sección se describen los resultados de la actividad Obtener resultados de flujo . Consulta la página del marco del distribuidor de Communications Mining para obtener más detalles.
Para automatizar con la extracción generativa, es importante comprender el contenido de los resultados de tus extracciones.
Confianza de ocurrencia: se refiere a la confianza del modelo en torno al número de instancias que puede ocurrir una solicitud en un mensaje (es decir, cuántas veces puede ocurrir una extracción).
Por ejemplo: para procesar un extracto de cuentas en un sistema descendente, siempre necesitas un ID de cuenta, un número de PO, el importe del pago y la fecha de vencimiento.
Consulta a continuación el ejemplo de confianza de ocurrencia . Muestra cómo el modelo puede identificar con confianza que hay 2 posibles ocurrencias en las que necesitas facilitar este proceso posterior.
La confianza de extracción es la confianza del modelo sobre sus predicciones. Esto incluye qué tan preciso cree que fue al predecir la instancia de una etiqueta y sus campos relacionados. También incluye la confianza del modelo para predecir correctamente si falta un campo.
Considera el mismo ejemplo que antes. Para procesar un extracto de cuentas en un sistema descendente, siempre necesitas un ID de cuenta, un número de orden de compra, el importe del pago y la fecha de vencimiento.
Sin embargo, esta vez, el número de orden de compra no está presente en el mensaje, ni la fecha de vencimiento (solo la fecha de inicio).
La confianza de extracción de este ejemplo es la confianza del modelo sobre la identificación de si los valores para cada campo asociado con la etiqueta están presentes. También incluye la confianza del modelo para predecir correctamente si falta un campo.
En este caso, no tienes todos los campos que necesitas para poder extraer completamente todos los campos necesarios.
Consulta a continuación un ejemplo de salida de lo que devuelve la actividad Obtener respuesta de flujo.
La transmisión se refiere al umbral que estableces en Communications Mining, y si el mensaje alcanza este umbral.
En lugar de filtrar las predicciones en función de los umbrales, esta ruta devuelve qué predicción de confianza cumple los umbrales.
En otras palabras, si se alcanzan los umbrales, se devuelve la transmisión . Si no es así, este valor está vacío.
Además, cuando hay varias extracciones, está condicionado a las extracciones anteriores.
Para las etiquetas sin campos de extracción, la confianza de ocurrencia es equivalente a la confianza de la etiqueta que puedes ver en la IU.