Comprender la validación de las extracciones y el rendimiento de las extracciones

Nota: La página Validación de extracciones está en vista previa pública.

La página Validación muestra una descripción general del rendimiento de las extracciones y te ayuda a profundizar en el rendimiento individual de cada extracción.

Puedes acceder a la página Validación desde la pestaña Extracciones dentro de Validación, y solo está disponible si tienes campos de extracción definidos en tu conjunto de datos.​

Información general sobre el rendimiento

La página predeterminada de la página Validación de extracciones es la página de resumen "Todos", que proporciona las siguientes estadísticas resumidas sobre el rendimiento general de las extracciones en el conjunto de datos:

• Puntuación F1 media de las extracciones
• Precisión media de las extracciones
• Recuperación media de las extracciones

Figura 1. Página Validación de extracciones

Nota: Una puntuación F1 de la media de extracción baja es un signo de un rendimiento de extracción deficiente.

Extracciones individuales

Haz clic en las etiquetas individuales para ver el rendimiento de las extracciones individuales, es decir, la etiqueta y sus campos de extracción asociados.

Para cada extracción, puedes ver los siguientes valores:

• Puntuación F1
• Precisión
• Recordar

Para todos los campos de extracción de la etiqueta, puedes ver los siguientes valores:

• Puntuación media F1
• Precisión promedio
• Recuperación promedio

Para los campos de extracción individuales, puedes ver los siguientes valores:

• Puntuación F1
• Precisión
• Recordar

Figura 2. Validación de extracción individual

Niveles de confianza y LLM

El funcionamiento de los niveles de confianza varía en función del modelo LLM subyacente que utilices.

Si utilizas el CommPath LLM

If you use the CommPath LLM, themodel assigns a set of confidence scores for each prediction (%).

CommPath calculates and returns the following:

• Confianza de ocurrencia: la probabilidad de que la ocurrencia detectada corresponda a la etiqueta asignada.

• Confianza de extracción: la confianza en la corrección del contenido extraído.

These confidence values enable downstream automations to filter out extractions with confidence levels below a set label threshold. If you set an appropriate threshold, you can ensure that only predictions that meet a desired confidence level are used in workflows.

Si utilizas el LLM de vista previa

La Preview LLM para la extracción generativa proporciona un valor de confianza de ocurrencia de etiqueta única para cada extracción, reemplazando tanto la confianza de ocurrencia como la confianza de extracción. Este enfoque difiere de CommPath, que devuelve valores de confianza independientes para cada extracción.

Nota:

Returning the label confidence helps filtering out extractions downstream if needed, allowing users to improve the precision of some results.

Automatización con extracción generativa

Nota: En caso de que hayas creado previamente automatizaciones con entidades: si planeas crear automatizaciones utilizando Extracción generativa, el punto final de la API y las actividades necesarias para construir esto son diferentes a los que has utilizado anteriormente.​

En esta sección se describen los resultados de la actividad Obtener resultados de flujo . Consulta la página del marco del distribuidor de Communications Mining para obtener más detalles.​

Para automatizar con la extracción generativa, es importante comprender el contenido de los resultados de tus extracciones.​

Confianza de ocurrencia: se refiere a la confianza del modelo en torno al número de instancias que puede ocurrir una solicitud en un mensaje (es decir, cuántas veces puede ocurrir una extracción). ​

Por ejemplo: para procesar un extracto de cuentas en un sistema descendente, siempre necesitas un ID de cuenta, un número de PO, el importe del pago y la fecha de vencimiento.

Consulta a continuación el ejemplo de confianza de ocurrencia . Muestra cómo el modelo puede identificar con confianza que hay 2 posibles ocurrencias en las que necesitas facilitar este proceso posterior.

Confianza de extracción

La confianza de extracción es la confianza del modelo sobre sus predicciones. Esto incluye qué tan preciso cree que fue al predecir la instancia de una etiqueta y sus campos relacionados. También incluye la confianza del modelo para predecir correctamente si falta un campo.

Considera el mismo ejemplo que antes. Para procesar un extracto de cuentas en un sistema descendente, siempre necesitas un ID de cuenta, un número de orden de compra, el importe del pago y la fecha de vencimiento.

Sin embargo, esta vez, el número de orden de compra no está presente en el mensaje, ni la fecha de vencimiento (solo la fecha de inicio).

La confianza de extracción de este ejemplo es la confianza del modelo sobre la identificación de si los valores para cada campo asociado con la etiqueta están presentes. También incluye la confianza del modelo para predecir correctamente si falta un campo.

En este caso, no tienes todos los campos que necesitas para poder extraer completamente todos los campos necesarios.

Ejemplo de carga útil

Consulta a continuación un ejemplo de salida de lo que devuelve la actividad Obtener respuesta de flujo.

La transmisión se refiere al umbral que estableces en Communications Mining, y si el mensaje alcanza este umbral.

En lugar de filtrar las predicciones en función de los umbrales, esta ruta devuelve qué predicción de confianza cumple los umbrales.

En otras palabras, si se alcanzan los umbrales, se devuelve la transmisión . Si no es así, este valor está vacío.​

Nota: Este es un fragmento de muestra para explicar los diferentes componentes, no el resultado completo de una respuesta de Extracción generativa. ​

Además, cuando hay varias extracciones, está condicionado a las extracciones anteriores.​

Para las etiquetas sin campos de extracción, la confianza de ocurrencia es equivalente a la confianza de la etiqueta que puedes ver en la IU.​

Nota: Si el modelo no ha podido extraer correctamente todos los campos de un mensaje porque hay demasiados campos, devolverá una extracción en la respuesta de flujo que tiene una confianza de ocurrencia Y una confianza de extracción con valores de 0.