Evaluar el rendimiento del modelo

Evalúa el rendimiento del modelo de Extracción y Procesamiento Inteligentes (IXP) en el nodo Extraer de UiPath Maestro™ Flow utilizando el resumen de evaluación y las métricas de campo y documento de cada ejecución de evaluación.

Información general

Puedes evaluar el rendimiento del modelo de un nodo de Extracción de flujo en las siguientes ubicaciones:

• Pestaña Definición : muestra un resumen de la última evaluación, incluida la puntuación F1.
• Pestaña Ejecuciones de evaluación : enumera todas las ejecuciones de evaluación, incluida la tasa de error de documento de cada ejecución, y muestra el grupo de campos, el campo y el rendimiento a nivel de documento de cada ejecución.

Puntuación de estado del nodo

La puntuación de salud del nodo resume el rendimiento de la versión actual del modelo de un nodo de extracción de flujo. Aparece en los siguientes lugares:

• El panel de propiedades del nodo Extracción de flujo.
• La pestaña Definición . Para abrirlo, mantén el puntero sobre el nodo Extracción de flujo y selecciona Abrir vista completa.

La puntuación de estado muestra lo siguiente:

• Puntuación F1 : el promedio de las puntuaciones F1 de todos los campos de la taxonomía.
• Rating - Good, Fair, or Poor.
• Documentos anotados : el número de documentos anotados.
• La versión del modelo de la que proviene la puntuación y el modelo de extracción utilizado por esa versión.

La puntuación F1 está codificada por colores de la siguiente manera:

Color	Puntuación F1
Verde	80% or higher
Amarillo	40% to 79%
Rojo	Below 40%

La puntuación de salud se genera a partir de ejecuciones de evaluación que incluyen todos los documentos anotados en el conjunto de datos del nodo. Las ejecuciones de evaluación en un subconjunto de documentos no afectan a la puntuación de estado.

Para ver las ejecuciones de evaluación detrás de la puntuación, selecciona el nombre del modelo, por ejemplo, Gemini 2.5 Flash. Las ejecuciones se abren en la pestaña Ejecuciones de evaluación .

Nota:

Los modelos en buen estado tienen una puntuación Buena y no tienen advertencias de rendimiento de campo.

Evaluación en la pestaña Ejecuciones de evaluación

Each evaluation run outputs the performance of a model version tested on a selection of the annotated documents in the dataset of the node. A new model version is created when you run an evaluation that includes changes not yet evaluated, such as changes to your taxonomy, including instructions, or to the model configuration. Making these changes does not create a model version by itself. For details, check Changes not evaluated.

Ver ejecuciones de evaluación

Para ver las ejecuciones de evaluación de un nodo, procede de la siguiente manera:

1. Mantén el puntero sobre el nodo Extracción de flujo y selecciona Abrir vista completa.

2. Ve a la pestaña Ejecuciones de evaluación .

   

La lista muestra los siguientes detalles para cada ejecución de evaluación:

• Nombre : el nombre de la ejecución de evaluación.
• Versión : la versión del modelo evaluada en la ejecución. Las ejecuciones que coinciden con la definición del nodo actual muestran la etiqueta Coincide con la definición actual .
• Estado : el estado de la ejecución: Completado, Cancelado, En ejecución o Erróneo.
• Puntuación F1 : la puntuación F1 media en todos los campos.
• Tasa de error del documento : el promedio de las tasas de error de los documentos anotados.
• Documentos : el número de documentos evaluados.
• Iniciado : cuándo se inició la ejecución.
• Duración : cuánto tiempo tardó la ejecución.

Para filtrar la lista por estado, selecciona el icono de filtro y selecciona una o más de las siguientes opciones: En ejecución, Completado, Erróneo o Cancelado.

Para mostrar u ocultar columnas, selecciona el icono de columnas y luego selecciona las columnas que se mostrarán.

Para iniciar una nueva evaluación, selecciona Ejecutar evaluación. Para obtener más detalles, consulta Ejecutar una evaluación.

Tasa de error del documento

Puedes ver la tasa de error del documento de cada ejecución de evaluación en la columna Tasa de error del documento de la pestaña Ejecuciones de evaluación .

La tasa de error del documento es la proporción de errores que el modelo cometió en un documento con respecto al total de anotaciones en ese documento, es decir, en qué medida difieren las predicciones del modelo de las anotaciones del usuario. Las tasas de error solo están disponibles para los documentos anotados.

El valor de la columna Tasa de error del documento de la pestaña Ejecuciones de evaluación se calcula como el promedio simple de la tasa de error de cada documento completamente anotado. Proporciona un indicador rápido de cuán propensos son los documentos a errores cuando la versión del modelo evaluado los procesa, lo que ayuda a evaluar la preparación para la implementación.

Nota:

La tasa de error del documento puede superar el 100 %, porque se calcula de la siguiente manera:

• Tasa de error del documento = Número de errores ÷ Anotaciones totales

Los errores incluyen no solo los campos que se anotaron y extrajeron incorrectamente, sino también cualquier predicción adicional realizada por el modelo que no tenga la anotación correspondiente. Por ejemplo, una fila adicional que el modelo predijo que un revisor no etiquetó.

Debido a que estas predicciones adicionales cuentan como errores pero no se suman al total de la anotación, el número de errores puede superar el número de anotaciones, lo que da como resultado una tasa de error superior al 100 %.

Gestionar ejecuciones de evaluación

Para gestionar una ejecución de evaluación, procede de la siguiente manera:

1. En el nodo Extracción de flujo, ve a la pestaña Ejecuciones de evaluación .

2. Selecciona los puntos suspensivos en la columna Acciones de la ejecución y selecciona una de las siguientes opciones:

   • Ver detalles : abre los detalles de la ejecución. Como alternativa, selecciona la fila de la ejecución.
   • Volver a ejecutar : vuelve a ejecutar la evaluación.
   • Exportar como JSON : exporta la ejecución como archivo JSON.
   • Exportar como CSV : exporta la ejecución como un archivo CSV.
   • Exportar resultados de la ejecución de evaluación : exporta los resultados de la ejecución.
   • Eliminar : elimina la ejecución.

   

Puedes exportar datos de ejecuciones de evaluación para análisis sin conexión, filtrado personalizado o compartir resultados con las partes interesadas.

También puedes revertir el nodo Extraer a una versión anterior del modelo desde la pestaña Ejecuciones de evaluación .

Detalles de la ejecución de evaluación

Los detalles de una ejecución de evaluación te ayudan a evaluar el rendimiento de una versión del modelo en documentos anotados antes de implementarla.

Para abrir los detalles de una ejecución de evaluación, procede de la siguiente manera:

1. Mantén el puntero sobre el nodo Extracción de flujo y selecciona Abrir vista completa.

2. En la pestaña Ejecuciones de evaluación , selecciona la fila de una ejecución de evaluación. Los detalles de la ejecución abierta, incluida su tabla de rendimiento de documentos . La página muestra los siguientes detalles de la ejecución:

   • Latencia, que es la latencia de extracción. Mantén el puntero sobre el valor para ver los percentiles de latencia en todos los documentos.
   • La puntuación de ejecución, que es el promedio de las puntuaciones F1 de todos los campos.

   

3. Selecciona una de las siguientes vistas:

   • By document - Shows the Document performance table, with one row per document. By default, the table shows the following columns: F1 score, Doc error rate, Total errors, Total annotations, and Annotated values.
   • Por campo : muestra la tabla de rendimiento de campo .

Tabla de rendimiento de campo

La tabla de rendimiento de campo, disponible en la pestaña Ejecuciones de evaluación , en la vista Por campo de una ejecución de evaluación, es la forma principal de analizar el rendimiento del modelo. Muestra una fila por campo o grupo de campos, junto con las métricas de rendimiento y error calculadas en los documentos anotados. La tabla no tiene en cuenta los documentos no anotados y parcialmente anotados al calcular las métricas.

La tabla ayuda a responder preguntas como:

• ¿Qué campos limitan el rendimiento general del modelo?
• ¿Los errores se concentran en unos pocos campos o se propagan ampliamente?
• ¿Un cambio reciente de modelo mejoró o degradó los campos específicos?

La tabla incluye varias categorías de métricas que te ayudan a analizar el rendimiento del modelo desde diferentes perspectivas. Cada categoría responde a una pregunta de diagnóstico específica sobre cómo se comporta tu modelo en los campos y documentos.

De forma predeterminada, la tabla muestra las siguientes columnas:

• Puntuación F1
• Tasa de error
• Errores totales
• Anotaciones totales
• Valores anotados
• Documentos con errores
• Documentos anotados

La puntuación F1 de cada campo y grupo de campos está codificada por colores utilizando los mismos rangos que la puntuación de salud del nodo:

• Verde : el campo funciona bien.
• Yellow - The performance of the field is less than satisfactory.
• Rojo : el campo tiene un rendimiento deficiente.

Para mostrar u ocultar métricas, selecciona Columnas y luego selecciona las métricas de cada categoría.

Para encontrar un grupo de campos o un campo en particular, utiliza el cuadro Buscar campos .

Filtrado y clasificación

Para filtrar filas en la tabla, selecciona uno o más de los filtros rápidos disponibles en la pestaña Ejecuciones de evaluación . Cada filtro rápido muestra el número de filas con las que coincide:

• Valores anotados <10
• Puntuación de campo F1 < 50
• Puntuación de campo F1 dentro de 50–70

También puedes ordenar la tabla por cualquier métrica de la tabla. Cuando se aplica una ordenación, los valores se ordenan dentro de su respectivo grupo de campos. Por ejemplo, ordenar la tabla por puntuación F1 ordena los campos dentro de cada grupo de campos entre sí.

Métricas de rendimiento

El propósito de las métricas de rendimiento es evaluar la calidad general de la extracción para cada campo o grupo de campos.

Las métricas de rendimiento se describen de la siguiente manera:

• Puntuación F1 : la media armónica de precisión y recuperación: F1 = 2 × (Precisión × Recuperación) / (Precisión + Recuperación). La puntuación F1 solo permanece alta cuando tanto la precisión como la recuperación son altas. En la práctica, esto hace que F1 sea un indicador de calidad general sólido para las tareas de extracción en las que te preocupas por evitar valores incorrectos y evitar valores perdidos. Por lo tanto, F1 es una primera métrica útil para revisar para analizar los cambios de rendimiento de campo en todas las versiones del modelo.
• Precisión : mide la frecuencia con la que los valores predichos son correctos: Precisión = Verdaderos positivos / (Verdaderos positivos + Falsos positivos). Los positivos verdaderos son predicciones que coinciden con el valor anotado, excluyendo los valores anotados como faltantes.
• Recuperación : mide la frecuencia con la que el modelo encuentra un valor cuando existe: Recuperación = Verdaderos positivos / (Verdaderos positivos + Falsos negativos). Los falsos negativos son valores anotados que el modelo no predijo, excluyendo los valores anotados como faltantes.
• Tasa de error : errores totales/anotaciones totales. Los valores marcados como faltantes se incluyen en el recuento de errores y anotaciones.
• Tasa de error excluyendo los faltantes : (errores totales - predicciones adicionales) / valores anotados. Se excluyen los valores anotados marcados como faltantes.

Predicciones y errores

El propósito de las métricas de predicciones y errores es comprender el volumen y la composición de los errores que contribuyen a un rendimiento deficiente.

Las métricas se describen de la siguiente manera:

• Errores totales : número total de errores para un campo en todas las clases de error: Errores totales = Valores incorrectos + Predicciones omitidas + Predicciones adicionales.
• Predicciones totales : número total de valores predichos para un campo: predicciones totales = valores correctos + faltantes correctos + valores incorrectos.
• Valores incorrectos : número de predicciones en las que el valor extraído no coincide con la anotación. Excluye predicciones y valores anotados marcados como faltantes.
• Predicciones omitidas : número de valores anotados que el modelo no pudo extraer.
• Predicciones adicionales : número de valores predichos que el modelo no debería haber extraído, o no tenían una anotación correspondiente o una anotación marcada como faltante.
• Valores correctos : número de valores predichos que coinciden exactamente con la anotación.
• Corregir faltantes : número de instancias en las que el modelo predijo correctamente que falta un valor.

Anotaciones

El propósito de las métricas de anotación es proporcionar contexto de cuántos datos etiquetados admiten cada métrica y cuán fiables son las puntuaciones de rendimiento.

Las métricas se describen de la siguiente manera:

• Anotaciones totales : número total de anotaciones, incluidos los valores marcados como faltantes: anotaciones totales = valores anotados + valores anotados marcados como faltantes.
• Valores anotados : número total de valores de campo anotados, excluyendo los marcados como faltantes.
• Anotado como faltante : número total de veces que un campo se ha etiquetado explícitamente como faltante.

Métricas de documentos

El propósito de las métricas de documentos es comprender cómo se distribuyen los errores en los documentos y no solo en las predicciones.

Las métricas se describen de la siguiente manera:

• Documentos con errores : número total de documentos en los que el campo tiene al menos un error.
• Documentos anotados : número total de documentos en los que el campo tiene al menos un valor de campo anotado.
• % de documentos con errores : porcentaje de documentos anotados que contienen al menos un error para el campo: Documentos con errores / Documentos anotados.

Comparar versiones del modelo

Cuando hay varias ejecuciones de evaluación disponibles, puedes comparar el rendimiento de una ejecución con una ejecución anterior. De esta manera, puedes comprender mejor el impacto de los cambios en las instrucciones de campo, los cambios en las anotaciones o las actualizaciones de configuración del modelo.

De forma predeterminada, la tabla compara la ejecución seleccionada con la ejecución anterior. Las diferencias de puntuación aparecen junto a cada valor, con una flecha que indica si el valor aumentó o disminuyó.

Para comparar con una ejecución diferente, procede de la siguiente manera:

1. En la vista Por campo de una ejecución de evaluación, selecciona el menú desplegable Comparar con .

   

2. Selecciona una de las siguientes opciones:

   • Una ejecución anterior, enumerada por número de ejecución, conjunto de datos, fecha y versión del modelo.
   • Sin comparación : oculta las diferencias de puntuación.

   

Escenarios de ejemplo

Escenario 1: F1 baja + precisión baja, pero la recuperación es moderada o alta

Lo que observas

F1 es baja, la precisión es baja y la recuperación es moderada o alta.

Lo que suele significar

• El modelo extrae valores para un campo, pero hay más valores predichos de los que se espera encontrar.
• Causas raíz comunes:
  • La instrucción de campo es demasiado amplia o ambigua. Por ejemplo, la instrucción de campo es capturar la cantidad, pero no especifica cuál cantidad.
  • El documento tiene valores similares que se pueden confundir entre sí, por ejemplo, subtotal frente a total, envío frente a factura.

Qué hacer a continuación

Compara los valores incorrectos y las predicciones adicionales para identificar si la incidencia está vinculada a la extracción del valor incorrecto (recuento de valores incorrectos distintos de cero) o si el valor no debería haberse extraído en absoluto (recuento de predicciones adicionales distintos de cero).

Ajusta las instrucciones de campo con desambiguadores, como etiquetas, palabras clave y restricciones de formato.

Escenario 2: predicciones no acertadas altas (la recuperación es baja), la precisión es moderada o alta.

Lo que observas

• La recuperación es baja y la precisión es moderada o alta (F1 suele ser baja o moderada).
• El número de predicciones omitidas es alto, a menudo más que valores incorrectos o predicciones adicionales.

Lo que suele significar

• El modelo falla al extraer valores que están presentes.
• Causas raíz comunes:
  • La instrucción de campo es demasiado angosta, lo que significa ejemplos demasiado restringidos o requisitos de etiqueta demasiado específicos.
  • El valor aparece en varios formatos, como fechas e ID, y la instrucción no cubre las variantes.

Qué hacer a continuación

• Usa Predicciones omitidas + Valores anotados para confirmar que se trata de un problema de recuperación, es decir, que los valores existen pero no se encontraron. Comprueba los valores anotados para confirmar que haya un número razonable de puntos de datos anotados para el campo y las predicciones omitidas para confirmar que el modelo luche por buscar valores en lugar de predecirlos incorrectamente.
• Expande las instrucciones para incluir variantes aceptables: etiquetas o sinónimos alternativos, varios patrones de formato, sugerencias de ubicación (por ejemplo, cerca de los detalles del solicitante o en la sección de prestatario).

Escenario 3: alta tasa de error pero pocos documentos con errores (errores concentrados en unos pocos documentos)

Lo que observas

• La tasa de error es alta o el Total de errores es alto.
• Los documentos con errores son bajos en relación con los documentos anotados.
• A menudo, un campo tiene un aspecto incorrecto pero solo falla en un pequeño subconjunto de documentos.

Lo que suele significar

• Los errores son impulsados por los documentos atípicos, no por el comportamiento sistémico del campo.
• Causas raíz comunes:
  • Un documento o formato específico se comporta de forma diferente al resto.
  • Incidencias de OCR o de calidad en un pequeño número de documentos, como escaneos borrosos, sesgados y superposiciones escritas a mano.
  • El campo está presente en la mayoría de los documentos, pero tiene un formato inusual en unos pocos, por ejemplo, de varias líneas frente a de una sola línea.

Qué hacer a continuación

• Compara los documentos con errores y los documentos anotados y, opcionalmente, el porcentaje de documentos con errores, para confirmar la concentración.
• Cambia a la vista Por documento de la ejecución de evaluación, ordena los documentos por puntuación e inspecciona los documentos con la puntuación más baja para identificar si el campo tiene un rendimiento deficiente en un subconjunto específico.

Escenario 4: grandes oscilaciones de rendimiento entre versiones con pocas anotaciones

Lo que observas

• Grandes diferencias en la F1 o la tasa de error entre las versiones del modelo (hacia arriba o hacia abajo), pero los valores anotados son bajos, los documentos anotados son bajos o ambos.

Lo que suele significar

• Las métricas de campo aún no son estables debido al pequeño tamaño de la muestra.
• Causas raíz comunes:
  • Muy pocos ejemplos: 1 o 2 documentos pueden cambiar significativamente las tasas.
  • El campo rara vez está presente, es decir, muchos casos faltantes y pocos valores verdaderos.
  • Un puñado de documentos difíciles dominan la métrica.

Qué hacer a continuación

• Comprueba Valores anotados, Documentos anotados y Anotados como faltantes para validar la baja cobertura.
• Trata las métricas como direccionales, no definitivas, hasta que aumente la cobertura.
• Añade más datos etiquetados específicamente para ese campo: da prioridad a los documentos en los que esté presente el campo e incluye un conjunto diverso de muestras o variantes.
• Usa las comparaciones de versión solo después de que la cobertura sea suficiente para reducir el ruido impulsado por la variabilidad.