Evaluar el rendimiento del modelo

Puedes evaluar el rendimiento del modelo en las siguientes ubicaciones:

• La pestaña Crear, que muestra la puntuación general del proyecto, así como la tasa de error para cada documento.
• La pestaña Medir, que muestra el rendimiento a nivel de grupo de campos y de campo.

Evaluación del rendimiento del modelo en Crear

Puedes ver una clasificación general en la puntuación del proyecto en la pestaña Crear.

Nota:

• Los modelos saludables tienen una puntuación del proyecto de Buena o Excelente y no presentan advertencias sobre el rendimiento en el campo​.
• La puntuación del proyecto se calcula en función de la puntuación F1 promedio en todos los campos.

Además, puedes ver la tasa de error para cada documento en la columna Tasa de error de la sección Documentos en Crear.

Nota:

Las tasas de error solo están disponibles para los documentos anotados e indican el número de errores que cometió el modelo en cada documento, es decir, la diferencia entre las predicciones del modelo y las anotaciones del usuario.

Evaluar el rendimiento del modelo en Medir

Nota:

The Measure page updates are available in public preview.

La página Medir te ayuda a evaluar el rendimiento de un modelo en documentos anotados antes de publicarlos. La página incluye:

• Una tabla de rendimiento de campo que muestra métricas de rendimiento clave por campo y grupo de campos.
• Soporte para comparar diferencias de rendimiento entre versiones del modelo, destacando mejoras o regresiones.
• Visibilidad de la distribución de tipos de error para cada campo de taxonomía.
• Capacidades de exportación de datos para análisis personalizados sin conexión.

Las siguientes secciones describen los componentes principales de Medida y explican cómo utilizarlos de forma efectiva al analizar el rendimiento del modelo.

Resumen del proyecto

La sección de resumen proporciona una vista rápida y de alto nivel de cómo funciona tu versión actual del modelo en todo el proyecto. Puedes utilizarlo para:

• Selecciona la versión del modelo que quieres evaluar.
• Obtenga una lectura rápida del rendimiento general utilizando la puntuación del proyecto y la media. tasa de error de documentos.
• Detecta rápidamente si el rendimiento general del proyecto tiene una tendencia al alza o a la baja al compararlo con una versión anterior.

Puntuación del proyecto

La puntuación del proyecto resume el rendimiento general del modelo.

Por qué es útil

• Proporciona una forma única y coherente de realizar un seguimiento del progreso general a medida que iteras en la taxonomía, las instrucciones y las anotaciones.
• Le ayuda a determinar rápidamente si una versión del modelo está mejorando o retrocediendo en general antes de profundizar en campos específicos.

Cómo se calcula

• La puntuación del proyecto se calcula como la media simple de las puntuaciones F1 en todos los campos de la taxonomía.
• La puntuación F1 es una métrica de rendimiento del modelo estándar que equilibra la precisión y la recuperación, es decir, la media armónica de ambas.
• En un nivel alto:
  • Respuestas de precisión : ¿Con qué frecuencia fueron correctos los valores predichos del modelo?
  • Recuperar respuestas: ¿Cuántos de los datos anotados encontró el modelo con éxito?

Nota:

La puntuación del proyecto es una media. Las regresiones o limitaciones específicas a nivel de campo pueden revisarse con la tabla de rendimiento de campo.

Promedio tasa de error de la documentación

El promedio doc error rate es el promedio de las tasas de error para cada documento anotado en el proyecto.

Por qué es útil

El promedio doc error rate proporciona un indicador rápido de cuán propensos son los documentos cuando la versión del modelo seleccionada los procesa, lo que ayuda a evaluar la preparación para la publicación.

Cómo se calcula

El valor se calcula como el promedio simple de la tasa de error de cada documento completamente anotado en el proyecto.

Tabla de rendimiento de campo

La tabla de rendimiento de campo es la forma principal de analizar el rendimiento del modelo en la página Medida . Muestra una fila por campo o grupo de campos, junto con las métricas de rendimiento y error calculadas en los documentos anotados del proyecto. La tabla no tiene en cuenta los documentos no anotados y parcialmente anotados al calcular las métricas.

La tabla ayuda a responder preguntas como:

• ¿Qué campos limitan el rendimiento general del modelo?
• ¿Los errores se concentran en unos pocos campos o están muy extendidos?
• ¿Un cambio reciente en el modelo mejoró o degradó campos específicos?

La tabla de rendimiento de campo incluye varias categorías de métricas que te ayudan a analizar el rendimiento del modelo desde diferentes perspectivas. Cada categoría responde a una pregunta de diagnóstico específica sobre cómo se comporta tu modelo en los campos y documentos.

Nota:

Estado de validación y resultados parciales Para reducir el tiempo de espera:

• Las métricas de rendimiento de campo se vuelven visibles una vez que la validación alcanza un umbral mínimo de finalización.
• Las advertencias indican cuando la validación aún está en curso y que los resultados mostrados pueden cambiar.

Performance metrics

El propósito de las métricas de rendimiento es evaluar la calidad general de la extracción para cada campo o grupo de campos.

Las métricas de rendimiento se describen a continuación:

• Puntuación F1 : la media armónica de precisión y recuperación: F1 = 2 × (Precisión × Recuperación) / (Precisión + Recuperación). La puntuación F1 solo permanece alta cuando tanto la precisión como la recuperación son altas. En la práctica, esto convierte a F1 en un sólido indicador de calidad general para las tareas de extracción en las que te preocupas por evitar valores incorrectos y valores perdidos. Por lo tanto, F1 es una primera métrica útil para revisar para analizar los cambios en el rendimiento del campo en las versiones del modelo.
• Precisión : mide la frecuencia con la que los valores predichos son correctos: Precisión = Verdaderos positivos / (Verdaderos positivos + Falsos positivos). Los verdaderos positivos son predicciones que coinciden con el valor anotado, excluyendo los valores anotados como faltantes.
• Recuperación : mide la frecuencia con la que el modelo encuentra un valor cuando existe: Recuperación = Verdaderos positivos / (Verdaderos positivos + Falsos negativos). Los falsos negativos son valores anotados que el modelo no predijo, excluyendo los valores anotados como faltantes.
• Tasa de error : errores totales/anotaciones totales. Los valores marcados como faltantes se incluyen en el recuento de errores y anotaciones.
• Tasa de error (excluidos los que faltan) : (Errores totales - Predicciones adicionales) / Valores anotados. Se excluyen los valores anotados marcados como faltantes.

Predicciones y errores

El propósito de las métricas de predicciones y errores es comprender el volumen y la composición de los errores que contribuyen a un rendimiento deficiente.

Las métricas se describen de la siguiente manera:

• Errores totales — Número total de errores para un campo en todas las clases de error: Errores totales = Predicciones incorrectas + Predicciones perdidas + Predicciones adicionales.
• Predicciones totales — Número total de valores predichos para un campo: Predicciones totales = Valores correctos + Faltantes correctos + Predicciones incorrectas.
• Predicciones incorrectas : número de predicciones en las que el valor extraído no coincide con la anotación. Excluye predicciones y valores anotados marcados como faltantes.
• Predicciones adicionales : número de valores predichos que el modelo no debería haber extraído, o que no tenían una anotación correspondiente o una anotación marcada como faltante.
• Predicciones perdidas : número de valores anotados que el modelo no pudo extraer.
• Valores correctos : número de valores predichos que coinciden exactamente con la anotación.
• Corregir faltantes : número de instancias en las que el modelo predijo correctamente que falta un valor.

Anotaciones

El propósito de las métricas de anotaciones es proporcionar contexto sobre la cantidad de datos etiquetados que admite cada métrica y la fiabilidad de las puntuaciones de rendimiento.

Las métricas se describen de la siguiente manera:

• Anotaciones totales : número total de anotaciones, incluidos los valores marcados como faltantes: Anotaciones totales = Valores anotados + Valores anotados marcados como faltantes.
• Valores anotados : número total de valores de campo anotados, excluidos los marcados como faltantes.
• Anotado como ausente : número total de veces que un campo se ha etiquetado explícitamente como ausente.

Métricas a nivel de documento

El propósito de las métricas a nivel de documento es comprender cómo se distribuyen los errores en los documentos en lugar de solo en las predicciones.

Las métricas se describen de la siguiente manera:

• Documentos con errores : número total de documentos en los que el campo tiene al menos un error.
• Documentos anotados : número total de documentos en los que el campo tiene al menos un valor de campo anotado.
• Porcentaje de documentos con errores : porcentaje de documentos anotados que contienen al menos un error para el campo: Documentos con errores / Documentos anotados.

Escenarios de ejemplo

Escenario 1: F1 bajo + precisión baja, pero la recuperación es moderada o alta

Lo que observas

F1 es bajo, Precisión es baja y Recuperación es moderada o alta.

Lo que suele significar

• El modelo está extrayendo valores para un campo, pero hay más valores previstos de los que espera encontrar.
• Causas raíz comunes:
  • La instrucción de campo es demasiado amplia o ambigua. Por ejemplo, la instrucción de campo es capturar la cantidad, pero no especifica qué cantidad.
  • El documento tiene valores similares que pueden confundirse entre sí, por ejemplo, subtotal frente a total, envío frente a facturación.

Qué hacer a continuación

Compara las predicciones incorrectas y adicionales para identificar si el problema está relacionado con la extracción del valor incorrecto (recuento de predicciones incorrectas distinto de cero) o si el valor no debería haberse extraído en absoluto (recuento de predicciones adicionales distinto de cero).

Refuerza las instrucciones de campo con desambiguadores, como etiquetas, palabras clave y restricciones de formato.

Escenario 2: Predicciones perdidas altas (la recuperación es baja), la precisión es moderada o alta

Lo que observas

• La recuperación es baja y la precisión es moderada o alta (F1 suele ser baja o moderada).
• Las predicciones perdidas son altas, a menudo más que incorrectas o adicionales.

Lo que suele significar

• El modelo no puede extraer los valores que están presentes.
• Causas raíz comunes:
  • La instrucción de campo es demasiado estrecha, lo que significa ejemplos demasiado restringidos o requisitos de etiqueta demasiado específicos.
  • El valor aparece en varios formatos, como fechas e ID, y la instrucción no cubre variantes.

Qué hacer a continuación

• Utiliza Predicciones perdidas + Valores anotados para confirmar que se trata de un problema de recuperación, es decir, que los valores existen pero no se encuentran. Marca Valores anotados para confirmar que hay un número razonable de puntos de datos anotados para el campo, y Predicciones perdidas para confirmar que el modelo tiene dificultades para encontrar valores en lugar de predecirlos incorrectamente.
• Expanda las instrucciones para incluir variantes aceptables: etiquetas o sinónimos alternativos, múltiples patrones de formato, sugerencias de ubicación (por ejemplo, cerca de los detalles del solicitante o en la sección del prestatario).

Escenario 3: tasa de error alta pero documentos con errores bajos (errores concentrados en unos pocos documentos)

Lo que observas

• La tasa de error es alta o el total de errores es alto.
• Los documentos con errores son bajos en relación con los documentos anotados.
• A menudo, un campo se ve mal, pero solo falla en un pequeño subconjunto de documentos.

Lo que suele significar

• Los errores son provocados por documentos atípicos, no por el comportamiento sistémico de los campos.
• Causas raíz comunes:
  • Un documento o formato específico se comporta de forma diferente al resto.
  • Problemas de OCR o de calidad en un pequeño número de documentos, como escaneos borrosos, sesgados y superposiciones escritas a mano.
  • El campo está presente en la mayoría de los documentos, pero tiene un formato inusual en algunos, por ejemplo, multilínea frente a una sola línea.

Qué hacer a continuación

• Compara los documentos con errores y los documentos anotados y, opcionalmente, el porcentaje de documentos con errores, para confirmar la concentración.
• Ordena los documentos por Tasa de error en la página Crear e inspecciona los documentos con la tasa de error más alta para identificar si el campo tiene un rendimiento deficiente en un subconjunto específico.

Escenario 4: Grandes cambios en el rendimiento entre versiones con pocas anotaciones

Lo que observas

• Grandes diferencias en F1 o tasa de error entre las versiones del modelo (arriba o abajo), pero los valores anotados son bajos, los anotaciones de Docs son bajos o ambos.

Lo que suele significar

• Las métricas de campo aún no son estables debido al pequeño tamaño de la muestra.
• Causas raíz comunes:
  • Muy pocos ejemplos: 1 o 2 documentos pueden cambiar significativamente las tasas.
  • El campo rara vez está presente, es decir, muchos casos faltantes y pocos valores verdaderos.
  • Un puñado de documentos difíciles dominan la métrica.

Qué hacer a continuación

• Marca Valores anotados, Documentos anotados y Anotado como faltante para validar la baja cobertura.
• Trata las métricas como direccionales, no definitivas, hasta que aumente la cobertura.
• Añade más datos etiquetados específicamente para ese campo: prioriza los documentos en los que está presente el campo e incluye un conjunto diverso de muestras o variantes.
• Utilice las comparaciones de versiones solo después de que la cobertura sea suficiente para reducir el ruido impulsado por la variabilidad.

Filtrar y ordenar

Para filtrar filas en la tabla, selecciona uno o más de los filtros rápidos disponibles:

• Valores anotados <10
• Puntuación del campo F1 < 50
• Puntuación del campo F1 entre 50 y 70

The following images depict an example of the Field performance table results before and after you apply a quick filter:

You can also sort the Field performance table by any metric in the table. When a sort is applied, values are sorted within their respective field group. For example, sorting the table by F1 score sorts the fields within each field group relative to one another:

Configuración de visibilidad

De forma predeterminada, Medida muestra diferencias para las métricas de rendimiento, por ejemplo, la puntuación F1 y la tasa de error.

Para ver las diferencias en todas las métricas, proceda de la siguiente manera:

1. Habilita la alternancia Mostrar diferencias en las puntuaciones de: versión .

2. Selecciona el menú desplegable Mostrar diferencias en las puntuaciones de: Versión .

   

3. Selecciona Configuración de visibilidad.

4. En la ventana emergente Cambios de versión: configuración de visibilidad , selecciona Todas las métricas. Las opciones disponibles son:

   • Solo métricas de rendimiento : las métricas de rendimiento se determinan comparando las predicciones del modelo con anotaciones, como la puntuación F1 y la tasa de error.
   • Todas las métricas
   • Mostrar cambios dentro de la variabilidad del modelo : de forma predeterminada, los cambios dentro de los rangos de variabilidad de la versión actual no se consideran significativos y están ocultos. Habilítelos para mostrarlos. Cuando se selecciona, la siguiente opción pasa a estar disponible:
     • Mostrar colores para todos los cambios : de forma predeterminada, los cambios dentro del rango de variabilidad aparecen en gris. Habilite para colorear todos los cambios de verde o rojo.

5. Selecciona Guardar.

Versiones del modelo

Las versiones del modelo capturan el estado actual del proyecto en el momento en que se creó la versión. Puedes publicar versiones del modelo para guardarlas y utilizarlas en una automatización. Además, puedes destacar las versiones en la página Medida para guardar sus estadísticas de rendimiento. Puedes comparar el rendimiento actual con versiones anteriores para garantizar la mejora continua del rendimiento durante la iteración de las instrucciones.

Seleccionar una versión del modelo

Utiliza el menú desplegable Versión para elegir qué resultados de validación de una versión específica del modelo se muestran en la página Medida , como Rendimiento de campo, Rendimiento de documento y métricas asociadas. Al cambiar la versión del modelo, todas las métricas de la página se actualizan para reflejar los resultados de validación de la versión seleccionada.

Comparar diferentes versiones del modelo utilizando diferencias de puntuación

Cuando hay disponibles varias versiones del modelo, la página Medir te permite comparar el modelo actual con una versión anterior. De esta manera, puedes comprender mejor el impacto de los cambios en las instrucciones de campo, los cambios en las anotaciones o las actualizaciones de configuración del modelo.

Cómo funciona

• Medida te permite ver las diferencias de puntuación de otra versión del modelo.
• Los cambios positivos o negativos resaltan mejoras o regresiones. De forma predeterminada, Medida realiza comparaciones con la versión anterior del modelo relativa a la versión del modelo creada más recientemente.

Para comparar una versión de modelo diferente, selecciona una versión disponible utilizando el menú desplegable Mostrar diferencias en puntuaciones de la versión .

Comprender la variabilidad del modelo y el impacto en las diferencias de puntuación

Algunos modelos en Extracción y Procesamiento Inteligentes (IXP) no son deterministas, lo que significa que el conjunto de predicciones de un campo entre versiones del modelo puede variar ligeramente incluso cuando las instrucciones de ese campo no se modifican.

La página Medir te permite tener en cuenta la variabilidad del modelo durante el análisis de rendimiento. Esto te ayuda a:

• Comprender si un cambio de rendimiento es significativo.
• Evita sobreinterpretar pequeñas fluctuaciones métricas.

De manera predeterminada:

• Las diferencias de puntuación que caen dentro del rango de variabilidad de una métrica se ocultan al comparar dos versiones del modelo.
• Puedes seleccionar mostrar todas las diferencias de puntuación o solo las diferencias que son mayores o iguales a la variabilidad de una métrica.

Estos valores predeterminados garantizan que la atención se centre en cambios significativos en el rendimiento del modelo y no en el ruido.

Para mostrar las diferencias entre las versiones del modelo independientemente de la variabilidad del modelo, proceda de la siguiente manera:

1. Habilita la alternancia Mostrar diferencias en las puntuaciones de: versión .
2. Selecciona el menú desplegable Mostrar diferencias en las puntuaciones de: Versión .
3. Selecciona Configuración de visibilidad.
4. En la ventana emergente, selecciona Mostrar cambios dentro de la variabilidad del modelo. Las opciones disponibles son:
   • Solo métricas de rendimiento : las métricas de rendimiento se determinan comparando las predicciones del modelo con anotaciones, como la puntuación F1 y la tasa de error.
   • Todas las métricas
   • Mostrar cambios dentro de la variabilidad del modelo : de forma predeterminada, los cambios dentro de los rangos de variabilidad de la versión actual no se consideran significativos y están ocultos. Habilítelos para mostrarlos. Cuando se selecciona, la siguiente opción pasa a estar disponible:
     • Mostrar colores para todos los cambios : de forma predeterminada, los cambios dentro del rango de variabilidad aparecen en gris. Habilite para colorear todos los cambios de verde o rojo.
5. Opcionalmente, selecciona Mostrar colores para todas las diferencias si quieres que todas las diferencias de puntuación aparezcan en verde o rojo. De forma predeterminada, las diferencias dentro del rango de variabilidad se muestran en gris.
6. Selecciona Guardar.

Destacar una versión del modelo

Se crea una nueva versión del modelo cada vez que realizas cambios en tu taxonomía, incluidas las instrucciones, o en la configuración del modelo. La última versión del modelo está siempre disponible, pero también puedes destacar, es decir, bloquear, una versión específica del modelo para mostrar siempre las estadísticas de rendimiento en el panel.

Para destacar una versión del modelo, procede de la siguiente manera:

1. Expande el menú desplegable Versión del modelo para ver la lista con todas las versiones disponibles.
2. Selecciona el icono de estrella junto a la versión del modelo que quieres que se muestre siempre en la parte superior de la lista y en el panel.

Nota:

Al destacar una versión del modelo no se guarda la versión del modelo en sí, solo las estadísticas de rendimiento. Para guardar una versión del modelo, debe publicarse en la pestaña Publicar .

Exportar datos de medida

Puedes exportar datos desde la página Medida para:

• Análisis sin conexión.
• Filtrado personalizado.
• Compartir resultados con las partes interesadas.

Las exportaciones incluyen predicciones a nivel de campo, anotaciones y métricas de rendimiento visibles en la página Medida .

Para exportar datos, proceda de la siguiente manera:

1. Ve a la página Medida .
2. Selecciona los puntos suspensivos verticales.
3. Selecciona Exportar como archivo de Excel.