Medida

Puedes comprobar el estado general de tu proyecto y comprobar las áreas con potencial de mejora en la sección Medida.

Medida del proyecto

La medición principal de la página es la puntuación del proyecto general.

Esta medida influye en las puntuaciones de clasificador y del extractor para todos los tipos de documentos. La puntuación de cada factor corresponde a la calificación del modelo y puede verse en Medida de clasificación y Medida de extracción, respectivamente.

La calificación del modelo es una funcionalidad destinada a ayudarte a visualizar el rendimiento de un modelo de clasificación. Se expresa como una puntuación del modelo de 0 a 100 de la siguiente manera:

• Deficiente (0-49)
• Promedio (50-69)
• Bueno (70-89)
• Excelente (90-100)

Independientemente de la puntuación del modelo, depende de ti decidir cuándo detener el entrenamiento, en función de las necesidades de tu proyecto. Incluso si un modelo tiene la calificación de Excelente, eso no significa que vaya a cumplir todos los requisitos empresariales.

Medida de clasificación

La puntuación de la Clasificación influye en el rendimiento del modelo, así como en el tamaño y la calidad del conjunto de datos.

Nota: la puntuación de clasificación solo está disponible si tienes más de un tipo de documento creado.

Si seleccionas Clasificación, se muestran dos pestañas en el lado derecho:

• Factores: proporciona recomendaciones sobre cómo mejorar el rendimiento de tu modelo. Puedes obtener recomendaciones sobre el tamaño del conjunto de datos o el rendimiento del modelo entrenado para cada tipo de documento.
• Métricas: proporciona métricas útiles, como el número de documentos de entrenamiento y prueba, la precisión, la exactitud, la recuperación y la puntuación F1 para cada tipo de documento.

Medida de extracción

La puntuación de extracción influye en el rendimiento general del modelo, así como en el tamaño y la calidad del conjunto de datos. Esta vista se divide en tipos de documentos. También puedes ir directamente a la vista Anotar de cada tipo de documento seleccionando Anotar.

Si seleccionas cualquiera de los tipos de documento disponibles en la vista de extracción, se muestran tres pestañas en el lado derecho:

• Factores: proporciona recomendaciones sobre cómo mejorar el rendimiento de tu modelo. Puedes obtener recomendaciones sobre el tamaño del conjunto de datos (número de documentos cargados, número de documentos anotados) o el rendimiento del modelo entrenado (precisión de los campos) para el tipo de documento seleccionado.
• Conjunto de datos: proporciona información sobre los documentos usados para el entrenamiento del modelo, el número total de páginas importadas y el número total de páginas etiquetadas.
• Métricas: proporciona métricas e información útiles, como el nombre del campo, el número de estado de entrenamiento y la precisión para el tipo de documento seleccionado. También puedes acceder a métricas avanzadas para tus modelos de extracción utilizando el botón Descargar métricas avanzadas. Esta funcionalidad te permite descargar un archivo de Excel con métricas detalladas y resultados del modelo por lote.

Diagnóstico de conjuntos de datos

La pestaña Conjunto de datos te ayuda a crear conjuntos de datos eficaces proporcionando retroalimentación y recomendaciones de los pasos necesarios para lograr una buena precisión para el modelo entrenado.

Hay tres niveles de estado del conjunto de datos expuestos en la barra de administración:

• Rojo: se necesitan más datos de entrenamiento etiquetados.
• Naranja: se recomienda que haya más datos de entrenamiento etiquetados.
• Verde claro: los datos de entrenamiento etiquetados están dentro de las recomendaciones.
• Verde oscuro: los datos de entrenamiento etiquetados están dentro de las recomendaciones. Sin embargo, pueden necesitarse más datos para los campos de rendimiento inferior.

Si no se crea ningún campo en la sesión, el nivel de estado del conjunto de datos es gris.

Comparar modelo

Puedes comparar el rendimiento de dos versiones de un modelo de clasificación o extracción desde la sección Medir.

Comparación de modelos de clasificación

Para comparar el rendimiento de dos versiones de un modelo de clasificación, ve primero a la sección Medir. A continuación, selecciona Comparar modelo para el modelo de clasificación en el que estás interesado.

Puedes elegir las versiones que quieres comparar de la lista desplegable en la parte superior de cada columna. De forma predeterminada, la versión actual, que indica la versión más reciente disponible, se selecciona a la izquierda y la versión publicada más reciente a la derecha.

Figura 1. Comparación de modelos de clasificación

Comparar modelos de clasificación depende de cuatro métricas clave:

• Precisión: la proporción de instancias positivas predichas correctamente sobre el total de instancias predichas como positivas. Un modelo con una alta precisión indica menos falsos positivos.
• Precisión: la proporción de predicciones correctas (incluidos tanto positivos verdaderos como negativos verdaderos) del total de instancias.
• Recuperación: la proporción de casos positivos reales que se identificaron correctamente.
• Puntuación F1: la media geométrica de precisión y recuperación, que tiene como objetivo lograr un equilibrio entre estas dos métricas. Esto sirve como una compensación entre falsos positivos y falsos negativos.

El orden de los tipos de documento que se muestra es el utilizado en la versión más reciente de la comparación. Si un tipo de documento no está disponible en una de las versiones comparadas, los valores para cada medida se reemplazan con N/A.

Nota: si un campo se eliminó en la versión actual pero estaba disponible en la versión anterior antes de que la característica Comparar modelos estuviera disponible, el nombre se reemplaza por Desconocido.

Comparación de modelos de extracción

Para comparar el rendimiento de dos versiones de un modelo de extracción, ve primero a la sección Medir. A continuación, selecciona Comparar modelo para el modelo de extracción en el que estás interesado.

Puedes elegir las versiones que quieres comparar de la lista desplegable en la parte superior de cada columna. De forma predeterminada, la versión actual, que indica la versión más reciente disponible, se selecciona a la izquierda y la versión publicada más reciente a la derecha.

Figura 2. Comparación de modelos de extracción

La comparación de modelos de extracción se basa en las siguientes métricas clave:

• Nombre del campo: el nombre del campo de anotación.
• Tipo de contenido: el tipo de contenido del campo:
  • Cadena
  • Número
  • Fecha
  • Teléfono
  • Número de identificación
• Clasificación: puntuación del modelo destinada a ayudarte a visualizar el rendimiento del campo extraído.
• Precisión: la fracción del número total de predicciones que el modelo hace que son correctas.

El orden de los nombres de los campos que se muestra es el utilizado en la versión más reciente de la comparación. Si un nombre de campo no está disponible en una de las versiones comparadas, los valores para cada medida se reemplazan con N/A.

Nota: si un campo se eliminó en la versión actual pero estaba disponible en la versión anterior antes de que la característica Comparar modelos estuviera disponible, el nombre se reemplaza por Desconocido.

También puedes comparar la puntuación de campo de las tablas de la sección Tabla.

Puedes descargar el archivo de métricas avanzadas para cada versión desde la página de comparación desde el botón Descargar métricas avanzadas.