Medida

Puedes comprobar el estado general de tu proyecto y comprobar las áreas con potencial de mejora en la sección Medida.

Medida del proyecto

La medición principal de la página es la puntuación del proyecto general.

Esta medida influye en las puntuaciones de clasificador y del extractor para todos los tipos de documentos. La puntuación de cada factor corresponde a la calificación del modelo y puede verse en Medida de clasificación y Medida de extracción, respectivamente.

La calificación del modelo es una funcionalidad destinada a ayudarte a visualizar el rendimiento de un modelo de clasificación. Se expresa como una puntuación del modelo de 0 a 100 de la siguiente manera:

• Deficiente (0-49)
• Promedio (50-69)
• Bueno (70-89)
• Excelente (90-100)

Independientemente de la puntuación del modelo, depende de ti decidir cuándo detener el entrenamiento, en función de las necesidades de tu proyecto. Incluso si un modelo tiene la calificación de Excelente, eso no significa que vaya a cumplir todos los requisitos empresariales.

Medida de clasificación

La puntuación de la Clasificación influye en el rendimiento del modelo, así como en el tamaño y la calidad del conjunto de datos.

Nota: la puntuación de clasificación solo está disponible si tienes más de un tipo de documento creado.

Si haces clic en Clasificación, se muestran dos pestañas a la derecha:

• Factores: proporciona recomendaciones sobre cómo mejorar el rendimiento de tu modelo. Puedes obtener recomendaciones sobre el tamaño del conjunto de datos o el rendimiento del modelo entrenado para cada tipo de documento.
• Métricas: proporciona métricas útiles, como el número de documentos de entrenamiento y prueba, la precisión, la exactitud, la recuperación y la puntuación F1 para cada tipo de documento.

Medida de extracción

La Puntuación de extracción influye en el rendimiento general del modelo, así como en el tamaño y la calidad del conjunto de datos. Esta vista está dividida en tipos de documentos. También puedes ir directamente a la vista Anotar de cada tipo de documento haciendo clic en Anotar.

Si haces clic en cualquiera de los tipos de documentos disponibles desde la vista Extracción, se muestran tres pestañas a la derecha:

• Factores: proporciona recomendaciones sobre cómo mejorar el rendimiento de tu modelo. Puedes obtener recomendaciones sobre el tamaño del conjunto de datos (número de documentos cargados, número de documentos anotados) o el rendimiento del modelo entrenado (precisión de los campos) para el tipo de documento seleccionado.
• Conjunto de datos: proporciona información sobre los documentos usados para el entrenamiento del modelo, el número total de páginas importadas y el número total de páginas etiquetadas.
• Métricas: proporciona métricas e información útiles, como el nombre del campo, el número de estado de entrenamiento y la precisión para el tipo de documento seleccionado. También puedes acceder a métricas avanzadas para tus modelos de extracción utilizando el botón Descargar métricas avanzadas. Esta funcionalidad te permite descargar un archivo de Excel con métricas detalladas y resultados del modelo por lote.

Diagnóstico de conjuntos de datos

La pestaña Conjunto de datos te ayuda a crear conjuntos de datos eficaces proporcionando retroalimentación y recomendaciones de los pasos necesarios para lograr una buena precisión para el modelo entrenado.

Hay tres niveles de estado del conjunto de datos expuestos en la barra de administración:

• Rojo: se necesitan más datos de entrenamiento etiquetados.
• Naranja: se recomienda que haya más datos de entrenamiento etiquetados.
• Light green - Labelled training data is within recommendations.
• Dark green - Labelled training data is within recommendations. However, more data might be needed for underperforming fields.

Si no se crea ningún campo en la sesión, el nivel de estado del conjunto de datos es gris.

Comparar modelo

Puedes comparar el rendimiento de dos versiones de un modelo de clasificación o extracción desde la sección Medir .

Comparación de modelos de clasificación

Para comparar el rendimiento de dos versiones de un modelo de clasificación, primero ve a la sección Medir . A continuación, selecciona Comparar modelo para el modelo de clasificación que te interesa.

Puedes elegir las versiones que quieres comparar de la lista desplegable en la parte superior de cada columna. De forma predeterminada, la versión actual, que indica la versión más reciente disponible, se selecciona a la izquierda y la versión publicada más reciente a la derecha.

Figura 1. Comparación de modelos de clasificación

La comparación de los modelos de clasificación se basa en cuatro métricas clave:

• Precisión: la relación entre las instancias positivas predichas correctamente y el total de instancias que se predijeron como positivas. Un modelo con una alta precisión indica menos falsos positivos.
• Precisión: la proporción de predicciones correctas (incluidos tanto los verdaderos positivos como los verdaderos negativos) del total de instancias.
• Recuperación: la proporción de casos positivos reales que se identificaron correctamente.
• Puntuación F1: la media geométrica de precisión y recuperación, con el objetivo de lograr un equilibrio entre estas dos métricas. Esto sirve como compensación entre falsos positivos y falsos negativos.

El orden de los tipos de documentos mostrados es el utilizado en la última versión de la comparación. Si un tipo de documento no está disponible en una de las versiones comparadas, los valores de cada medida se sustituyen por N/A.

Nota: si un campo se eliminó en la versión actual pero estaba disponible en la versión anterior antes de que la característica Comparar modelo estuviera disponible, el nombre se reemplaza por Desconocido.

Comparación de modelos de extracción

Para comparar el rendimiento de dos versiones de un modelo de extracción, primero ve a la sección Medir . A continuación, selecciona Comparar modelo para el modelo de extracción que te interesa.

Puedes elegir las versiones que quieres comparar de la lista desplegable en la parte superior de cada columna. De forma predeterminada, la versión actual, que indica la versión más reciente disponible, se selecciona a la izquierda y la versión publicada más reciente a la derecha.

Figura 2. Comparación del modelo de extracción

La comparación de los modelos de extracción se basa en las siguientes métricas clave:

• Nombre del campo: el nombre del campo de anotación.
• Tipo de contenido: el tipo de contenido del campo:
  • Cadena
  • Número
  • Fecha
  • Teléfono
  • Número de identificación
• Calificación: puntuación del modelo destinada a ayudarte a visualizar el rendimiento del campo extraído.
• Precisión: la fracción del número total de predicciones que hace el modelo que son correctas.

El orden de los nombres de campo mostrados es el utilizado en la última versión de la comparación. Si un nombre de campo no está disponible en una de las versiones comparadas, los valores de cada medida se sustituyen por N/A.

Nota: si un campo se eliminó en la versión actual pero estaba disponible en la versión anterior antes de que la característica Comparar modelo estuviera disponible, el nombre se reemplaza por Desconocido.

También puedes comparar la puntuación de campo para las tablas desde la sección Tabla .

Puedes descargar el archivo de métricas avanzadas para cada versión desde la página de comparación desde el botón Descargar métricas avanzadas .