Medida

You can check the overall status of your project and check the areas with improvement potential from the Measure section.

Medida del proyecto

The main measurement on the page is the overall Project score.

This measurement factors in the classifier and extractor scores for all document types. The score of each factor corresponds to the model rating and can be viewed in Classification Measure and Extraction Measure respectively.

La calificación del modelo es una funcionalidad destinada a ayudarte a visualizar el rendimiento de un modelo de clasificación. Se expresa como una puntuación del modelo de 0 a 100 de la siguiente manera:

• Deficiente (0-49)
• Promedio (50-69)
• Bueno (70-89)
• Excelente (90-100)

Independientemente de la puntuación del modelo, depende de ti decidir cuándo detener el entrenamiento, en función de las necesidades de tu proyecto. Incluso si un modelo tiene la calificación de Excelente, eso no significa que vaya a cumplir todos los requisitos empresariales.

Medida de clasificación

La puntuación de la Clasificación influye en el rendimiento del modelo, así como en el tamaño y la calidad del conjunto de datos.

Nota:

The Classification score is only available if you have more than one document type created.

If you select Classification, two tabs are displayed on the right side:

• Factors: Provides recommendations on how to improve the performance of your model. You can get recommendations on dataset size or trained model performance for each document type.
• Metrics: Provides useful metrics, such as the number of train and test documents, precision, accuracy, recall, and F1 score for each document type.

Medida de extracción

The Extraction score factors in the overall performance of the model as well as the size and quality of the dataset. This view is split into document types. You can also go straight to the Annotate view of each document type by selecting Annotate.

If you select any of the available document types from the Extraction view, three tabs are displayed on the right side:

• Factors: Provides recommendations on how to improve the performance of your model. You can get recommendations on dataset size (number of uploaded documents, number of annotated documents) or trained model performance (fields accuracy) for the selected document type.
• Dataset: Provides information about the documents used for training the model, the total number of imported pages, and the total number of labelled pages.
• Metrics: Provides useful information and metrics, such as the field name, the number of training status, and accuracy for the selected document type. You can also access advanced metrics for your extraction models using the Download advanced metrics button. This feature allows you to download an Excel file with detailed metrics and model results per batch.

Diagnóstico de conjuntos de datos

The Dataset tab helps you build effective datasets by providing feedback and recommendations of the steps needed to achieve good accuracy for the trained model.

Hay tres niveles de estado del conjunto de datos expuestos en la barra de administración:

• Rojo: se necesitan más datos de entrenamiento etiquetados.
• Naranja: se recomienda que haya más datos de entrenamiento etiquetados.
• Verde: se consigue el nivel necesario de datos de entrenamiento etiquetados.

Si no se crea ningún campo en la sesión, el nivel de estado del conjunto de datos es gris.

Comparar modelo

You can compare the performance of two versions of a classification or extraction model from the Measure section.

Comparación de modelos de clasificación

To compare the performance of two versions of a classification model, first navigate to the Measure section. Then, select Compare model for the classification model you are interested in.

Puedes elegir las versiones que quieres comparar de la lista desplegable en la parte superior de cada columna. De forma predeterminada, la versión actual, que indica la versión más reciente disponible, se selecciona a la izquierda y la versión publicada más reciente a la derecha.

Figure 1. Classification model comparison

Comparar modelos de clasificación depende de cuatro métricas clave:

• Precisión: la proporción de instancias positivas predichas correctamente sobre el total de instancias predichas como positivas. Un modelo con una alta precisión indica menos falsos positivos.
• Precisión: la proporción de predicciones correctas (incluidos tanto positivos verdaderos como negativos verdaderos) del total de instancias.
• Recuperación: la proporción de casos positivos reales que se identificaron correctamente.
• Puntuación F1: la media geométrica de precisión y recuperación, que tiene como objetivo lograr un equilibrio entre estas dos métricas. Esto sirve como una compensación entre falsos positivos y falsos negativos.

The order of document types displayed is the one used in the latest version from the comparison. If a document type is not available in one of the compared versions, the values for each measure are replaced with N/A.

Nota:

If a field was removed in the current version but it was available in the older version before the Compare model feature was available, the name is replaced with Unknown.

Comparación de modelos de extracción

To compare the performance of two versions of an extraction model, first navigate to the Measure section. Then, select Compare model for the extraction model you are interested in.

Puedes elegir las versiones que quieres comparar de la lista desplegable en la parte superior de cada columna. De forma predeterminada, la versión actual, que indica la versión más reciente disponible, se selecciona a la izquierda y la versión publicada más reciente a la derecha.

Figure 2. Extraction model comparison

La comparación de modelos de extracción se basa en las siguientes métricas clave:

• Nombre del campo: el nombre del campo de anotación.
• Tipo de contenido: el tipo de contenido del campo:
  • Cadena
  • Número
  • Fecha
  • Teléfono
  • Número de identificación
• Clasificación: puntuación del modelo destinada a ayudarte a visualizar el rendimiento del campo extraído.
• Precisión: la fracción del número total de predicciones que el modelo hace que son correctas.

The order of field names displayed is the one used in the latest version from the comparison. If a field name is not available in one of the compared versions, the values for each measure are replaced with N/A.

Nota:

If a field was removed in the current version but it was available in the older version before the Compare model feature was available, the name is replaced with Unknown.

You can also compare the field score for tables from the Table section.

You can download the advanced metrics file for each version from the comparison page from the Download advanced metrics button.