Medida

You can check the overall status of your project and check the areas with improvement potential from the Measure section.

Medida do projeto

The main measurement on the page is the overall Project score.

This measurement factors in the classifier and extractor scores for all document types. The score of each factor corresponds to the model rating and can be viewed in Classification Measure and Extraction Measure respectively.

A classificação do modelo é uma funcionalidade destinada a ajudar você a visualizar o desempenho de um modelo de classificação. Ela é expressa como uma pontuação do modelo de 0 a 100 da seguinte forma:

• Insatisfatório (0-49)
• Médio (50-69)
• Bom (70-89)
• Excelente (90-100)

Independentemente da pontuação do modelo, cabe a você decidir quando interromper o treinamento, dependendo das necessidades do projeto. Mesmo que um modelo seja classificado como Excelente, isso não significa que ele atenderá a todos os requisitos de negócios.

Medida de classificação

A pontuação de Classificação inclui o desempenho do modelo, além do tamanho e a qualidade do conjunto de dados.

Observação:

The Classification score is only available if you have more than one document type created.

If you select Classification, two tabs are displayed on the right side:

• Factors: Provides recommendations on how to improve the performance of your model. You can get recommendations on dataset size or trained model performance for each document type.

• Metrics: Provides useful metrics, such as the number of train and test documents, precision, accuracy, recall, and F1 score for each document type.

  

Medida de extração

The Extraction score factors in the overall performance of the model as well as the size and quality of the dataset. This view is split into document types. You can also go straight to the Annotate view of each document type by selecting Annotate.

If you select any of the available document types from the Extraction view, three tabs are displayed on the right side:

• Factors: Provides recommendations on how to improve the performance of your model. You can get recommendations on dataset size (number of uploaded documents, number of annotated documents) or trained model performance (fields accuracy) for the selected document type.

• Dataset: Provides information about the documents used for training the model, the total number of imported pages, and the total number of labelled pages.

• Metrics: Provides useful information and metrics, such as the field name, the number of training status, and accuracy for the selected document type. You can also access advanced metrics for your extraction models using the Download advanced metrics button. This feature allows you to download an Excel file with detailed metrics and model results per batch.

  

Diagnóstico do conjunto de dados

The Dataset tab helps you build effective datasets by providing feedback and recommendations of the steps needed to achieve good accuracy for the trained model.

Há três níveis de status do conjunto de dados expostos na barra de gerenciamento:

• Vermelho - São necessários mais dados de treinamento rotulados.
• Laranja - Mais dados de treinamento rotulados são recomendados.
• Light green - Labelled training data is within recommendations.
• Dark green - Labelled training data is within recommendations. However, more data might be needed for underperforming fields.

Se nenhum campo for criado na sessão, o nível de status do conjunto de dados estará cinza.

Comparar modelo

You can compare the performance of two versions of a classification or extraction model from the Measure section.

Comparação de modelos de classificação

To compare the performance of two versions of a classification model, first navigate to the Measure section. Then, select Compare model for the classification model you are interested in.

Você pode escolher as versões que deseja comparar na lista suspensa na parte superior de cada coluna. Por padrão, a versão atual, indicando a versão mais recente disponível, é selecionada à esquerda e a versão publicada mais recente à direita.

Figure 1. Classification model comparison

A comparação de modelos de classificação depende de quatro métricas principais:

• Precisão: a proporção de instâncias positivas previstas corretamente para o total de instâncias que eram previstas positivamente. Um modelo com alta precisão indica menos falsos positivos.
• Precisão: a proporção de previsões corretas (incluindo positivos verdadeiros e negativos verdadeiros) das instâncias totais.
• Revocação: a proporção de casos positivos reais que foram identificados corretamente.
• Pontuação F1: a média geométrica de precisão e revocação, com o objetivo de alcançar um equilíbrio entre essas duas métricas. Isso serve como uma troca entre falsos positivos e falsos negativos.

The order of document types displayed is the one used in the latest version from the comparison. If a document type is not available in one of the compared versions, the values for each measure are replaced with N/A.

Observação:

If a field was removed in the current version but it was available in the older version before the Compare model feature was available, the name is replaced with Unknown.

Comparação de modelos de extração

To compare the performance of two versions of an extraction model, first navigate to the Measure section. Then, select Compare model for the extraction model you are interested in.

Você pode escolher as versões que deseja comparar na lista suspensa na parte superior de cada coluna. Por padrão, a versão atual, indicando a versão mais recente disponível, é selecionada à esquerda e a versão publicada mais recente à direita.

Figure 2. Extraction model comparison

A comparação de modelos de extração depende das seguintes métricas principais:

• Nome do campo: o nome do campo de marcação.
• Tipo de conteúdo: o tipo de conteúdo do campo:
  • String
  • Número
  • Data
  • Telefone
  • Número de ID
• Classificação: pontuação do modelo para ajudar a visualizar o desempenho do campo extraído.
• Precisão: a fração do número total de previsões que o modelo faz que estão corretas.

The order of field names displayed is the one used in the latest version from the comparison. If a field name is not available in one of the compared versions, the values for each measure are replaced with N/A.

Observação:

If a field was removed in the current version but it was available in the older version before the Compare model feature was available, the name is replaced with Unknown.

You can also compare the field score for tables from the Table section.

You can download the advanced metrics file for each version from the comparison page from the Download advanced metrics button.