Medida

Você pode verificar o status geral do seu projeto e verificar as áreas com potencial de melhoria na seção Medir.

Medida do projeto

A medição principal na página é a Pontuação geral do projeto.

Esta medida inclui as pontuações do classificador e do extrator para todos os tipos de documentos. A pontuação de cada fator corresponde à classificação do modelo e pode ser visualizada em Medida de classificação e Medida de extração, respectivamente.

A classificação do modelo é uma funcionalidade destinada a ajudar você a visualizar o desempenho de um modelo de classificação. Ela é expressa como uma pontuação do modelo de 0 a 100 da seguinte forma:

• Insatisfatório (0-49)
• Médio (50-69)
• Bom (70-89)
• Excelente (90-100)

Independentemente da pontuação do modelo, cabe a você decidir quando interromper o treinamento, dependendo das necessidades do projeto. Mesmo que um modelo seja classificado como Excelente, isso não significa que ele atenderá a todos os requisitos de negócios.

Medida de classificação

A pontuação de Classificação inclui o desempenho do modelo, além do tamanho e a qualidade do conjunto de dados.

Observação: a pontuação de classificação só estará disponível se você tiver mais de um tipo de documento criado.

Se você selecionar Classificação, duas guias serão exibidas no lado direito:

• Fatores: fornece recomendações sobre como melhorar o desempenho de seu modelo. Você pode obter recomendações sobre o tamanho do conjunto de dados ou desempenho do modelo treinado para cada tipo de documento.
• Métricas: fornece métricas úteis, como o número de documentos de treinamento e teste, precisão, exatidão, recall e pontuação F1 para cada tipo de documento.

Medida de extração

The Extraction score factors in the overall performance of the model as well as the size and quality of the dataset. This view is split into document types. You can also go straight to the Annotate view of each document type by selecting Annotate.

Se você selecionar qualquer um dos tipos de documento disponíveis na visualização Extração, três guias são exibidas no lado direito:

• Fatores: fornece recomendações sobre como melhorar o desempenho de seu modelo. Você pode obter recomendações sobre o tamanho do conjunto de dados (número de documentos carregados, número de documentos anotados) ou o desempenho do modelo treinado (precisão dos campos) para o tipo de documento selecionado.
• Conjunto de dados: fornece informações sobre os documentos usados para treinar o modelo, o número total de páginas importadas e o número total de páginas rotuladas.
• Métricas: fornece informações e métricas úteis, como o nome do campo, o número do status de treinamento e a precisão para o tipo de documento selecionado. Você também pode acessar métricas avançadas para seus modelos de extração usando o botão Baixar métricas avançadas. Essa funcionalidade permite que você baixe um arquivo Excel com métricas detalhadas e resultados de modelo por lote.

Diagnóstico do conjunto de dados

A guia Conjunto de dados ajuda você a criar conjuntos de dados eficazes fornecendo feedback e recomendações das etapas necessárias para alcançar uma boa precisão para o modelo treinado.

Há três níveis de status do conjunto de dados expostos na barra de gerenciamento:

• Vermelho - São necessários mais dados de treinamento rotulados.
• Laranja - Mais dados de treinamento rotulados são recomendados.
• Verde claro – Os dados de treinamento rotulados estão dentro das recomendações.
• Verde escuro – Os dados de treinamento rotulados estão dentro das recomendações. No entanto, mais dados podem ser necessários para campos com desempenho ruim.

Se nenhum campo for criado na sessão, o nível de status do conjunto de dados estará cinza.

Comparar modelo

Você pode comparar o desempenho de duas versões de um modelo de classificação ou extração da seção de Medição.

Comparação de modelos de classificação

Para comparar o desempenho de duas versões de um modelo de classificação, primeiro navegue até a seção de Medição. Em seguida, selecione Comparar modelo para o modelo de classificação no qual você está interessado.

Você pode escolher as versões que deseja comparar na lista suspensa na parte superior de cada coluna. Por padrão, a versão atual, indicando a versão mais recente disponível, é selecionada à esquerda e a versão publicada mais recente à direita.

Figura 1. Comparação de modelos de classificação

A comparação de modelos de classificação depende de quatro métricas principais:

• Precisão: a proporção de instâncias positivas previstas corretamente para o total de instâncias que eram previstas positivamente. Um modelo com alta precisão indica menos falsos positivos.
• Precisão: a proporção de previsões corretas (incluindo positivos verdadeiros e negativos verdadeiros) das instâncias totais.
• Revocação: a proporção de casos positivos reais que foram identificados corretamente.
• Pontuação F1: a média geométrica de precisão e revocação, com o objetivo de alcançar um equilíbrio entre essas duas métricas. Isso serve como uma troca entre falsos positivos e falsos negativos.

A ordem dos tipos de documento exibida é a usada na versão mais recente da comparação. Se um tipo de documento não estiver disponível em uma das versões comparadas, os valores para cada medida serão substituídos por N/A.

Observação: se um campo fosse removido na versão atual, mas estivesse disponível na versão mais antiga antes da funcionalidade Comparar modelos ficar disponível, o nome seria substituído por Desconhecido.

Comparação de modelos de extração

Para comparar o desempenho de duas versões de um modelo de extração, primeiro navegue até a seção Medidas. Em seguida, selecione Comparar modelo para o modelo de extração no qual está interessado.

Você pode escolher as versões que deseja comparar na lista suspensa na parte superior de cada coluna. Por padrão, a versão atual, indicando a versão mais recente disponível, é selecionada à esquerda e a versão publicada mais recente à direita.

Figura 2. Comparação de modelos de extração

A comparação de modelos de extração depende das seguintes métricas principais:

• Nome do campo: o nome do campo de marcação.
• Tipo de conteúdo: o tipo de conteúdo do campo:
  • String
  • Número
  • Data
  • Telefone
  • Número de ID
• Classificação: pontuação do modelo para ajudar a visualizar o desempenho do campo extraído.
• Precisão: a fração do número total de previsões que o modelo faz que estão corretas.

A ordem dos nomes de campos exibida é a usada na versão mais recente da comparação. Se um nome de campo não estiver disponível em uma das versões comparadas, os valores para cada medida serão substituídos por N/A.

Observação: se um campo fosse removido na versão atual, mas estivesse disponível na versão mais antiga antes da funcionalidade Comparar modelos ficar disponível, o nome seria substituído por Desconhecido.

Você também pode comparar a pontuação do campo para tabelas da seção Tabela.

Você pode baixar o arquivo de métricas avançadas para cada versão da página de comparação no botão Baixar métricas avançadas.