Medida

Você pode verificar o status geral do seu projeto e verificar as áreas com potencial de melhoria na seção Medir.

Medida do projeto

A medição principal na página é a Pontuação geral do projeto.

Esta medida inclui as pontuações do classificador e do extrator para todos os tipos de documentos. A pontuação de cada fator corresponde à classificação do modelo e pode ser visualizada em Medida de classificação e Medida de extração, respectivamente.

A classificação do modelo é uma funcionalidade destinada a ajudar você a visualizar o desempenho de um modelo de classificação. Ela é expressa como uma pontuação do modelo de 0 a 100 da seguinte forma:

• Insatisfatório (0-49)
• Médio (50-69)
• Bom (70-89)
• Excelente (90-100)

Independentemente da pontuação do modelo, cabe a você decidir quando interromper o treinamento, dependendo das necessidades do projeto. Mesmo que um modelo seja classificado como Excelente, isso não significa que ele atenderá a todos os requisitos de negócios.

Medida de classificação

A pontuação de Classificação inclui o desempenho do modelo, além do tamanho e a qualidade do conjunto de dados.

Observação: a pontuação de classificação só estará disponível se você tiver mais de um tipo de documento criado.

Se você selecionar Classificação, duas guias serão exibidas no lado direito:

• Fatores: fornece recomendações sobre como melhorar o desempenho de seu modelo. Você pode obter recomendações sobre o tamanho do conjunto de dados ou desempenho do modelo treinado para cada tipo de documento.
• Métricas: fornece métricas úteis, como o número de documentos de treinamento e teste, precisão, exatidão, recall e pontuação F1 para cada tipo de documento.

Medida de extração

A pontuação de Extração inclui o desempenho geral do modelo, bem como o tamanho e a qualidade do conjunto de dados. Essa visualização é dividida em tipos de Você também pode acessar diretamente a visualização Anotar de cada tipo de documento selecionando Anotar.

Se você selecionar qualquer um dos tipos de documentos disponíveis na visualização Extração , três guias serão exibidas no lado direito:

• Fatores: fornece recomendações sobre como melhorar o desempenho de seu modelo. Você pode obter recomendações sobre o tamanho do conjunto de dados (número de documentos carregados, número de documentos anotados) ou o desempenho do modelo treinado (precisão dos campos) para o tipo de documento selecionado.
• Conjunto de dados: fornece informações sobre os documentos usados para treinar o modelo, o número total de páginas importadas e o número total de páginas rotuladas.
• Métricas: fornece informações e métricas úteis, como o nome do campo, o número do status de treinamento e a precisão para o tipo de documento selecionado. Você também pode acessar métricas avançadas para seus modelos de extração usando o botão Baixar métricas avançadas. Essa funcionalidade permite que você baixe um arquivo Excel com métricas detalhadas e resultados de modelo por lote.

Diagnóstico do conjunto de dados

A guia Conjunto de dados ajuda você a criar conjuntos de dados eficazes fornecendo feedback e recomendações das etapas necessárias para alcançar uma boa precisão para o modelo treinado.

Há três níveis de status do conjunto de dados expostos na barra de gerenciamento:

• Vermelho - São necessários mais dados de treinamento rotulados.
• Laranja - Mais dados de treinamento rotulados são recomendados.
• Verde claro - Os dados de treinamento rotulados estão dentro das recomendações.
• Verde escuro - Os dados de treinamento rotulados estão dentro das recomendações. No entanto, mais dados podem ser necessários para campos de baixo desempenho.

Se nenhum campo for criado na sessão, o nível de status do conjunto de dados estará cinza.

Comparar modelo

Você pode comparar o desempenho de duas versões de um modelo de classificação ou extração na seção Medir .

Comparação do modelo de classificação

Para comparar o desempenho de duas versões de um modelo de classificação, primeiro navegue até a seção Medir . Em seguida, selecione Comparar modelo para o modelo de classificação no qual você está interessado.

Você pode escolher as versões que deseja comparar na lista suspensa na parte superior de cada coluna. Por padrão, a versão atual, que indica a versão mais recente disponível, é selecionada à esquerda, e a versão mais recente publicada à direita.

Figura 1. Comparação do modelo de classificação

A comparação de modelos de classificação depende de quatro métricas principais:

• Precisão: a razão entre instâncias positivas prevista corretamente e o total de instâncias com previsão positiva. Um modelo com alta precisão indica menos falsos positivos.
• Precisão: a proporção de previsões corretas (incluindo verdadeiros positivos e negativos verdadeiros) do total de instâncias.
• Recall: a proporção de casos positivos reais que foram identificados corretamente.
• Pontuação F1: a média matemática da precisão e do recall, com o objetivo de encontrar um equilíbrio entre essas duas métricas. Isso serve como uma escolha entre falsos positivos e falsos negativos.

A ordem dos tipos de documento exibidos é a usada na versão mais recente da comparação. Se um tipo de documento não estiver disponível em uma das versões comparadas, os valores de cada medida serão substituídos por N/A.

Observação: se um campo foi removido na versão atual, mas estava disponível na versão mais antiga antes da funcionalidade Comparar modelo estar disponível, o nome é substituído por Desconhecido.

Comparação do modelo de extração

Para comparar o desempenho de duas versões de um modelo de extração, primeiro navegue até a seção Medir . Em seguida, selecione Comparar modelo para o modelo de extração no qual você está interessado.

Você pode escolher as versões que deseja comparar na lista suspensa na parte superior de cada coluna. Por padrão, a versão atual, que indica a versão mais recente disponível, é selecionada à esquerda, e a versão mais recente publicada à direita.

Figura 2. Comparação do modelo de extração

A comparação de modelos de extração depende das seguintes métricas principais:

• Nome do campo: o nome do campo de anotação.
• Tipo de conteúdo: o tipo de conteúdo do campo:
  • String
  • Número
  • Data
  • Telefone
  • Número de ID
• Classificação: pontuação do modelo destinada a ajudar você a visualizar o desempenho do campo extraído.
• Precisão: a porcentagem do número total de previsões que o modelo faz que estão corretas.

A ordem dos nomes dos campos exibidos é aquela usada na versão mais recente da comparação. Se um nome de campo não estiver disponível em uma das versões comparadas, os valores de cada medida serão substituídos por N/A.

Observação: se um campo foi removido na versão atual, mas estava disponível na versão mais antiga antes da funcionalidade Comparar modelo estar disponível, o nome é substituído por Desconhecido.

Você também pode comparar a pontuação do campo para tabelas da seção Tabela .

Você pode baixar o arquivo de métricas avançadas para cada versão na página de comparação a partir do botão Baixar métricas avançadas .