Medida

Você pode verificar o status geral do seu projeto e verificar as áreas com potencial de melhoria na seção Medir.

Medida do projeto

A medição principal na página é a Pontuação geral do projeto.

Esta medida inclui as pontuações do classificador e do extrator para todos os tipos de documentos. A pontuação de cada fator corresponde à classificação do modelo e pode ser visualizada em Medida de classificação e Medida de extração, respectivamente.

A classificação do modelo é uma funcionalidade destinada a ajudar você a visualizar o desempenho de um modelo de classificação. Ela é expressa como uma pontuação do modelo de 0 a 100 da seguinte forma:

• Insatisfatório (0-49)
• Médio (50-69)
• Bom (70-89)
• Excelente (90-100)

Independentemente da pontuação do modelo, cabe a você decidir quando interromper o treinamento, dependendo das necessidades do projeto. Mesmo que um modelo seja classificado como Excelente, isso não significa que ele atenderá a todos os requisitos de negócios.

Medida de classificação

A pontuação de Classificação inclui o desempenho do modelo, além do tamanho e a qualidade do conjunto de dados.

Observação: a pontuação de classificação só estará disponível se você tiver mais de um tipo de documento criado.

Se você selecionar Classificação, duas guias serão exibidas no lado direito:

• Fatores: fornece recomendações sobre como melhorar o desempenho de seu modelo. Você pode obter recomendações sobre o tamanho do conjunto de dados ou desempenho do modelo treinado para cada tipo de documento.
• Métricas: fornece métricas úteis, como o número de documentos de treinamento e teste, precisão, exatidão, recall e pontuação F1 para cada tipo de documento.

Medida de extração

A pontuação de Extração inclui o desempenho geral do modelo, bem como o tamanho e a qualidade do conjunto de dados. Essa visualização é dividida em tipos de Você também pode acessar diretamente a visualização Anotar de cada tipo de documento selecionando Anotar.

Se você selecionar qualquer um dos tipos de documento disponíveis na visualização Extração, três guias são exibidas no lado direito:

• Fatores: fornece recomendações sobre como melhorar o desempenho de seu modelo. Você pode obter recomendações sobre o tamanho do conjunto de dados (número de documentos carregados, número de documentos anotados) ou o desempenho do modelo treinado (precisão dos campos) para o tipo de documento selecionado.
• Conjunto de dados: fornece informações sobre os documentos usados para treinar o modelo, o número total de páginas importadas e o número total de páginas rotuladas.
• Métricas: fornece informações e métricas úteis, como o nome do campo, o número do status de treinamento e a precisão para o tipo de documento selecionado. Você também pode acessar métricas avançadas para seus modelos de extração usando o botão Baixar métricas avançadas. Essa funcionalidade permite que você baixe um arquivo Excel com métricas detalhadas e resultados de modelo por lote.

Diagnóstico do conjunto de dados

A guia Conjunto de dados ajuda você a criar conjuntos de dados eficazes fornecendo feedback e recomendações das etapas necessárias para alcançar uma boa precisão para o modelo treinado.

Há três níveis de status do conjunto de dados expostos na barra de gerenciamento:

• Vermelho - São necessários mais dados de treinamento rotulados.
• Laranja - Mais dados de treinamento rotulados são recomendados.
• Verde claro – Os dados de treinamento rotulados estão dentro das recomendações.
• Verde escuro – Os dados de treinamento rotulados estão dentro das recomendações. No entanto, mais dados podem ser necessários para campos com desempenho ruim.

Se nenhum campo for criado na sessão, o nível de status do conjunto de dados estará cinza.

Comparar modelo

Você pode comparar o desempenho de duas versões de um modelo de classificação ou extração da seção de Medição.

Comparação de modelos de classificação

Para comparar o desempenho de duas versões de um modelo de classificação, primeiro navegue até a seção de Medição. Em seguida, selecione Comparar modelo para o modelo de classificação no qual você está interessado.

Você pode escolher as versões que deseja comparar na lista suspensa na parte superior de cada coluna. Por padrão, a versão atual, indicando a versão mais recente disponível, é selecionada à esquerda e a versão publicada mais recente à direita.

Figura 1. Comparação de modelos de classificação

A comparação de modelos de classificação depende de quatro métricas principais:

• Precisão: a proporção de instâncias positivas previstas corretamente para o total de instâncias que eram previstas positivamente. Um modelo com alta precisão indica menos falsos positivos.
• Precisão: a proporção de previsões corretas (incluindo positivos verdadeiros e negativos verdadeiros) das instâncias totais.
• Revocação: a proporção de casos positivos reais que foram identificados corretamente.
• Pontuação F1: a média geométrica de precisão e revocação, com o objetivo de alcançar um equilíbrio entre essas duas métricas. Isso serve como uma troca entre falsos positivos e falsos negativos.

A ordem dos tipos de documento exibida é a usada na versão mais recente da comparação. Se um tipo de documento não estiver disponível em uma das versões comparadas, os valores para cada medida serão substituídos por N/A.

Observação: se um campo fosse removido na versão atual, mas estivesse disponível na versão mais antiga antes da funcionalidade Comparar modelos ficar disponível, o nome seria substituído por Desconhecido.

Comparação de modelos de extração

Para comparar o desempenho de duas versões de um modelo de extração, primeiro navegue até a seção Medidas. Em seguida, selecione Comparar modelo para o modelo de extração no qual está interessado.

Você pode escolher as versões que deseja comparar na lista suspensa na parte superior de cada coluna. Por padrão, a versão atual, indicando a versão mais recente disponível, é selecionada à esquerda e a versão publicada mais recente à direita.

Figura 2. Comparação de modelos de extração

A comparação de modelos de extração depende das seguintes métricas principais:

• Nome do campo: o nome do campo de marcação.
• Tipo de conteúdo: o tipo de conteúdo do campo:
  • String
  • Número
  • Data
  • Telefone
  • Número de ID
• Classificação: pontuação do modelo para ajudar a visualizar o desempenho do campo extraído.
• Precisão: a fração do número total de previsões que o modelo faz que estão corretas.

A ordem dos nomes de campos exibida é a usada na versão mais recente da comparação. Se um nome de campo não estiver disponível em uma das versões comparadas, os valores para cada medida serão substituídos por N/A.

Observação: se um campo fosse removido na versão atual, mas estivesse disponível na versão mais antiga antes da funcionalidade Comparar modelos ficar disponível, o nome seria substituído por Desconhecido.

Você também pode comparar a pontuação do campo para tabelas da seção Tabela.

Você pode baixar o arquivo de métricas avançadas para cada versão da página de comparação no botão Baixar métricas avançadas.