Avaliação de desempenho do modelo

Você pode avaliar o desempenho do modelo nos seguintes locais:

• A guia Criar, que mostra a pontuação geral do projeto, bem como a taxa de erro para cada documento.
• A guia Medir, que mostra o desempenho do grupo de campos e no nível do campo.

Avaliação de desempenho do modelo em Criar

Você pode ver uma visualização geral em Pontuação do projeto na guia Criar.

Observação:

• Os modelos saudáveis têm uma pontuação de projeto Boa ou Excelente e sem avisos de desempenho de campo​.
• A pontuação do Projeto é calculada com base na pontuação F1 média em todos os campos.

Além disso, você pode visualizar a taxa de erro para cada documento na coluna Taxa de erro da seção Documentos em Criar.

Observação:

As taxas de erro estão disponíveis apenas para documentos anotados e indicam o número de erros que o modelo cometeu em cada documento, ou seja, a diferença entre as previsões do modelo e as anotações do usuário.

Avaliação de desempenho do modelo em Medir.

Observação:

The Measure page updates are available in public preview.

A página Medir ajuda você a avaliar o quão bem um modelo se comporta em documentos anotados antes de publicá-los. A página inclui:

• Uma tabela Desempenho do campo que revela as principais métricas de desempenho por campo e grupo de campos.
• Suporte para comparar diferenças de desempenho entre versões de modelos, destacando melhorias ou regressões.
• Visibilidade sobre a distribuição de tipos de erro para cada campo da taxonomia.
• Recursos de exportação de dados para análises offline personalizadas.

As seções a seguir descrevem os principais componentes no Measure e explicam como usá-los de forma eficaz ao analisar o desempenho do modelo.

Resumo do projeto

A seção de resumo fornece uma visualização rápida e de alto nível de como a versão atual do seu modelo se comporta no projeto. Você pode usá-la para:

• Selecionar a versão do modelo que você deseja avaliar.
• Obter uma leitura rápida sobre o desempenho geral usando a pontuação do projeto e a Taxa média de erros no documento.
• Identifique rapidamente se o desempenho geral do projeto está aumentando ou diminuindo em comparação com uma versão anterior.

Pontuação do projeto

A Pontuação do projeto resume o desempenho geral do modelo.

Por que é útil

• Fornece uma maneira única e consistente de acompanhar o progresso geral à medida que você itera na taxonomia, nas instruções e nas anotações.
• Ajuda você a determinar rapidamente se uma versão de modelo está geralmente melhorando ou regredindo antes de analisar campos específicos em detalhe.

Como é calculada

• A Pontuação do projeto é calculada como a média simples das pontuações F1 em todos os campos da taxonomia.
• A pontuação F1 é uma métrica padrão de desempenho de modelos que equilibra precisão e recall, ou seja, a média harmônica entre ambos.
• Em um nível alto:
  • Respostas de precisão: com que frequência os valores previstos do modelo estavam corretos?
  • Respostas de recall: quanto dos dados anotados o modelo localizou com sucesso?

Observação:

A Pontuação do projeto é uma média. Regressões ou limitações específicas no nível do campo podem ser analisadas com a tabela Desempenho do campo.

Taxa média de erros no documento

A Taxa média de erros no documento é a média das taxas de erro para cada documento anotado no projeto.

Por que é útil

A Taxa média de erros no documento fornece um indicador rápido de quão propensos a erros estão os documentos quando a versão do modelo selecionada os processa, o que ajuda a avaliar a prontidão para publicação.

Como é calculada

O valor é calculado como a média simples da taxa de erros em cada documento totalmente anotado no projeto.

Tabela Desempenho do campo

A tabela Desempenho do campo é a principal maneira de analisar o desempenho do modelo na página Medir. Ela exibe uma linha por campo ou grupo de campos, junto com métricas de desempenho e erro calculadas para os documentos anotados no projeto. A tabela não leva em conta documentos não anotados e parcialmente anotados ao calcular métricas.

A tabela ajuda a responder a perguntas como:

• Quais campos limitam o desempenho geral do modelo?
• Os erros estão concentrados em alguns campos ou distribuídos de forma mais ampla?
• Uma alteração recente no modelo melhorou ou degradou campos específicos?

A tabela Desempenho do campo inclui várias categorias de métricas que ajudam a analisar o desempenho do modelo a partir de diferentes perspectivas. Cada categoria responde a uma pergunta de diagnóstico específica sobre como seu modelo se comporta em campos e documentos.

Observação:

Status de validação e resultados parciais Para reduzir o tempo de espera:

• As métricas da tabela Desempenho do campo tornam-se visíveis quando a validação atinge um limite mínimo de conclusão.
• Os avisos indicam quando a validação ainda está em progresso e que os resultados exibidos podem mudar.

Métricas de desempenho

A finalidade das métricas de desempenho é avaliar a qualidade geral da extração para cada campo ou grupo de campos.

As métricas de desempenho são descritas da seguinte forma:

• Pontuação F1 — A média harmônica entre precisão e recall: F1 = 2 × (Precisão × Recall) / (Precisão + Recall). A pontuação F1 permanece alta apenas quando a precisão e o recall são altos. Na prática, isso torna F1 um forte indicador de qualidade geral para tarefas de extração nas quais é importe evitar valores incorretos e evitar valores perdidos. Portanto, é útil analisar F1 como uma métrica inicial para avaliar alterações de desempenho de campos em versões de modelos.
• Precisão — Mede a frequência com que os valores previstos estão corretos: Precisão = Positivos verdadeiros / (Positivos verdadeiros + Falsos positivos). Os verdadeiros positivos são previsões que correspondem ao valor anotado, excluindo valores anotados como ausentes.
• Recall — Mede a frequência com que o modelo encontra um valor quando ele existe: Recall = Positivos verdadeiros / (Positivos verdadeiros + Falsos negativos). Os falsos negativos são valores anotados que o modelo não previu, excluindo valores anotados como ausentes.
• Taxa de erro — Total de erros / Total de anotações. Os valores marcados como ausentes são incluídos na contagem de erros e anotações.
• Taxa de erro (excluindo erros ausentes) — (Erros totais – Previsões extras) / Valores anotados. Os valores anotados marcados como ausentes são excluídos.

Previsões e erros

A finalidade das métricas de previsões e compreender é entender o volume e a composição de erros que contribuem para o baixo desempenho.

As métricas são descritas da seguinte forma:

• Total de erros — Número total de erros para um campo em todas as classes de erros: Total de erros = Previsões incorretas + Previsões perdidas + Previsões extras.
• Previsões totais — Número total de valores previstos para um campo: Previsões totais = Valores corretos + Ausências corretas + Previsões incorretas.
• Previsões incorretas — Número de previsões em que o valor extraído não corresponde à anotação. Exclui previsões e valores anotados marcados como ausentes.
• Previsões extras — Número de valores previstos que o modelo não deveria ter extraído ou que não possuem uma anotação correspondente ou possuem uma anotação marcada como ausente,
• Previsões perdidas — Número de valores anotados que o modelo não conseguiu extrair.
• Valores corretos — Número de valores previstos que correspondem exatamente à anotação.
• Ausência correta — Número de instâncias em que o modelo previu corretamente que um valor está ausente.

Anotações

A finalidade das métricas de anotações é fornecer contexto para o quanto de dados rotulados é compatível com cada métrica e o quão confiáveis são as pontuações de desempenho.

As métricas são descritas da seguinte forma:

• Total de anotações — Número total de anotações, incluindo valores marcados como ausentes: Total de anotações = Valores anotados + Valores anotados marcados como ausentes.
• Valores anotados — Número total de valores de campo anotados, excluindo aqueles marcados como ausentes.
• Anotado como ausente — Número total de vezes que um campo foi rotulado explicitamente como ausente.

Métricas no nível do documento

A finalidade das métricas no nível do documento é entender como os erros são distribuídos em documentos em vez de apenas em previsões.

As métricas são descritas da seguinte forma:

• Documentos com erros — Número total de documentos em que o campo tem pelo menos um erro.
• Documentos anotados — Número total de documentos em que o campo tem pelo menos um valor de campo anotado.
• Porcentagem de documentos com erros — Porcentagem de documentos anotados que contêm pelo menos um erro para o campo: Documentos com erros / Documentos anotados.

Exemplos de cenários

Cenário 1: F1 baixa + Precisão baixa, mas o Recall é moderado ou alto

O que você observa

F1 é baixa, a Precisão é baixa e o Recall é moderado ou alto.

O que isso geralmente significa

• O modelo está extraindo valores para um campo, mas há mais valores previstos do que o esperado.
• Causas raiz comuns:
  • A instrução do campo é ampla demais ou ambígua. Por exemplo, a instrução do campo é capturar a quantidade, mas não especifica qual quantidade.
  • O documento possui valores semelhantes que podem ser confundidos, por exemplo, subtotal versus total, endereço de entrega versus endereço de cobrança.

O que fazer em seguida

Compare as previsões incorretas e extras para identificar se o problema está ligado à extração do valor errado (contagem de previsões incorretas diferente de zero) ou se o valor não deveria ter sido extraído (contagem de previsões extras diferente de zero).

Refine as instruções de campo com desambiguadores, como rótulos, palavras-chave e restrições de formatação.

Cenário 2: as Previsões perdidas são altas (o Recall é baixo), a Precisão é moderada ou alta

O que você observa

• O Recall é baixo e a Precisão é moderada ou alta (F1 é normalmente baixa ou moderada).
• As Previsões perdidas são altas, geralmente mais do que incorretas ou extras.

O que isso geralmente significa

• O modelo não está conseguindo extrair valores que estão presentes.
• Causas raiz comuns:
  • A instrução do campo é muito restrita, ou seja, os exemplos são excessivamente limitados ou os requisitos de rótulo são específicos demais.
  • O valor aparece em vários formatos, como em datas e IDs, e a instrução não abrange variantes.

O que fazer em seguida

• Use Previsões perdidas + Valores anotados para confirmar que isso é um problema de recall, ou seja, que os valores existem, mas não estão sendo encontrados. Verifique os Valores anotados para confirmar que há uma quantidade razoável de pontos de dados anotados para o campo e as Previsões perdidas para confirmar que o modelo está tendo dificuldade em localizar os valores, em vez de prevê-los incorretamente.
• Expanda as instruções para incluir variantes aceitáveis: rótulos ou sinônimos alternativos, múltiplos padrões de formatação, dicas de localização (por exemplo, próximo aos detalhes do solicitante ou na seção do mutuário).

Cenário 3: Taxa de erro alta, mas poucos Documentos com erros (erros concentrados em alguns documentos).

O que você observa

• A Taxa de erro é alta ou o Total de erros é alto.
• Poucos Documentos com erros em relação aos Documentos anotados.
• Muitas vezes, um campo parece ter desempenho ruim, mas falha apenas em um pequeno subconjunto de documentos.

O que isso geralmente significa

• Os erros são impulsionados por documentos atípicos, não por comportamento sistêmico do campo.
• Causas raiz comuns:
  • Um documento ou formato específico se comporta de maneira diferente do resto.
  • Problemas de OCR ou de qualidade em um pequeno número de documentos, como digitalizações borradas, desalinhamento e sobreposições manuscritas.
  • O campo está presente na maioria dos documentos, mas aparece com formatação incomum em alguns, por exemplo, em várias linhas em vez de uma única linha.

O que fazer em seguida

• Compare Documentos com erros e Documentos anotados e, opcionalmente, a porcentagem de Documentos com erros para confirmar a concentração.
• Classifique os documentos por Taxa de erro na página Criar e inspecione os documentos com a maior taxa de erro para identificar se o campo está tendo um desempenho ruim em um subconjunto específico.

Cenário 4: grandes oscilações no desempenho entre versões com poucas anotações

O que você observa

• Grandes diferenças em F1 ou na taxa de erro entre versões do modelo (para cima ou para baixo), mas Valores anotados é baixo, Documentos anotados é baixo, ou ambos.

O que isso geralmente significa

• As métricas de campo ainda não são estáveis devido ao tamanho pequeno da amostra.
• Causas raiz comuns:
  • Poucos exemplos — 1 a 2 documentos podem alterar significativamente as taxas.
  • O campo raramente está presente, ou seja, muitos casos ausentes e poucos valores verdadeiros.
  • Um pequeno conjunto de documentos difíceis domina a métrica.

O que fazer em seguida

• Verifique Valores anotados, Documentos anotados e Anotado como ausente para validar a baixa cobertura.
• Trate as métricas como direcionais, não definitivas, até que a cobertura aumente.
• Adicione mais dados rotulados especificamente para esse campo: priorize documentos nos quais o campo esteja presente e inclua um conjunto diversificado de amostras ou variantes.
• Use comparações entre versões apenas quando a cobertura for suficiente para reduzir o ruído causado por variabilidade.

Filtragem e classificação

Para filtrar linhas na tabela, selecione um ou mais filtros rápidos disponíveis:

• Valores anotados < 10
• Pontuação F1 do campo < 50
• Pontuação F1 do campo entre 50 e 70

The following images depict an example of the Field performance table results before and after you apply a quick filter:

You can also sort the Field performance table by any metric in the table. When a sort is applied, values are sorted within their respective field group. For example, sorting the table by F1 score sorts the fields within each field group relative to one another:

Configurações de visibilidade

Por padrão, a Medida mostra diferenças para métricas de desempenho, por exemplo, pontuação F1 e taxa de erro.

Para visualizar diferenças em todas as métricas, proceda da seguinte forma:

1. Habilite o botão de alternância Mostrar diferenças nas pontuações de: Versão.

2. Selecionar o menu suspenso Mostrar diferenças nas pontuações de: Versão.

   

3. Selecione Configurações de visibilidade.

4. No pop-up Alterações de versão - Configurações de visibilidade, selecione Todas as métricas. As opções disponíveis são:

   • Apenas métricas de desempenho — As métricas de desempenho são determinadas pela comparação das previsões do modelo com as anotações, como a pontuação F1 e a taxa de erros.
   • Todas as métricas
   • Mostrar alterações dentro da variabilidade do modelo — Por padrão, as alterações dentro dos intervalos de variabilidade da versão atual não são consideradas significativas e são ocultas. Habilite para exibi-las. Quando selecionada, a seguinte opção fica disponível:
     • Mostrar cores para todas as alterações — Por padrão, alterações dentro da variabilidade aparecem em cinza. Habilite para marcar todas as alterações em verde ou vermelho.

5. Selecione Salvar.

Versões do modelo

As versões do modelo capturam o estado atual do projeto no tempo em que a versão foi criada. Você pode publicar versões de modelos para salvá-las e usá-las em uma automação. Além disso, você pode marcar versões na página Medir para salvar suas estatísticas de desempenho. Você pode comparar o desempenho atual com versões anteriores para garantir a melhoria contínua do desempenho durante a iteração em instruções.

Selecionando uma versão do modelo

Use o menu suspenso Versão para escolher quais resultados de validação de uma versão específica do modelo são exibidos na página Medir, como Desempenho do campo, Desempenho do documento e métricas associadas. Quando você alterna a versão do modelo, todas as métricas na página são atualizadas para refletir os resultados da validação da versão selecionada.

Comparando diferentes versões de modelo usando diferenças de pontuação

Quando várias versões de modelo estão disponíveis, a página Medir permite que você compare o modelo atual com uma versão anterior. Dessa forma, você pode entender melhor o impacto das alterações em instruções de campo, alterações em anotações ou atualizações de configuração de modelos.

Como isso funciona

• A página Medir permite que você visualize diferenças de pontuação de outra versão do modelo.
• As alterações positivas ou negativas destacam melhorias ou regressões. Por padrão, Medir faz comparações com a versão anterior do modelo em relação à versão do modelo criada mais recentemente.

Para comparar uma versão diferente do modelo, selecione uma versão disponível usando o menu suspenso Mostrar diferenças nas pontuações da versão.

Compreendendo a variabilidade do modelo e o impacto nas diferenças de pontuação

Alguns modelos no IXP são não determinísticos, ou seja, o conjunto de previsões de um campo entre versões de modelo pode variar ligeiramente, mesmo quando as instruções desse campo não são alteradas.

A página Medir permite considerar a variabilidade do modelo durante a análise de desempenho. Isso ajuda você a:

• Entender se uma alteração de desempenho é significativa.
• Evite interpretar excessivamente pequenas variações nas métricas.

Por padrão:

• As diferenças de pontuação que estão dentro do intervalo de variabilidade de uma métrica são ocultas ao comparar duas versões de modelo.
• Você pode selecionar para mostrar todas as diferenças de pontuação ou apenas diferenças maiores ou iguais à variabilidade de uma métrica.

Esses padrões garantem que a atenção esteja focada em alterações significativas no desempenho do modelo e não em ruído.

Para mostrar diferenças entre versões de modelo, independentemente da variabilidade do modelo, prossiga da seguinte forma:

1. Habilite o botão de alternância Mostrar diferenças nas pontuações de: Versão.
2. Selecionar o menu suspenso Mostrar diferenças nas pontuações de: Versão.
3. Selecione Configurações de visibilidade.
4. Na janela pop-up, selecione Mostrar alterações dentro da variabilidade do modelo. As opções disponíveis são:
   • Apenas métricas de desempenho — As métricas de desempenho são determinadas pela comparação das previsões do modelo com as anotações, como a pontuação F1 e a taxa de erros.
   • Todas as métricas
   • Mostrar alterações dentro da variabilidade do modelo — Por padrão, as alterações dentro dos intervalos de variabilidade da versão atual não são consideradas significativas e são ocultas. Habilite para exibi-las. Quando selecionada, a seguinte opção fica disponível:
     • Mostrar cores para todas as alterações — Por padrão, alterações dentro da variabilidade aparecem em cinza. Habilite para marcar todas as alterações em verde ou vermelho.
5. Opcionalmente, selecione Mostrar cores para todas as diferenças se quiser que todas as diferenças de pontuação apareçam em verde ou vermelho. ou vermelho ou vermelho em verde ou vermelho. em verde ou vermelho. Por padrão, as diferenças dentro do intervalo de variabilidade são exibidas em cinza.
6. Selecione Salvar.

Favoritando uma versão do modelo

Uma nova versão do modelo é criada cada vez que você faz alterações na taxonomia, incluindo instruções, ou nas configurações do modelo. A versão mais recente do modelo está sempre disponível, mas você também pode favoritar, ou seja, bloquear uma versão específica do modelo para mostrar sempre as estatísticas de desempenho no painel.

Para favoritar uma versão do modelo, proceda da seguinte forma:

1. Expanda o menu suspenso de Versão do Modelo para visualizar a lista com todas as versões disponíveis.
2. Selecione o ícone de estrela ao lado da versão do modelo que você deseja que seja sempre exibida na parte superior da lista e no painel.

Observação:

Marcar uma versão do modelo não salva a versão em si, apenas as estatísticas de desempenho. Para salvar uma versão de modelo, ela deve ser publicada na guia Publicar .

Exportando dados da página Medir

Você pode exportar dados da página Medir para:

• Análise offline.
• Filtragem personalizada.
• Compartilhamento de resultados com partes interessadas. com partes interessadas. com partes interessadas.

As exportações incluem previsões no nível do campo, anotações e métricas de desempenho visíveis na página Medir.

Para exportar dados, prossiga da seguinte forma:

1. Navegue até a página Medir.
2. Selecione as reticências verticais.
3. Selecione Exportar como arquivo do Excel.