Validando previsões de extração

Atualmente, o modelo não aprende diretamente de anotações do usuário. Para melhorar o desempenho do modelo, modifique suas instruções de solicitação ou configuração do modelo.

Depois de estar satisfeito com suas instruções de solicitação, você pode começar a validar as previsões do modelo para estabelecer a verdade para sua avaliação de desempenho. Antes de fazer isso, é importante entender as diferenças entre previsões e referências.

Previsões e referências

Previsões são os valores previstos e são comparadas à verdade fundamental. Previsões incorretas ou ausentes afetam a pontuação do modelo e as métricas de desempenho na guia Medir.

Observação: previsões incorretas ou ausentes impactam a pontuação do modelo e as métricas de desempenho na aba Medir.

Referências são as referências correspondentes aos valores previstos localizados no documento. A finalidade das referências é ajudar os usuários a encontrar a parte correta do documento.

Observação: referências incorretas ou ausentes não fazem impacto na pontuação do modelo ou métricas de desempenho. No entanto, pode ser útil adicionar ou corrigir referências para melhorar a experiência de validação humana.

Existem limitações conhecidas com referências e intervalos destacados, que são uma das nossas principais prioridades para melhorar.

Você pode encontrar um dos seguintes cenários:

• Previsão correta e referência correta, mas um intervalo incorreto é destacado. Normalmente, a primeira correspondência que foi localizada.
• Previsão correta, mas há uma referência ausente e um intervalo destacado. Nesses cenários, fornecemos um número de página como um fallback.
  
  
  
  

Observação: previsões e referências são independentes. Isso significa que as referências ausentes ou incorretas não fazem impacto nos valores previstos.

Validando extrações

As extrações são destacadas da seguinte forma quando previstas:

• Sublinhado - Valores previstos.
  
  
  
  
• Preenchido - Valores confirmados.
  
  
  
  
• Borda tracejada - Valores não confirmados.
  
  
  
  

Para validar extrações, siga estas etapas:

1. Acesse a aba Criar e selecione Validar previsões ou qualquer documento carregado para iniciar o processo de validação. O modelo destaca a extensão relevante do texto no documento e exibe as previsões geradas no painel lateral.

   Os valores que são aplicáveis a várias extrações, como o número da conta, têm botões de seta para ajudar a acessar as seções relevantes. Os botões aparecem ao passar o mouse.

   A imagem a seguir descreve como as extrações são apresentadas em seu estado previsto. Os valores previstos são sempre sublinhados.
   

   

   
   

2. Revise as previsões e confirme as extrações uma por uma ou em massa confirmando todo o grupo de campos. Não é recomendável selecionar o botão Confirmar tudo e próximo sem revisar cuidadosamente cada extração.
   A imagem a seguir representa:

   • na primeira linha da tabela, como as extrações se parecem em seu estado não confirmado, ou seja, valores que foram confirmados uma vez, mas que agora não estão confirmados. Os valores não confirmados têm uma borda traçada.
   • na segunda e terceira linhas da tabela, como as extrações se parecem em seu estado confirmado, ou seja, os valores que você confirmou ou corrigiu. Os valores confirmados são sempre preenchidos.

   Observação: quaisquer alterações que você fizer mas não enviar são salvas como rascunho, ao qual você pode retornar e atualizar mais tarde. Para obter mais detalhes, consulte Rascunhos de anotações.
   
   
   
   
   

3. Você pode configurar campos adicionais em seu esquema de extração a qualquer momento em Gerenciar taxonomia ou na aba Criar.

Exemplo de validação de extrações do Action Center

Interrompendo a validação da extração

Recomenda-se que você valide pelo menos 10 exemplos para cada campo, para que o modelo possa fornecer estatísticas de validação significativas.

Referências e extrações confirmadas e não confirmadas

O processo de validação envolve o seguinte:

• Confirmando as extrações se estiverem corretas.
• Corrigindo as extrações se estiverem incorretas.
• Marcando campos como ausentes se não estiverem presentes no documento.
• Configurando quaisquer campos adicionais em seu esquema de extração.

Esta seção mostra como as extrações e referências se parecem em seu estado confirmado (validado) e não confirmado (não validado).

Observação: quaisquer alterações que você fizer mas não enviar são salvas como rascunho, ao qual você pode retornar e atualizar mais tarde. Para obter mais detalhes, consulte Rascunhos de anotações.

Valor previsto

Valores não confirmados

As referências no documento são destacadas com uma borda traçada:

Figura 1. Referência não confirmada

Nenhuma extração é marcada como confirmada:

Figura 2. Extrações não confirmadas

Confirmado

As referências são destacadas com uma borda sólida:

Figura 3. Referência confirmada

As extrações são marcadas como confirmadas:

Figura 4. Extrações confirmadas

Extrações validadas

Esta seção contém cenários de exemplo de quando as previsões do modelo fazem ou não correspondência às anotações do usuário.

Quando a anotação faz correspondências à previsão, a extração é exibida da seguinte forma:

Figura 5. Previsão correta

Quando a anotação não corresponde à previsão, a extração é parecida com a seguinte:

Figura 6. Previsão incorreta

Quando há uma anotação, mas sem previsão, as extrações são as seguintes:

Figura 7. Previsão ausente

Observação: as previsões são comparadas a anotações, não às referências. As referências podem estar ausentes ou incorretas, mas isso não será sinalizado como uma incompatibilidade.

Corrigindo extrações

Para corrigir uma extração, proceda da seguinte forma:

1. Posicione o cursor do mouse sobre a extração e selecione o ícone de lápis para editar o valor previsto.
2. Insira o valor correto.
3. Selecione o ícone mais + para atualizar o valor previsto ou referência.
4. Realce o valor correto no documento.

Observação: quaisquer alterações que você fizer mas não enviar são salvas como rascunho, ao qual você pode retornar e atualizar mais tarde. Para obter mais detalhes, consulte Rascunhos de anotações.

Editando extrações

Na página Validar previsões, na aba Criar, edite as extrações da seguinte forma:

1. Selecione o ícone de adição para adicionar uma extração ausente.
2. Selecione o ícone de tabela para abrir a visualização de tabela.
3. Confirme as extrações no painel lateral ou na visualização de tabela.
4. Passe o mouse sobre a extração e use os ícones de lápis e mais para corrigir as extrações individualmente:
   • O ícone de lápis permite que você edite o valor previsto e digite o tipo de valor correto.
   • O ícone de adição permite que você atualize o valor previsto ou referência e realce o valor correto no documento.
5. Selecione Adicionar grupo de campos para adicionar um grupo de campos ausente.

Observação: quaisquer alterações que você fizer mas não enviar são salvas como rascunho, ao qual você pode retornar e atualizar mais tarde. Para obter mais detalhes, consulte Rascunhos de anotações.

Anotações de rascunho

Quaisquer edições que você faça para valores e referências em um documento são armazenadas como anotações de rascunho até que você as envie para o modelo como anotações. Como resultado, os status do documento aparecem como Parcialmente anotado.

Todas as ações mencionadas anteriormente, como validar, corrigir e editar extrações e, em seguida, enviar as anotações, são mantidas em rascunho à medida que você faz alterações.

Se você solicitar novas previsões enquanto um documento estiver no estado de rascunho, o sistema preservará as anotações de rascunho enquanto repreenche novas previsões e corresponde o novo conjunto de previsões do modelo às anotações de rascunho.