Validação e anotação de extrações geradas

Esta seção explica como validar as previsões de campo em suas extrações.

As extrações podem ser dos seguintes tipos:

• Extrações geradas - O modelo prevê extrações com base na entrada que você forneceu, ou seja, os rótulos e anotações, quando você seleciona Prever extrações.
• Extrações criadas manualmente - Você pode criar campos de extração para um rótulo específico, se o modelo já não o tiver previsto.

Certifique-se de fornecer exemplos suficientes para que o modelo possa retornar estatísticas de validação. As estatísticas de validação ajudam a entender o desempenho de suas extrações. Além disso, permite que você ajuste suas extrações.

O ajuste fino permite que você use as anotações coletadas para melhorar o desempenho do modelo de extração.​ Também permite que você use o modelo pronto para uso e aprimore o desempenho para seus casos de uso.

Observação:

• Você pode decidir quando interromper o treinamento de rótulos
• As extrações têm diferentes requisitos de desempenho, dependendo do caso de uso.​

Importante:

If you use the Generative Extraction LLM, as a best practice, stop annotating more examples once you reach 25 examples for each field. This is enough for in-context learning and validation, and more examples do not improve performance.

Revise os resultados da extração e, dependendo do caso, você pode escolher entre as seguintes ações​:

• Aceite as extrações se estiverem todas corretas​.
• Corrija as extrações se houver previsões incorretas​.
• Marcar extrações como ausentes se elas não estiverem presentes na mensagem​.
• Configure quaisquer campos adicionais, se houver algum ausente que seja necessário para habilitar a automação de ponta a ponta.

Quando parar de anotar

Pare depois de fornecer pelo menos 25 exemplos de extrações de rótulos para o modelo para usar em seu processo de validação. Verifique a validação e observe se o desempenho é suficiente ou se mais exemplos são necessários.

Validando extrações no Explore

Visão geral

# ​	Descrição ​
1 ​	Se todas as previsões de campo estiverem corretas, selecione Confirmar tudo para validar em massa que as anotações estão corretas.
2 ​	Para adicionar novos campos de extração, selecione o botão de adição, ao lado de Campos gerais ou ao lado de qualquer um dos campos de extração. Para editar quaisquer campos existentes, selecione as reticências verticais ao lado de Campos gerais ou ao lado de qualquer um dos campos de extração.
3 ​	No painel lateral, ao marcar a caixa ao lado das extrações previstas, você confirma que uma anotação de campo está correta, em um nível de extração.
4 ​	Sob cada campo, você pode encontrar o ponto de dados que foi previsto pelo modelo. Se a previsão estiver incorreta, selecione o botão x para ajustar o campo com a previsão correta.
5 ​	Os pontos de dados previstos são marcados na mensagem original. A ícone denota quando um campo geral está presente em uma mensagem.​ Uma ícone denota quando um campo de extração está presente em uma mensagem.
6 ​	Para adicionar ou modificar quaisquer campos, passe o mouse ao lado do botão + , no respectivo campo geral ou seção do campo de extração.
7 ​	Para expandir os campos exibidos para Campos gerais ou campos de extração específicos, selecione o botão suspenso.

Validando extrações

Para validar suas extrações, aplique as seguintes etapas:

1. Selecione Explorar ao lado de um conjunto de dados para acessar esse conjunto de dados específico.

2. Na aba Explorar , selecione Anotar campos.

3. No painel lateral, selecione o botão Prever extrações .

4. No mesmo painel lateral, os indicadores correspondentes marcados por um círculo vermelho ou verde são exibidos ao lado das previsões do modelo.

   

   Observação:

   Os indicadores de correspondência mostram se as previsões do modelo correspondem às anotações que você fez para os campos de extração. Os indicadores são marcados na interface do usuário por um círculo vermelho ou verde no campo de extração e nos níveis de extração. Caso os valores não correspondam, eles são incompatíveis ou estão ausentes. Você pode executar novamente as previsões do modelo mais recentes para confirmar se elas correspondem às anotações fornecidas. Os estados que podem ser retornados pelos indicadores correspondentes são:

   • Verde - as previsões correspondem às anotações. É visível no nível de extração apenas se todos os campos de extração tiverem indicadores verdes.
   • Vermelho - ou as previsões não correspondem às anotações ou uma previsão está faltando uma anotação. É visível no nível de extração se qualquer um dos campos na extração tiver um indicador vermelho.

Extração de estado não confirmada

A imagem a seguir mostra como é uma extração em seu estado não confirmado . No painel direito, a extração é marcada como não confirmada, e o destaque no próprio texto tem uma cor mais clara.​

Observação:

​O mesmo conceito se aplica aos campos gerais .

Extração de estado confirmada

A imagem a seguir mostra como são os campos em seu estado confirmado . No painel direito, a extração é marcada como Confirmada, e o destaque no próprio texto tem uma cor mais escuro.​

Observação:

O mesmo conceito se aplica aos campos Gerais.

Validando extrações no Train

Observação:

Extrações, na guia Treinar , está em visualização pública.

Você valida as extrações na experiência da guia Treinar de forma semelhante à guia Explorar .

Para validar suas extrações, aplique as seguintes etapas:

1. Selecione Treinar ao lado de um conjunto de dados para acessar esse conjunto de dados específico.

2. Na aba Treinar , selecione Extrações.

3. Selecione a extração do rótulo que você deseja validar.

   

4. Confirme se a mensagem exibida é um exemplo aplicável do rótulo.

5. Depois de aplicar todos os rótulos aplicáveis, selecione Avançar: anotar campos.

   

6. Na página a seguir, os indicadores correspondentes marcados por um círculo vermelho ou verde são exibidos ao lado das previsões do modelo.

   Observação:

   Os indicadores de correspondência mostram se as previsões do modelo correspondem às anotações que você fez para os campos de extração. Os indicadores são marcados na interface do usuário por um círculo vermelho ou verde no campo de extração e nos níveis de extração. Caso os valores não correspondam, você notará que os valores são incompatíveis ou estão ausentes. Você pode executar novamente as previsões do modelo mais recentes para confirmar se elas correspondem às anotações fornecidas. Os estados que podem ser retornados pelos indicadores correspondentes são:

   • Verde - as previsões correspondem às anotações. É visível no nível de extração apenas se todos os campos de extração tiverem indicadores verdes.
   • Vermelho - ou as previsões não correspondem às anotações ou uma previsão está faltando uma anotação. É visível no nível de extração se qualquer um dos campos na extração tiver um indicador vermelho.

7. Selecione Confirmar tudo e Avançar para exibir a próxima mensagem a ser anotada automaticamente.