Validação e anotação de extrações geradas

Esta seção explica como validar as previsões de campo em suas extrações.

As extrações podem ser dos seguintes tipos:

• Extrações geradas - O modelo prevê extrações com base na entrada que você forneceu, ou seja, os rótulos e anotações, quando você seleciona Prever extrações.
• Extrações criadas manualmente - Você pode criar campos de extração para um rótulo específico, se o modelo já não o tiver previsto.

Certifique-se de fornecer exemplos suficientes para que o modelo possa retornar estatísticas de validação. As estatísticas de validação ajudam a entender o desempenho de suas extrações. Além disso, permite que você ajuste suas extrações.

O ajuste fino permite que você use as anotações coletadas para melhorar o desempenho do modelo de extração.​ Também permite que você use o modelo pronto para uso e aprimore o desempenho para seus casos de uso.

Observação:

• Você pode decidir quando interromper o treinamento de rótulos
• As extrações têm diferentes requisitos de desempenho, dependendo do caso de uso.​

Importante: se você usar a Preview LLM, como uma prática recomendada, pare de anotar mais exemplos quando atingir 25 exemplos para cada campo. Isso é suficiente para o aprendizado e validação no contexto, e mais exemplos não melhoram o desempenho.

Revise os resultados da extração e, dependendo do caso, você pode escolher entre as seguintes ações​:

• Aceite as extrações se estiverem todas corretas​.
• Corrija as extrações se houver previsões incorretas​.
• Marcar extrações como ausentes se elas não estiverem presentes na mensagem​.
• Configure quaisquer campos adicionais, se houver algum ausente que seja necessário para habilitar a automação de ponta a ponta.

Quando parar de anotar

Pare depois de fornecer pelo menos 25 exemplos de extrações de rótulos para o modelo para usar em seu processo de validação. Verifique a validação e observe se o desempenho é suficiente ou se mais exemplos são necessários.

Validando extrações no Explore

Visão geral

#​	Descrição​
1​	Se todas as previsões de campo estiverem corretas, selecione Confirmar tudo para validar em massa que as anotações estão corretas.
2​	Para adicionar novos campos de extração, selecione o botão de mais, ao lado de Campos gerais ou ao lado de qualquer um dos campos de extração. Para editar quaisquer campos existentes, selecione as reticências verticais ao lado de Campos gerais ou ao lado de qualquer um dos campos de extração.
3​	No painel lateral, ao marcar a caixa ao lado das extrações previstas, você confirma que uma anotação de campo está correta, em um nível de extração.
4​	Sob cada campo, você pode encontrar o ponto de dados que foi previsto pelo modelo. Se a previsão estiver incorreta, selecione o botão x para ajustar o campo com a previsão correta.
5​	Os pontos de dados previstos são marcados na mensagem original. A ícone indica quando um campo geral está presente em uma mensagem.​ Um ícone indica quando um campo de extração está presente em uma mensagem​.
6​	Para adicionar ou modificar quaisquer campos, passe o mouse ao lado do botão + , no respectivo campo geral ou seção do campo de extração.
7​	Para expandir os campos exibidos para campos gerais ou campos de extração específicos, selecione o botão suspenso​.

Validando extrações

Para validar suas extrações, aplique as seguintes etapas:

1. Selecione Explorar ao lado de um conjunto de dados para acessar esse conjunto de dados específico.
2. Na guia Explorar , selecione Anotar campos.
3. No painel lateral, selecione o botão Prever extrações .
4. No mesmo painel lateral, os indicadores correspondentes marcados por um círculo vermelho ou verde são exibidos ao lado das previsões do modelo.
   
   Observação: os indicadores de correspondência mostram se as previsões do modelo correspondem às anotações que você fez para os campos de extração. Os indicadores são marcados na interface do usuário por um círculo vermelho ou verde no campo de extração e níveis de extração. Caso os valores não correspondam, eles são incompatíveis ou estão ausentes. Você pode executar novamente as previsões do modelo mais recentes para confirmar se elas correspondem às anotações fornecidas.

   Os estados que podem ser retornados pelos indicadores correspondentes são:

   • Verde - as previsões correspondem às anotações. É visível no nível de extração apenas se todos os campos de extração tiverem indicadores verdes.
   • Vermelho - ou as previsões não correspondem às anotações ou uma previsão está faltando uma anotação. É visível no nível de extração se qualquer um dos campos na extração tiver um indicador vermelho.

Extração de estado não confirmada

A imagem a seguir mostra como é uma extração em seu estado não confirmado . No painel direito, a extração é marcada como não confirmada, e o realce no próprio texto tem uma cor mais clara.​

Observação: ​o mesmo conceito se aplica também aos campos Geral .

Extração de estado confirmada

A imagem a seguir mostra como são os campos em seu estado confirmado . No painel direito, a extração é marcada como Confirmada e o realce no próprio texto tem uma cor mais escura.​

Observação: o mesmo conceito se aplica aos campos Geral também.

Validando extrações no Train

Observação: Extrações, na guia Treinar , está em visualização pública.

As extrações são validadas na experiência da guia Treinar de uma forma semelhante à guia Explorar .

Para validar suas extrações, aplique as seguintes etapas:

1. Selecione Treinar ao lado de um conjunto de dados para acessar esse conjunto de dados específico.
2. Na aba Treinar , selecione Extrações.
3. Selecione a extração do rótulo que você deseja validar.
   
   

   

   
   
4. Confirme se a mensagem exibida é um exemplo aplicável do rótulo.
5. Depois de aplicar todos os rótulos aplicáveis, selecione Próximo: anotar campos.
   
   

   

   
   
6. Na página a seguir, os indicadores correspondentes marcados por um círculo vermelho ou verde são exibidos ao lado das previsões do modelo.
   Observação: os indicadores de correspondência mostram se as previsões do modelo correspondem às anotações que você fez para os campos de extração. Os indicadores são marcados na interface do usuário por um círculo vermelho ou verde no campo de extração e níveis de extração. Caso os valores não correspondam, você notará que os valores são diferentes ou estão ausentes. Você pode executar novamente as previsões do modelo mais recentes para confirmar se elas correspondem às anotações fornecidas.

   Os estados que podem ser retornados pelos indicadores correspondentes são:

   • Verde - as previsões correspondem às anotações. É visível no nível de extração apenas se todos os campos de extração tiverem indicadores verdes.
   • Vermelho - ou as previsões não correspondem às anotações ou uma previsão está faltando uma anotação. É visível no nível de extração se qualquer um dos campos na extração tiver um indicador vermelho.
7. Selecione Confirmar tudo e ao lado para exibir a próxima mensagem a anotar automaticamente.