Noções Básicas sobre Validação de Extrações e Desempenho de Extração

Observação: a página Validação de extrações está em visualização pública.

A página Validação mostra uma visão geral do desempenho das extrações e ajuda você a detalhar o desempenho individual de cada extração.

Você pode acessar a página Validação na guia Extrações dentro da Validação, e só está disponível se você tiver campos de extração definidos em seu conjunto de dados.​

Visão geral do desempenho

A página padrão da página Validação de extrações é a página de visão geral "Tudo", que fornece as seguintes estatísticas resumidas sobre o desempenho geral das extrações no conjunto de dados:

• Média da Pontuação F1 das extrações
• Precisão média das extrações
• Recall médio das extrações

Figura 1. Página Validação de extrações

Observação: uma pontuação F1 média de extração baixa é um sinal de um desempenho de extração ruim​.

Extrações individuais

Clique em rótulos individuais para ver o desempenho das extrações individuais, ou seja, o rótulo e seus campos de extração associados.

Para cada extração, você pode ver os seguintes valores:

• F1 Score
• Precisão
• Lembrar

Para todos os campos de extração do rótulo, você pode ver os seguintes valores:

• Pontuação F1 média
• Precisão Média
• Recall Médio

Para os campos de extração individuais, você pode ver os seguintes valores:

• F1 Score
• Precisão
• Lembrar

Figura 2. Validação de extração individual

Níveis de confiança e LLMs

A forma como os níveis de confiança funcionam varia dependendo do modelo LLM subjacente que você usa.

Se você usar o CommPath LLM

If you use the CommPath LLM, themodel assigns a set of confidence scores for each prediction (%).

CommPath calculates and returns the following:

• Confiança da ocorrência: a probabilidade de que a ocorrência detectada corresponda ao rótulo atribuído.

• Confiança da extração: a confiança na exatidão do conteúdo extraído.

These confidence values enable downstream automations to filter out extractions with confidence levels below a set label threshold. If you set an appropriate threshold, you can ensure that only predictions that meet a desired confidence level are used in workflows.

Se você usar a atividade Visualização LLM

A Preview LLM para Extração generativa fornece um valor de confiança de ocorrência de rótulo único para cada extração, substituindo tanto a confiança da ocorrência quanto a confiança da extração. Essa abordagem é diferente da CommPath, que retorna valores de confiança separados para cada extração.

Observação:

Returning the label confidence helps filtering out extractions downstream if needed, allowing users to improve the precision of some results.

Automação com extração generativa

Observação: caso você tenha construído automações anteriormente com entidades: se você está planejando criar automações usando a Extração generativa, o endpoint da API e as atividades necessárias para construí-la são diferentes das que você tem usado anteriormente.​

Esta seção descreve as saídas da atividade get stream results . Consulte a página Estrutura do dispatcher do Communications Mining para obter mais detalhes.​

Para automatizar com a extração generativa, é importante entender o conteúdo das saídas de suas extrações.​

Confiança da ocorrência: refere-se à confiança do modelo em relação ao número de instâncias em que uma solicitação pode ocorrer em uma mensagem (ou seja, quantas vezes uma extração pode ocorrer). ​

Como um exemplo: para processar um extrato de contas em um sistema a jusante, você sempre precisa de um ID da conta, Número de pedido, Quantidade de pagamento e Data de vencimento.

Verifique abaixo o exemplo de confiança de ocorrência . Ele mostra como o modelo pode identificar com confiança que existem duas ocorrências potenciais em que você precisa facilitar esse processo downstream​.

Confiança da extração

A confiança da extração é a confiança do modelo sobre suas previsões. Isso inclui o quão preciso ele acha que foi ao prever a instância de um rótulo e seus campos relacionados. Também inclui a confiança do modelo em prever corretamente se um campo estiver ausente.

Considere o mesmo exemplo anterior. Para processar um extrato de contas em um sistema a jusante, você sempre precisará de um ID da conta, número de pedido, a quantia de pagamento e a data de vencimento.

No entanto, desta vez, o número de PO não está presente na mensagem, ou a data de vencimento (apenas a data de início).

A confiança de extração deste exemplo é a confiança do modelo sobre como identificar se os valores para cada campo associado ao rótulo estão presentes. Também inclui a confiança do modelo em prever corretamente se um campo estiver ausente.

Nesse caso, você não tem todos os campos de que precisa para poder extrair completamente todos os campos necessários.

Exemplo de payload

Verifique abaixo um exemplo de saída do que a atividade get stream response retorna.

Fluxo refere-se ao limite que você definiu no Communications Mining e se a mensagem atender a esse limite.

Em vez de filtrar as previsões com base em limites, essa rota retorna qual confiança de previsão atingiu os limites.

Em outras palavras, se seus limites forem atendidos, o stream será retornado. Caso contrário, o valor estará vazio.​

Observação: esse é um fragmento de amostra para explicar os diferentes componentes, não a saída completa de uma resposta de extração generativa. ​

Além disso, onde houver várias extrações, ela é condicionada às extrações antes dela.​

Para rótulos sem campos de extração, a confiança de ocorrência é equivalente à confiança do rótulo que pode ser vista na interface do usuário.​

Observação: se o modelo tiver falhado ao extrair com sucesso todos os campos em uma mensagem porque há muitos campos, ele retornará uma extração na resposta do stream que tem uma confiança de ocorrência E uma confiança de extração com valores de 0.