Noções Básicas sobre Validação de Extrações e Desempenho de Extração

A página Validação mostra uma visão geral do desempenho das extrações e ajuda você a analisar o desempenho individual de cada extração.

Você pode acessar os detalhes de validação na guia Extrações da Validação. A guia Extrações só ficará disponível se você tiver campos de extração definidos em seu conjunto de dados.​

Visão geral do desempenho

A página padrão da guia Extrações da Validação é uma visão geral usando o filtro Todos . Esta página fornece as seguintes estatísticas resumidas sobre o desempenho geral das extrações no conjunto de dados:

• Média da Pontuação F1 das extrações
• Precisão média das extrações
• Recall médio das extrações

Observação: uma pontuação F1 média de extração baixa é um sinal de um desempenho de extração ruim​.

Extrações individuais

Selecione rótulos individuais para visualizar o desempenho de extrações individuais, ou seja, o rótulo e seus campos de extração associados.

Para cada extração, você pode observar os seguintes valores:

• F1 Score
• Precisão
• Lembrar

Para todos os campos de extração para o rótulo, você pode observar os seguintes valores:

• Pontuação F1 média
• Precisão Média
• Recall Médio

Para os campos de extração individuais, você pode observar os seguintes valores:

• F1 Score
• Precisão
• Lembrar

Níveis de confiança e LLMs

A forma como os níveis de confiança funcionam varia dependendo do modelo LLM subjacente que você usa.

Se você usar o CommPath LLM

Se você usar o CommPath LLM, o modelo atribuirá um conjunto de pontuações de confiança para cada previsão (%).

O CommPath calcula e retorna o seguinte:

• Confiança da ocorrência: a probabilidade de que a ocorrência detectada corresponda ao rótulo atribuído.

• Confiança da extração: a confiança na exatidão do conteúdo extraído.

Esses valores de confiança permitem que as automações downstream filtrem as extrações com níveis de confiança abaixo de um limite de rótulo definido. Se você definir um limite apropriado, pode garantir que apenas as previsões que atendem a um nível de confiança desejado sejam usadas nos fluxos de trabalho.

Se você usar a atividade Visualização LLM

A Preview LLM para Extração generativa fornece um valor de confiança de ocorrência de rótulo único para cada extração, substituindo tanto a confiança da ocorrência quanto a confiança da extração. Essa abordagem é diferente da CommPath, que retorna valores de confiança separados para cada extração.

Observação:

Retornar a confiança do rótulo ajuda a filtrar as extrações em downstream, se necessário, permitindo que os usuários melhorem a precisão de alguns resultados.

Automação com extração generativa

Observação: se você tiver criado automações anteriormente com campos gerais e planeja criar automações usando a Extração generativa, o ponto de extremidade da API e as atividades necessárias serão diferentes dos que você usou anteriormente.​

Esta seção descreve as saídas da atividade Get Stream Results . Para obter mais detalhes, consulte Estrutura do dispatcher do Communications Mining™.​

Para automatizar com Extração generativa, você deve primeiro entender o conteúdo das saídas de suas extrações.​

A confiança de ocorrência refere-se à confiança que o modelo tem em relação ao número de instâncias em que uma solicitação pode ocorrer em uma mensagem, ou seja, quantas vezes uma extração pode ocorrer. ​

Como um exemplo, para processar um extrato de contas em um sistema downstream, você sempre precisa de um ID da conta, número da PO, o valor do pagamento e a data de vencimento.

Verifique o exemplo de confiança de ocorrência na seguinte imagem. Ele mostra como o modelo pode identificar com confiança que há duas ocorrências potenciais em que você precisa facilitar esse processo downstream.

Confiança da extração

A confiança da extração é a confiança do modelo sobre suas previsões. Isso inclui o grau de precisão que ele acha que foi ao prever a instância de um rótulo e seus campos relacionados. Também inclui a confiança do modelo em prever corretamente se um campo estiver ausente.

Considere o mesmo exemplo que antes. Para processar um extrato de contas em um sistema downstream, você sempre precisa de um ID de conta, número de PO, o valor do pagamento e a data de vencimento.

No entanto, desta vez, o número de pedido não está presente na mensagem ou na data de vencimento, apenas a data de início.

A confiança da extração deste exemplo é a confiança do modelo em identificar se os valores para cada campo associado ao rótulo estão presentes. Também inclui a confiança do modelo em prever corretamente se um campo estiver ausente.

Neste caso aqui, você não tem todos os campos de que precisa para poder extrair totalmente todos os campos necessários.

Exemplo de payload

Verifique o seguinte resultado de exemplo do que a atividade Get Stream Results retorna:

Fluxo refere-se ao limite que você definiu no Communications Mining e se a mensagem atender a esse limite.

Em vez de filtrar as previsões com base nos limites, essa rota retorna qual confiança de previsão atingiu os limites.

Em outras palavras, se seus limites forem atingidos, o stream será retornado. Caso contrário, esse valor está vazio.​

Observação:

• A imagem anterior contém um fragmento de amostra para explicar os diferentes componentes, não a saída completa de uma resposta de extração generativa. ​Além disso, onde há várias extrações, ela é condicionada às extrações antes dela.​ Para rótulos sem campos de extração, a confiança de ocorrência é equivalente à confiança do rótulo que você pode visualizar na interface do usuário.
• Se o modelo não conseguir extrair com sucesso todos os campos em uma mensagem porque há muitos campos, ele retornará uma extração na resposta do stream que tem uma confiança de ocorrência e uma confiança de extração com valores de zero.​