- Introdução
- Balanceamento
- Clusters
- Desvio de conceito
- Cobertura
- Conjuntos de dados
- Campos gerais (anteriormente entidades)
- Rótulos (previsões, níveis de confiança, hierarquia etc.)
- Modelos
- Transmissões
- Classificação do Modelo
- Projetos
- Precisão
- Lembrar
- Mensagens revisadas e não revisadas
- Fontes
- Taxonomias
- Treinamento
- Previsões positivos e negativos verdadeiros e falsos
- Validação
- Mensagens
- Administração
- Gerencie origens e conjuntos de dados
- Entender a estrutura de dados e permissões
- Crie uma origem de dados na GUI
- Carregar um arquivo CSV para uma origem
- Criar um conjunto de dados
- Origens e conjuntos de dados multilíngues
- Habilitando o sentimento em um conjunto de dados
- Corrigir configurações de conjunto de dados
- Excluir mensagens por meio da interface do usuário
- Excluir um conjunto de dados
- Excluir uma origem
- Exportar um conjunto de dados
- Usando integrações do Exchange
- Preparando dados para carregamento de .CSV
- Treinamento e manutenção do modelo
- Noções Básicas sobre rótulos, campos gerais e metadados
- Hierarquia de rótulo e práticas recomendadas
- Definição dos seus objetivos de taxonomia
- Casos de uso de análise versus automação
- Transformando seus objetivos em rótulos
- Criação da sua estrutura taxonômica
- Práticas recomendadas de design de taxonomia
- Importando sua taxonomia
- Visão geral do processo de treinamento do modelo
- Anotação Generativa (Novo)
- Status do conjunto de dados
- Treinamento de modelos e práticas recomendadas de anotação
- Treinamento com análise de sentimento de rótulo habilitada
- Treinamento
- Introdução ao Refine
- Precisão e recall explicados
- Precisão e recall
- Como funciona a Validação?
- Compreender e melhorar o desempenho do modelo
- Por que um rótulo pode ter uma precisão média baixa?
- Treinamento usando Check label e Perda de rótulo
- Treinamento usando Ensinar rótulo (Refinar)
- Treinamento usando a Pesquisa (Refinamento)
- Noções Básicas e Aumentando a Cobertura
- Melhorando o balanceamento e usando o Rebalanceamento
- Quando parar de treinar seu modelo
- Uso dos campos gerais
- Extração generativa
- Visão geral
- Filtragem de tipo de campo de extração
- Geração de suas extrações
- Validar e anotar extrações geradas
- Práticas recomendadas e considerações
- Noções Básicas sobre Validação de Extrações e Desempenho de Extração
- Perguntas frequentes
- Uso de análise e monitoramento
- Automations e Communications Mining
- Informações de licenciamento
- Perguntas frequentes e mais
Noções Básicas sobre Validação de Extrações e Desempenho de Extração
A página Validação mostra uma visão geral do desempenho das extrações e ajuda você a detalhar o desempenho individual de cada extração.
Você pode acessar a página Validação na guia Extrações dentro da Validação, e só está disponível se você tiver campos de extração definidos em seu conjunto de dados.
A página padrão da página Validação de extrações é a página de visão geral "Tudo", que fornece as seguintes estatísticas resumidas sobre o desempenho geral das extrações no conjunto de dados:
- Média da Pontuação F1 das extrações
- Precisão média das extrações
- Recall médio das extrações
Clique em rótulos individuais para ver o desempenho das extrações individuais, ou seja, o rótulo e seus campos de extração associados.
Para cada extração, você pode ver os seguintes valores:
- F1 Score
- Precisão
- Lembrar
Para todos os campos de extração do rótulo, você pode ver os seguintes valores:
- Pontuação F1 média
- Precisão Média
- Recall Médio
Para os campos de extração individuais, você pode ver os seguintes valores:
- F1 Score
- Precisão
- Lembrar
A forma como os níveis de confiança funcionam varia dependendo do modelo LLM subjacente que você usa.
O LLM de Visualização não tem níveis de confiança em suas previsões. A LLM de visualização retorna se um rótulo ou campo é uma previsão (Sim = 1), ou não (Não = 0).
Como resultado, não há o conceito de diferentes limites de confiança.
Esta seção descreve as saídas da atividade get stream results . Consulte a página Estrutura do dispatcher do Communications Mining para obter mais detalhes.
Para automatizar com a extração generativa, é importante entender o conteúdo das saídas de suas extrações.
Confiança da ocorrência: refere-se à confiança do modelo em relação ao número de instâncias em que uma solicitação pode ocorrer em uma mensagem (ou seja, quantas vezes uma extração pode ocorrer).
Como um exemplo: para processar um extrato de contas em um sistema a jusante, você sempre precisa de um ID da conta, Número de pedido, Quantidade de pagamento e Data de vencimento.
Verifique abaixo o exemplo de confiança de ocorrência . Ele mostra como o modelo pode identificar com confiança que existem duas ocorrências potenciais em que você precisa facilitar esse processo downstream.
A confiança da extração é a confiança do modelo sobre suas previsões. Isso inclui o quão preciso ele acha que foi ao prever a instância de um rótulo e seus campos relacionados. Também inclui a confiança do modelo em prever corretamente se um campo estiver ausente.
Considere o mesmo exemplo anterior. Para processar um extrato de contas em um sistema a jusante, você sempre precisará de um ID da conta, número de pedido, a quantia de pagamento e a data de vencimento.
No entanto, desta vez, o número de PO não está presente na mensagem, ou a data de vencimento (apenas a data de início).
A confiança de extração deste exemplo é a confiança do modelo sobre como identificar se os valores para cada campo associado ao rótulo estão presentes. Também inclui a confiança do modelo em prever corretamente se um campo estiver ausente.
Nesse caso, você não tem todos os campos de que precisa para poder extrair completamente todos os campos necessários.
Verifique abaixo um exemplo de saída do que a atividade get stream response retorna.
Fluxo refere-se ao limite que você definiu no Communications Mining e se a mensagem atender a esse limite.
Em vez de filtrar as previsões com base em limites, essa rota retorna qual confiança de previsão atingiu os limites.
Em outras palavras, se seus limites forem atendidos, o stream será retornado. Caso contrário, o valor estará vazio.
Além disso, onde houver várias extrações, ela é condicionada às extrações antes dela.
Para rótulos sem campos de extração, a confiança de ocorrência é equivalente à confiança do rótulo que pode ser vista na interface do usuário.