- Introdução
- Balanceamento
- Clusters
- Desvio de conceito
- Cobertura
- Conjuntos de dados
- Campos gerais (anteriormente entidades)
- Rótulos (previsões, níveis de confiança, hierarquia etc.)
- Modelos
- Transmissões
- Classificação do Modelo
- Projetos
- Precisão
- Lembrar
- Mensagens revisadas e não revisadas
- Fontes
- Taxonomias
- Treinamento
- Previsões positivos e negativos verdadeiros e falsos
- Validação
- Mensagens
- Administração
- Gerencie origens e conjuntos de dados
- Entender a estrutura de dados e permissões
- Crie uma origem de dados na GUI
- Carregar um arquivo CSV para uma origem
- Criar um conjunto de dados
- Origens e conjuntos de dados multilíngues
- Habilitando o sentimento em um conjunto de dados
- Corrigir configurações de conjunto de dados
- Excluir mensagens por meio da interface do usuário
- Excluir um conjunto de dados
- Excluir uma origem
- Exportar um conjunto de dados
- Usando integrações do Exchange
- Preparando dados para carregamento de .CSV
- Treinamento e manutenção do modelo
- Noções Básicas sobre rótulos, campos gerais e metadados
- Hierarquia de rótulo e práticas recomendadas
- Definição dos seus objetivos de taxonomia
- Casos de uso de análise versus automação
- Transformando seus objetivos em rótulos
- Criação da sua estrutura taxonômica
- Práticas recomendadas de design de taxonomia
- Importando sua taxonomia
- Visão geral do processo de treinamento do modelo
- Anotação Generativa (Novo)
- Status do conjunto de dados
- Treinamento de modelos e práticas recomendadas de anotação
- Treinamento com análise de sentimento de rótulo habilitada
- Treinamento
- Introdução ao Refine
- Precisão e recall explicados
- Precisão e recall
- Como funciona a Validação?
- Compreender e melhorar o desempenho do modelo
- Por que um rótulo pode ter uma precisão média baixa?
- Treinamento usando Check label e Perda de rótulo
- Treinamento usando Ensinar rótulo (Refinar)
- Treinamento usando a Pesquisa (Refinamento)
- Noções Básicas e Aumentando a Cobertura
- Melhorando o balanceamento e usando o Rebalanceamento
- Quando parar de treinar seu modelo
- Fixação e marcação com tags de uma versão de modelo
- Excluindo um modelo fixado
- Adição de novos rótulos às taxonomias existentes
- Manutenção de um modelo em produção
- Reverter modelo
- Uso dos campos gerais
- Extração generativa
- Uso de análise e monitoramento
- Automations e Communications Mining
- Informações de licenciamento
- Perguntas frequentes e mais
Manutenção de um modelo em produção
Por que a manutenção de modelos é importante?
Criar um modelo que seja adequado para ser implantado em um ambiente de produção requer um investimento de tempo que é rapidamente correspondido pelo valor da análise contínua e economia de eficiência através da automação.
Se um modelo não for mantido de forma efetiva a longo prazo, os benefícios fornecidos pelo modelo podem ser consumidos ao longo do tempo, pois o desempenho do modelo tem o potencial de diminuir sem um pequeno treinamento adicional.
Isso se deve ao " desvio de conceito", que se refere à situação em que os conceitos que um modelo tenta prever podem mudar de maneiras imprevistas ao longo do tempo, tornando as previsões cada vez menos precisas.
Isso está relacionado basicamente a como as coisas podem mudar em uma empresa ao longo do tempo e na maneira como ela se comunica internamente, com outras empresas e com seus clientes. Se os dados de treinamento do seu modelo não forem mais representativos da maneira como sua empresa funciona hoje, ele terá um desempenho pior ao tentar identificar conceitos em seus dados de comunicação.
Portanto, é importante para qualquer modelo que esteja sendo usado em um ambiente de produção que ele seja mantido de forma efetiva para garantir alto desempenho contínuo.
Como manter um modelo em produção?
A manutenção de um modelo de produção é um processo direto e de baixo esforço. A maior parte do esforço necessário já foi colocada para criar os dados de treinamento para seu modelo antes de sua implantação.
Há duas abordagens principais para manter um modelo, e ambas garantem que seu modelo seja fornecido com exemplos adicionais de treinamento úteis e representativos:
- Treinamento de exceção
- Como usar o modo "Rebalancear"
1. Treinamento de exceção
Qualquer modelo usado para fins de automação deve ter um processo de exceção que identifica quais mensagens foram exceções que a plataforma não pôde identificar com confiança ou corretamente (consulte aqui para obter mais detalhes).
Isso é importante porque permite que você encontre e anote rapidamente as mensagens com as quais a plataforma teve problemas, o que melhora a capacidade do modelo de prever futuras mensagens semelhantes.
Normalmente, um processo de automação será configurado para sinalizar automaticamente mensagens com uma propriedade de usuário que a identifica como uma exceção. Em seguida, você pode filtrar no Explorar essas mensagens e anotá-las com os rótulos corretos, para garantir que a plataforma possa identificar mensagens semelhantes com confiança e corretamente no futuro.
Isso deve fazer parte de um processo regular que visa melhorar o modelo de maneira consistente. Quanto mais exceções forem capturadas e anotadas, melhor será o desempenho do modelo ao longo do tempo, minimizando o número de exceções futuras e maximizando a economia de eficiência que um modelo focado na automação permite.
2. Uso do modo Balance e 'Rebalance'
A classificação "Saldo " do seu modelo é um componente da Classificação do Modelo. Isso reflete o quão semelhantes, ou seja, representativos, os dados de treinamento do seu modelo são em relação ao conjunto de dados como um todo.
Em Teor, se os dados mais recentes sendo adicionados a um conjunto de dados ao longo do tempo forem significativamente diferentes dos dados mais antigos que foram usados para treinar o modelo, isso causaria uma queda na pontuação de similaridade que determina a classificação de Balanceamento de seu modelo.
Ao fazer o treinamento de exceção, é importante verificar se a pontuação de similaridade para o modelo diminui. Se existir, isso deve ser resolvido, pois pode ser uma indicação de desvio de conceito e pode significar que o desempenho na produção baixará.
A maneira mais simples de corrigir uma queda na pontuação de similaridade é concluir algum treinamento usando o modo "Rebalancear".
Para garantir que você treine os dados mais recentes representativos do tipo de comunicações recebidas hoje, você também pode adicionar um filtro de carimbo de data/hora ao treinar em "Rebalancear", com os últimos 3 ou 6 meses. Isso garante que seu modelo não dependa apenas de dados de treinamento que são antigos e podem não refletir nenhuma alteração em seu negócio.