Manutenção de um modelo em produção

A importância da manutenção do modelo

Criar um modelo adequado para ser implantado em um ambiente de produção requer um investimento de tempo, que é rapidamente retornado pelo valor das análises contínuas e economias de eficiência por meio da automação.

Se você não manter um modelo de forma eficaz ao longo do tempo, seus benefícios podem diminuir, pois o desempenho do modelo pode diminuir sem um treinamento complementar periódico.

Isso é devido ao desvio de conceito, que se refere à situação em que os conceitos que um modelo está tentando prever podem mudar de maneiras imprevistas ao longo do tempo, tornando as previsões cada vez menos precisas.

Isso está relacionado essencialmente a como, ao longo do tempo, as coisas podem mudar em uma empresa e na forma como ela se comunica internamente, com outras empresas e com seus clientes. Se os dados de treinamento do seu modelo não forem mais representativos da maneira como sua empresa opera hoje, seu desempenho será pior ao tentar identificar conceitos dentro de seus dados de comunicações.

Observação: certifique-se de manter de forma eficaz todos os modelos usados em um ambiente de produção para garantir um alto desempenho contínuo.

Manutenção de um modelo em produção

A manutenção de um modelo de produção é um processo direto e de baixo esforço. A maior parte do esforço necessário já foi feita para criar os dados de treinamento para seu modelo antes de sua implantação.

Há duas abordagens principais para manter um modelo, e ambas garantem que seu modelo seja fornecido com exemplos adicionais de treinamento úteis e representativos:

1. Treinamento de exceção
2. Usando o modo de rebalancear

1. Treinamento de exceção

Qualquer modelo usado para fins de automação deve ter um processo de exceção em vigor que identifica quais mensagens foram exceções que a plataforma não conseguiu identificar com confiança ou corretamente. Para obter mais detalhes, consulte Automação em tempo real.

Isso é importante porque permite que você encontre e anote rapidamente as mensagens com as quais a plataforma teve problemas, o que melhora a capacidade do modelo de prever futuras mensagens semelhantes.

Um processo de automação será configurado para sinalizar automaticamente mensagens com uma propriedade de usuário que o identifica como uma exceção. Em seguida, você pode filtrar no Explorar para essas mensagens e anotá-las com os rótulos corretos, para garantir que a plataforma possa identificar mensagens semelhantes com confiança e corretamente no futuro.

Isso deve fazer parte de um processo regular que visa melhorar o modelo de maneira consistente. Quanto mais exceções forem capturadas e anotadas, melhor será o desempenho do modelo ao longo do tempo, minimizando o número de exceções futuras e maximizando a economia de eficiência que um modelo focado na automação permite.

2. Usando o modo Balancear e Rebalancear

A Classificação de saldo de seu modelo é uma parte do componente de sua Classificação de modelo. Isso reflete o quão semelhante, ou seja, representativa os dados de degradação do seu modelo são para o conjunto de dados como um todo.

Em tela, se os dados mais recentes sendo adicionados a um conjunto de dados ao longo do tempo forem significativamente diferentes dos dados mais antigos que foram usados para treinar o modelo, isso causaria uma baixa na pontuação de similaridade que determina a classificação de saldo de seu modelo.

Ao fazer um treinamento de exceção, é importante verificar se a pontuação de similaridade para o modelo diminui. Em caso afirmativo, isso deve ser resolvido, pois pode ser uma indicação de desvio de conceito e pode significar uma queda no desempenho na produção.

A maneira mais simples de corrigir uma baixa na pontuação de similaridade é concluir algum treinamento usando o modo Rebalancear .

Para garantir que você treine os dados mais recentes que sejam representativos do tipo de comunicações recebidas hoje, você também pode adicionar um filtro de carimbo de data/hora ao treinar em Rebalancear, para os últimos 3 ou 6 meses. Isso garante que seu modelo não dependa apenas de dados de treinamento antigos e que podem não refletir as alterações em seus negócios.