Manutenção de um modelo em produção

Por que a manutenção de modelos é importante?

Criar um modelo que seja adequado para ser implantado em um ambiente de produção requer um investimento de tempo que é rapidamente correspondido pelo valor da análise contínua e economia de eficiência através da automação.

Se um modelo não for mantido de forma efetiva a longo prazo, os benefícios fornecidos pelo modelo podem ser consumidos ao longo do tempo, pois o desempenho do modelo tem o potencial de diminuir sem um pequeno treinamento adicional.

Isso se deve ao " desvio de conceito", que se refere à situação em que os conceitos que um modelo tenta prever podem mudar de maneiras imprevistas ao longo do tempo, tornando as previsões cada vez menos precisas.

Isso está relacionado basicamente a como as coisas podem mudar em uma empresa ao longo do tempo e na maneira como ela se comunica internamente, com outras empresas e com seus clientes. Se os dados de treinamento do seu modelo não forem mais representativos da maneira como sua empresa funciona hoje, ele terá um desempenho pior ao tentar identificar conceitos em seus dados de comunicação.

Portanto, é importante para qualquer modelo que esteja sendo usado em um ambiente de produção que ele seja mantido de forma efetiva para garantir alto desempenho contínuo.

Como manter um modelo em produção?

A manutenção de um modelo de produção é um processo direto e de baixo esforço. A maior parte do esforço necessário já foi colocada para criar os dados de treinamento para seu modelo antes de sua implantação.

Há duas abordagens principais para manter um modelo, e ambas garantem que seu modelo seja fornecido com exemplos adicionais de treinamento úteis e representativos:

1. Treinamento de exceção
2. Como usar o modo "Rebalancear"

1. Treinamento de exceção

Qualquer modelo usado para fins de automação deve ter um processo de exceção que identifica quais mensagens foram exceções que a plataforma não pôde identificar com confiança ou corretamente (consulte aqui para obter mais detalhes).

Isso é importante porque permite que você encontre e rotule rapidamente as mensagens com as quais a plataforma teve problemas, o que melhora a capacidade do modelo de prever futuras mensagens semelhantes.

Normalmente, um processo de automação será configurado para sinalizar automaticamente mensagens com uma propriedade de usuário que a identifica como uma exceção. Em seguida, você pode filtrar no Explorar para essas mensagens e rotulá-las com os rótulos corretos, para garantir que a plataforma possa identificar mensagens semelhantes com confiança e corretamente no futuro.

Isso deve fazer parte de um processo regular que visa melhorar o modelo de maneira consistente. Quanto mais exceções forem capturadas e rotuladas, melhor será o desempenho do modelo ao longo do tempo, minimizando o número de exceções futuras e maximizando a economia de eficiência que um modelo focado na automação permite.

2. Uso do modo Balance e 'Rebalance'

A classificação "Saldo " do seu modelo é um componente da Classificação do Modelo. Isso reflete o quão semelhantes, ou seja, representativos, os dados de treinamento do seu modelo são em relação ao conjunto de dados como um todo.

Em Teor, se os dados mais recentes sendo adicionados a um conjunto de dados ao longo do tempo forem significativamente diferentes dos dados mais antigos que foram usados para treinar o modelo, isso causaria uma queda na pontuação de similaridade que determina a classificação de Balanceamento de seu modelo.

Ao fazer o treinamento de exceção, é importante verificar se a pontuação de similaridade para o modelo diminui. Se existir, isso deve ser resolvido, pois pode ser uma indicação de desvio de conceito e pode significar que o desempenho na produção baixará.

A maneira mais simples de corrigir uma queda na pontuação de similaridade é concluir algum treinamento usando o modo "Rebalancear".

Para garantir que você treine os dados mais recentes representativos do tipo de comunicações recebidas hoje, você também pode adicionar um filtro de carimbo de data/hora ao treinar em "Rebalancear", com os últimos 3 ou 6 meses. Isso garante que seu modelo não dependa apenas de dados de treinamento que são antigos e podem não refletir nenhuma alteração em seu negócio.