Quando parar de treinar seu modelo

Com os recursos abrangentes de validação da plataforma, incluindo a funcionalidade Classificação do modelo , entender quando parar o treinamento de seu modelo agora é relativamente simples.

O nível de desempenho exigido para o modelo dependerá de você e da sua empresa, mas a Classificação do modelo da plataforma dá a você uma ótima ideia de onde está o desempenho do seu modelo e de como melhorá-lo, se necessário.

Um modelo com uma pontuação de 70 ou mais é classificado como Bom, enquanto uma pontuação de 90 é necessária para que um modelo seja classificado como Excelente.

Qualquer que seja o caso de uso, recomendamos que você aplique o seguinte antes de interromper o treinamento:

• Se seu modelo tiver pelo menos uma pontuação geral que forneça uma classificação de Boa , pois isso significa que a plataforma considera o modelo relativamente íntegro em geral.
• Que cada um dos fatores individuais também tenha uma classificação de pelo menos Bom.
• Para que nenhum de seus rótulos importantes tenha avisos de desempenho vermelhos ou laranja.

Para um modelo focado em análise, além dos fatores listados anteriormente, deve ficar a critério do treinador do modelo até que ponto ele deseja otimizar o desempenho de seu modelo. O requisito de desempenho pode depender de uma variedade de fatores, incluindo os objetivos do caso de uso e a capacidade do treinador do modelo de continuar o treinamento.

Se você estiver criando um modelo que se destina a habilitar automações, é recomendável que seu modelo tenha uma classificação Excelente , e também que o modelo seja testado em dados ao vivo antes de ser implantado para produção.

Verificações de desempenho opcionais adicionais

Embora a Classificação do Modelo seja uma avaliação de desempenho abrangente, pode ser interessante realizar algumas verificações adicionais para garantir que você esteja completamente confortável com o desempenho do seu modelo.

Se esse for o caso, aqui estão algumas verificações úteis que você pode fazer com as ações recomendadas. Vale lembrar que, se a plataforma achar importante que você realize qualquer uma dessas ações, ela também as recomendará no Validation.

Marcar	Processo	Ações a serem realizadas
A revisão de previsão de período de dois dias	Revisar previsões em 1-2 dias de dados recentes: use o filtro de tempo e "recente" no menu suspenso para escolher 2 dias recentes de dados. Revise as previsões e certifique-se de que cada mensagem tenha uma previsão de confiança adequadamente alta. Ao revisar as previsões de 1-2 dias de dados, ele deve garantir que todos os conceitos potenciais sejam cobertos	Se houver mensagens sem previsões ou com confiança insuficiente, anote-as como normais. - Então treine mais em Aleatório e Baixa confiança
Aleatório	Revise as previsões no Aleatório por pelo menos 5 páginas. Cada mensagem deve ter um rótulo previsto com uma confiança relativamente alta	Se houver mensagens sem previsões ou com confiança insuficiente, anote-as como normais. - Então treine mais em Aleatório e Baixa confiança
Baixa confiança	O modo Baixa confiança mostra mensagens que não são bem cobertas por previsões de rótulos informativos. Essas mensagens não terão previsões ou previsões de confiança muito baixa para rótulos que a plataforma entende como informativos.	“Se houver mensagens que não foram cobertas, adicione um novo rótulo para elas e treine normalmente “Onde você encontrar uma mensagem para um rótulo existente, aplique-o normalmente
Redescobrir	Retornar ao Discover pode mostrar a você possíveis novos clusters em que a probabilidade de qualquer aplicação de rótulo é baixa. Isso deve ser usado para garantir que você não tenha perdido nenhum rótulo em potencial ou para fornecer rótulos existentes com exemplos mais variados, de uma maneira semelhante à Baixa confiança.	Se houver clusters sem previsões (ou muito poucas), anote o cluster com um novo rótulo ou um existente, se aplicável > Treinar qualquer novo rótulo como normal

Redescobrir

Redescobrir é uma etapa que pode ser revisitada a qualquer momento durante o processo de treinamento, mas também pode ser útil ao verificar se você concluiu o treinamento o suficiente.

Essa verificação implica apenas voltar para a página Discover no modo Cluster e revisar os clusters lá para verificar suas previsões e ver se o Discover encontrou algum cluster que possa ter sido perdido pelo seu treinamento.

À medida que os clusters no Discover são treinados novamente após uma quantidade significativa de treinamento ter sido concluída na plataforma (180 anotações) ou uma quantidade significativa de dados ter sido adicionada ao conjunto de dados (1.000 mensagens ou 1%, o que for maior, e pelo menos 1 anotação ), eles devem ser atualizados regularmente durante o processo de treinamento.

O Discover tenta encontrar clusters que não são bem cobertos por previsões de rótulos. Se houver clusters no Discover que deveriam ter certos rótulos previstos, mas não têm, você sabe que precisa fazer mais algum treinamento para esses rótulos. Para obter mais detalhes sobre como anotar clusters no Discover, consulte Treinamento usando clusters.

Se seu modelo estiver bem treinado, o Discover terá dificuldade para encontrar clusters com baixa confiança ou sem previsões. Se você notar que cada um dos clusters no Discover tem uma confiança razoável e previsões corretas, isso é um bom indicador de que seu modelo cobre bem o conjunto de dados.