Quando parar de treinar seu modelo

Com os abrangentes recursos de validação da plataforma, incluindo a funcionalidade Classificação do modelo , entender quando parar o treinamento de seu modelo agora é bastante simples.

O nível de desempenho exigido para o modelo dependerá de você e da sua empresa, mas a Classificação do modelo da plataforma dá a você uma ótima ideia de onde está o desempenho do seu modelo e de como melhorá-lo, se necessário.

Um modelo com uma pontuação de 70 ou mais é classificado como 'Bom ', enquanto uma pontuação de 90 é necessária para um modelo ser classificado como 'Excelente '.

Seja qual for o caso de uso,recomendamos sempre garantir o seguinte antes de interromper o treinamento:

• Se seu modelo tem pelo menos uma pontuação geral que forneça uma classificação de "Bom", pois isso significa que a plataforma considera o modelo como globalmente estável
• Que cada um dos fatores individuais também tenha uma classificação de pelo menos 'Bom ' (conforme mostrado abaixo)

• Nenhum dos seus rótulos importantes temavisos de desempenho na cor vermelho ou amarelo

Para um modelo focado na análise , além dos fatores listados acima, deve ficar a critério do treinador do modelo o quanto ele deseja otimizar o desempenho de seu modelo. O requisito de desempenho pode depender de vários fatores, incluindo os objetivos do caso de uso e a capacidade do treinador do modelo de continuar o treinamento.

Se você estiver criando um modelo que se destina a habilitar automações, é recomendável que seu modelo tenha umaclassificação ' Excelente' e também que o modelo seja testado em dados ativos antes de ser implantado para a produção.

Exemplo de classificação de modelo para um modelo extremamente íntegro

Verificações de desempenho opcionais adicionais

Embora a Classificação do modelo seja uma avaliação abrangente do desempenho, pode ser interessante concluir algumas verificações adicionais para garantir que você esteja totalmente confortável com o desempenho do seu modelo.

Se for esse o caso, aqui estão algumas verificações úteis que você pode fazer com as ações recomendadas. É importante notar que se a plataforma achar que é importante para você realizar qualquer uma dessas ações, ela também irá recomendá-las na Validação.

Marcar	Processo	Ações a serem realizadas
Revisão de previsão de período de 2 dias	Revisar previsões em 1-2 dias de dados recentes: use o filtro de tempo e "recente" no menu suspenso para escolher 2 dias recentes de dados. Revise as previsões e certifique-se de que cada mensagem tenha uma previsão de confiança adequadamente alta. Ao revisar as previsões de 1-2 dias de dados, ele deve garantir que todos os conceitos potenciais sejam cobertos	Se houver mensagens sem previsões ou com confiança insuficiente, anote-as como normais. - Então treine mais em Aleatório e Baixa confiança
Aleatório	Revise as previsões em Aleatório por pelo menos cinco páginas. Cada mensagem deve ter um rótulo previsto com uma confiança consideravelmente alta	Se houver mensagens sem previsões ou com confiança insuficiente, anote-as como normais. - Então treine mais em Aleatório e Baixa confiança
Baixa confiança	O modo Baixa confiança mostra mensagens que não são bem cobertas por previsões informativas do rótulo. Essas mensagens não terão previsões ou previsões de confiança muito baixa para rótulos que a plataforma entende como informativos.	“Se houver mensagens que não foram cobertas, adicione um novo rótulo para elas e treine normalmente “Onde você encontrar uma mensagem para um rótulo existente, aplique-o normalmente
'Re-Discover‘(veja abaixo)	Retornar ao Discover pode mostrar a você novos clusters em potencial, nos quais a probabilidade de qualquer rótulo ser aplicado é baixa. Isso deve ser usado para garantir que você não tenha perdido nenhum rótulo em potencial ou para fornecer exemplos mais variados de rótulos existentes, de maneira semelhante à Baixa Confiança	Se houver clusters sem previsões (ou muito poucas), anote o cluster com um novo rótulo ou um existente, se aplicável > Treinar qualquer novo rótulo como normal

'Re-discover'

A "Redescoberta" é uma etapa que pode ser revisitada a qualquer momento durante o processo de treinamento, mas também pode ser útil ao verificar se você concluiu o treinamento suficiente.

Essa verificação basicamente envolve voltar para a página do Discover no modo 'Cluster' e revisar os clusters de lá para verificar suas previsões e ver se o Discover encontrou algum cluster que possa ter sido ignorado pelo seu treinamento.

Como os clusters no Discover são retreinados após uma quantidade significativa de treinamento ter sido concluída na plataforma (180 anotações) ou uma quantidade significativa de dados ter sido adicionada ao conjunto de dados (1000 mensagens ou 1%, o que for maior, e pelo menos 1 anotação ), eles devem ser atualizados regularmente durante todo o processo de treinamento.

O Discover tenta encontrar clusters que não estão bem cobertos por previsões do rótulo. Se houver clusters no Discover que deveriam ter certos rótulos previstos, mas não têm, você sabe que precisa fazer mais treinamento para esses rótulos. Consulte aqui como anotar clusters no Discover.

Se seu modelo for bem treinado, o Discover terá dificuldade para encontrar clusters com baixa confiança ou sem previsões. Se você perceber que cada um dos clusters no Discover tem confiança razoável e previsões corretas, esse é um bom indicador de que seu modelo abrange bem o conjunto de dados.