Por que a validação do modelo é importante

O Communications Mining é uma plataforma de inteligência de dados conversacional que permite aos usuários descobrir, medir e automatizar processos ocultos em seus canais de comunicação.

Os canais típicos incluem e-mails, tickets, chats e chamadas. As conversas nesses domínios são complexas e sutil. Como resultado, os modelos genéricos de machine learning têm um desempenho ruim. Em vez disso, o Communications Mining permite que qualquer pessoa crie modelos personalizados com pouco esforço. Nenhum conhecimento técnico é necessário.

Essa é uma abordagem incrivelmente poderosa. Os modelos podem aprender padrões complexos e fazer previsões sobre dados não vistos, assim como os humanos. Os modelos de machine learning têm até mesmo desempenho melhor do que os humanos em algumas tarefas de linguagem natural.

Mas, assim como os humanos, os modelos de machine learning também podem cometer erros. Estimar quantas vezes um modelo estará errado é crucial para qualquer aplicação do mundo real de machine learning. De igual importância é apresentar isso intuitivamente e destacar as melhores ações para melhorar um modelo. O Communications Mining usa a validação de modelo para realizar todas essas tarefas.

Como validar um modelo

​Durante​a construção de modelos, os usuários criam rótulos para tópicos de seu interesse e marcam exemplos com aqueles que se aplicam a eles. A plataforma então treina um modelo de aprendizado de máquina para prever os rótulos corretos para esses exemplos.

Para validar esse modelo, comparamos suas previsões com anotações humanas e procuramos erros. É difícil comparar previsões manualmente para muitos exemplos. Em vez disso, calculamos uma pontuação de validação, que resume o quão bem um modelo está funcionando. Para fazer isso para um modelo treinado, precisamos de duas coisas: anotações e uma pontuação.

Anotações​

Para verificar se as previsões estão corretas, precisamos saber as anotações corretas para cada exemplo. Em outras palavras, precisamos de pontos de dados anotados pelos usuários.

Já usamos anotações para treinar o modelo e podemos reutilizá-las durante a validação. No entanto, como um ser humano fazendo um teste, os modelos de machine learning terão um desempenho melhor nos exemplos que eles "tiveram visto" antes.

Se pontuarmos um modelo usando os dados nos quais ele foi treinado, podemos superestimar a qualidade do modelo. Isso fornece uma imagem enganosa de quão bem nosso modelo funciona (conhecido como sobreajuste). Por isso, usamos diferentes pontos de dados para treinar e validar modelos.

A abordagem padrão é dividir o conjunto de anotações em duas partes desiguais de forma aleatória

• Conjunto de treinamento. O conjunto de exemplos usados para treinar o modelo. Normalmente, é uma porcentagem maior, digamos 80% do total de dados anotados

• Conjunto de teste. A porcentagem restante (20%) de exemplos usados para medir o desempenho do modelo.

Dica:

Na biblioteca de Machine Learning você pode ter visto dados divididos em três seções: treinar, validar e testar. O conjunto de validação é usado para ajustar o modelo e o conjunto de testes é avaliado uma vez com o modelo final para medir o desempenho. Na Communications Mining, usamos a validação cruzada k-fold no conjunto de treinamento para ajustar o modelo, e nossas pontuações de "validação" são calculadas no conjunto de testes com o modelo final. Isso os torna equivalentes ao desempenho de teste na biblioteca ML.

Como vem da mesma fonte, o conjunto de teste é semelhante ao conjunto de treinamento. Quando verificamos o desempenho no conjunto de testes, simulamos o modelo vendo novos e-mails, mas podemos comparar com os rótulos verdadeiros para ter uma ideia da qualidade do modelo.

Pontuação​

Para resumir o desempenho do modelo como um número, precisamos de uma função de pontuação. Essa função compara as previsões do modelo e as anotações humanas e gera um número.

Selecionar uma função de pontuação pode ser um processo difícil. A função deve corresponder à nossa ideia de um bom modelo, e precisamos considerar armadilhas comuns que podem tornar as pontuações imprecisas.

No Communications Mining, usamos a Precisão média média para nossa função de pontuação. Essa é uma maneira robusta de medir o desempenho do modelo em vários rótulos e casos de uso. Se você tiver interesse em saber mais, leia nosso post no blog sobre métricas.

Validação com o Communications Mining

Com esses dois componentes, a validação é simples. Tudo o que precisamos fazer é obter as previsões do modelo para o conjunto de testes e, em seguida, usar nossa pontuação para medir o desempenho do modelo. Toda vez que você treina um novo modelo no Communications Mining, o processo de validação é executado automaticamente em segundo plano e os resultados são relatados na página Validação.

Na verdade, sempre que treinamos um novo modelo, na verdade treinamos dois modelos nos bastidores

• Modelo de validação. Isso é treinado no conjunto de treinamento e testado no conjunto de teste para medir o desempenho.

• Modelo de produção. Isso é treinado em todos os exemplos anotados (o conjunto de treinamento E o conjunto de testes) e é usado para fazer previsões sobre dados ao vivo. Esse modelo pode ser diferente do modelo de validação, pois é treinado em mais dados, mas ambos os modelos compartilham muitos exemplos de treinamento, portanto, as diferenças serão pequenas. Como resultado, o desempenho do modelo de validação é uma boa estimativa do desempenho do modelo de produção.

Com essa abordagem, o modelo usado para aplicativos downstream vê o máximo de dados possível.

O modelo de validação é treinado no conjunto de treinamento e testado no conjunto de testes, mas o modelo de produção é treinado em todos os dados anotados

Por que você deve se importar com a validação

A validação é uma parte vital do desenvolvimento de modelos eficazes de machine learning e oferece muitos benefícios para os usuários. Caso você não esteja convicto, aqui estão três das principais razões pelas quais você deve se importar.

Desconhecidos conhecidos​

A validação informa o desempenho do seu modelo, mas também destaca situações em que seu modelo pode ter problemas. Essas situações podem surgir por vários motivos; desde mudanças de tendências em dados em tempo real até rotulagem inconsistente entre usuários e equipes. É importante que a validação do modelo seja interpretada, para que você saiba dos problemas à medida que surgirem e possa corrigi-los rapidamente.

A validação permite que você inspecione pontos de dados sobre os quais seu modelo não tem certeza. Então, você pode melhorar seu modelo nessa área ou criar Robustez em qualquer processo downstream. Isso significa que você pode ter certeza de que seu modelo está fazendo exatamente o que você deseja que ele faça, e que não há nenhuma novidade ruim.

Na página de validação, os usuários podem inspecionar o modelo e ajustar processos downstream

Nenhuma experiência necessária​

Há muitos riscos ao treinar modelos, que muitas vezes podem ser difíceis de diagnosticar. Felizmente, com o nosso processo de validação, você não precisa ser um cientista de dados para construir grandes modelos.

Quando validamos um modelo, não retornamos apenas uma única pontuação. Em vez disso, calculamos uma classificação de modelo. Isso inclui a pontuação de validação do modelo, bem como outros fatores, como padrões nos dados não revisados e defasagem nos exemplos anotados.

As classificações do modelo fornecem feedback detalhado sobre o desempenho e instruções claras sobre como melhorar. Os usuários podem se concentrar em aproveitar seu conhecimento de domínio para resolver problemas sem colaborar com equipes de desenvolvimento ou especialistas em IA. O Communications Mining guiará você em cada etapa do desenvolvimento do modelo.

As classificações de modelo fornecem informações detalhadas sobre o desempenho e ações recomendadas para melhorar um modelo

Feedback mais rápido, modelos melhores​

A maioria dos modelos de aprendizado de máquina é atualizada com pouca frequência e validada uma vez antes da implantação. Na Communications Mining, adotamos uma abordagem diferente.

Em vez de esperar muito tempo entre as atualizações, treinamos e validamos continuamente novos modelos. Isso significa que o modelo é sempre aplicável ao estado atual dos dados, e os resultados da validação são atualizados.

O feedback rápido minimiza o tempo de iteração do modelo. Qualquer queda no desempenho pode ser corrigida o mais rápido possível, e os usuários nunca perdem tempo com feedback desatualizado. O processo de validação ágil do Communications Mining permite que os usuários criem modelos de alta qualidade em menos tempo.

Summary

• ​A validação​é usada para pontuação de modelos e garantir o bom desempenho em dados não vistos.

• Os modelos são pontuados em dados não vistos para estimar com precisão seu desempenho e evitar sobreajuste.

• Usamos classificações de modelo para fornecer feedback detalhado, para que você possa corrigir problemas rapidamente e ter confiança de que seu modelo está fazendo exatamente o que deve.