Noções Básicas e Aumentando a Cobertura

Permissões de usuário necessárias: "Exibir Origens" E "Revisar e anotar".

O que é cobertura?

Cobertura é um termo frequentemente usado em Machine Learning e está relacionado a quão bem um modelo "cobre" os dados que ele usa para analisar. Na plataforma, isso está relacionado à proporção de mensagens no conjunto de dados que possuem previsões informativas do rótulo, e é apresentado na Validação como uma pontuação percentual.

Os "Rótulos informativos " são aqueles que a plataforma entende serem úteis como rótulos independentes, considerando a frequência com que são atribuídos a outros rótulos. Rótulos que são sempre atribuídos com outro rótulo, por exemplo, rótulos pais que nunca são atribuídos por conta própria ou 'Urgent' se sempre for atribuído com outro rótulo, recebem um peso menor quando a pontuação é calculada.

O visual abaixo dá uma indicação de como seria a aparência de baixa cobertura versus alta cobertura em todo um conjunto de dados. Imagine que os círculos sombreados sejam mensagens que têm previsões de rótulos informativos.

Como uma métrica, a cobertura é uma maneira muito útil de entender se você capturou todos os diferentes conceitos potenciais em seu conjunto de dados e se você forneceu exemplos de treinamento variados o suficiente para eles para que a plataforma possa prevê-los com eficácia.

Em quase todos os casos, quanto maior a cobertura de um modelo, melhor seu desempenho, porém não deve ser considerado isoladamente ao verificar o desempenho do modelo.

Também é muito importante que os rótulos na taxonomia sejam íntegros, o que significa que têm precisão média alta e nenhum outro alerta de desempenho, e que os dados de treinamento sejam uma representação equilibrada do conjunto de dados como um todo.

Se seus rótulos não estiverem íntegros ou os dados de treinamento não forem representativos do conjunto de dados, então a cobertura do seu modelo calculada pela plataforma não será confiável.

Ter um modelo de alta cobertura é particularmente importante se você o estiver usando para orientar processos automatizados.

Cobertura no contexto

Então, vamos considerar como isso se aplica em um caso de uso típico - roteamento automático de diferentes solicitações recebidas por uma caixa de entrada de e-mail compartilhada em uma empresa.

Para um modelo projetado para ajudar a rotear automaticamente diferentes solicitações, a baixa cobertura significaria que muitas solicitações foram encaminhadas incorretamente ou enviadas para revisão manual, porque o modelo não conseguia identificá-las.

Se houver 10 processos-chave gerenciados pela equipe que trabalha na caixa de correio, mas a taxonomia capturar efetivamente apenas 7 deles, isso provavelmente levaria a uma pontuação de cobertura baixa. Como alternativa , o modelo pode prever incorretamente os processos restantes como outros processos, pois não foi ensinado o que eles realmente são. Isso levaria a uma pontuação de cobertura artificialmente alta.

Durante a automação, os três processos restantes provavelmente seriam perdidos, enviados para revisão manual ou erroneamente classificados como um processo diferente e encaminhados para o lugar errado.

Também é importante que, para cada um dos processos, haja exemplos de treinamento variados suficientes que capturem as expressões variadas usadas ao discutir o processo. Caso contrário, cada rótulo terá menor recall e a cobertura do modelo será baixa.

O visual abaixo demonstra como esse exemplo pode ser na prática - temos vários clientes enviando vários tipos de solicitações por e-mail. Cada cliente pode escrever o mesmo tipo de solicitação de uma maneira diferente:

Há três diferentes cenários de modelo mostrados, cada um com um impacto potencial diferente na cobertura:

	Nem todos os tipos de solicitação (ou seja, conceitos) cobertos pela taxonomia — Deve ter baixa cobertura
	Todos os tipos de solicitação cobertos, mas alguns rótulos não estão íntegros e podem não ter exemplos suficientes – A cobertura pode ser baixa e provavelmente não é confiável
	Todos os tipos de solicitação cobertos e rótulos estão todos íntegros – Alta cobertura que provavelmente será confiável

Como verificar a cobertura do seu modelo

Na validação, a funcionalidade Classificação do modelo fornece uma análise detalhada do desempenho do modelo nos fatores colaboradores mais importantes, incluindo a cobertura.

Os usuários recebem uma pontuação percentual da proporção de mensagens com previsão para ter rótulo informativo (veja a explicação acima) previsões, que, por sua vez, se correlaciona com uma classificação e uma contribuição para a classificação geral do modelo.

A plataforma também forneceu a proporção de mensagens que têm pelo menos um rótulo previsto, mas isso não é o que determina a pontuação e a classificação desse fator.

No exemplo abaixo, podemos ver que:

• A cobertura para este modelo é de 85,2%
• Isso se traduz em uma classificação avaliada de 'Boa ' para este fator
• Isso também se traduz em uma contribuição positiva para a classificação geral do modelo de +3

Exemplo de detalhamento da cobertura mostrado na Validação

É importante lembrar que a cobertura como uma medida de desempenho deve sempre ser considerada em conjunto com a integridade dos rótulos na taxonomia e o saldo do conjunto de dados. Antes de considerar a pontuação de cobertura fornecida pela plataforma como confiável, você também deve garantir que tenha pelo menos uma classificação de 'Bom ' para os outros fatores que contribuem para a Classificação do modelo.

Qual deve ser a cobertura de um modelo?

No mínimo, sua cobertura deve ser alta o suficiente para que a plataforma forneça uma classificação de 'Bom'. Se ele atingir esse estágio, seu modelo estará apresentando um bom desempenho e você poderá optar por otimizá-lo ainda mais com base nos requisitos do seu caso de uso.

Assim como os humanos, os modelos de machine learning têm seus limites; portanto, você não deve esperar atingir 100% de cobertura. Você pode chegar perto disso, mas apenas se seus dados forem extremamente simples e repetitivos, ou se você anotar uma proporção muito alta do conjunto de dados.

Alcançar uma classificação "Excelente " pode ser desafiador dependendo dos dados e nem sempre é necessário dependendo do caso de uso.

Para casos de uso focados na automação , ter uma alta cobertura é particularmente importante, então é provável que nesses casos você queira otimizar a cobertura tanto quanto possível e alcançar uma classificação 'Excelente '.

Para casos de uso focados em análise , ter uma cobertura muito alta é um pouco menos crítico. Muitas vezes, é suficiente que os modelos possam identificar os conceitos que ocorrem com mais frequência, pois são eles que fornecem os maiores insights e potenciais oportunidades para mudanças e melhorias.

É importante notar que um modelo focado em análise normalmente abrirá caminho para a precisão para capturar amplamente uma gama muito ampla de conceitos em sua taxonomia.

Como aumentar a cobertura de um modelo?

Assim como para os outros fatores que contribuem, a plataforma fornece "próximas melhores ações" úteis e recomendadas que os usuários podem adotar para melhorar a cobertura de seu modelo (veja as imagens acima e abaixo).

As ações recomendadas funcionam como links que levam você diretamente para o modo de treinamento sugerido.

No caso de cobertura, a plataforma recomenda mais frequentemente o treinamento no modo "Baixa confiança ", pois esse modo permite que os usuários anotem a menos "cobertura" de todas as mensagens no conjunto de dados. Para obter mais detalhes sobre o uso deste modo de treinamento, consulte aqui.

Após concluir uma quantidade razoável de treinamento no modo de treinamento recomendado (o quanto dependerá de quão baixa a cobertura é para começar), os usuários podem verificar novamente como ela melhorou, depois que o modelo for retreinado e a Validação for atualizada. Se necessário, os usuários podem repetir o processo para continuar a melhorar suas pontuações.

Quando a cobertura é muito baixa, normalmente no início do processo de treinamento, a plataforma também pode recomendar outros modos de treinamento que seriam beneficiados, como a anotação de clusters de mensagens semelhantes no Discover (conforme mostrado no exemplo abaixo).

Exemplo de cartão de fator mostrando a baixa cobertura de um modelo e as ações recomendadas

Verificação de cobertura para rótulos específicos

A plataforma é capaz de identificar de forma inteligente quais rótulos em uma taxonomia são "informativos" ao avaliar a cobertura de um modelo e apresenta isso na Classificação do modelo (conforme discutido acima).

Se, no entanto, você quiser avaliar a proporção de um conjunto de dados que provavelmente será coberta por previsões para um conjunto específico de rótulos em sua taxonomia, você pode fazer isso na página Relatórios .

Para isso, é possível selecionar todos os rótulos em questão na barra do filtro de rótulos em Relatórios (conforme mostrado abaixo).

Rótulos selecionados na barra de filtro Relatórios

A contagem de mensagens na parte superior da página em Relatórios é atualizada com base nos filtros aplicados. Quando você seleciona rótulos no filtro de rótulos, a contagem é atualizada para mostrar o número de mensagens que provavelmente terão pelo menos um dos rótulos selecionados previstos.

Contagem de mensagens em Relatórios

Neste exemplo de conjunto de dados de e-mails relacionados apenas a um processo de chamada de margem em um banco (que contém 260.000 e-mails), é possível que 237.551 mensagens das 260.000 tenham pelo menos um dos rótulos selecionados previstos. Indicando uma boa cobertura de aproximadamente 91,4%.

Essa não deve ser sua única verificação para testar a cobertura geral do seu modelo. A medida mais confiável de cobertura para todo o conjunto de dados é apresentada na Classificação do modelo (conforme discutido acima) e deve ser considerada em conjunto com o desempenho geral dos rótulos na taxonomia.