Noções Básicas e Aumentando a Cobertura

Observação: você deve ter atribuído as permissões Origem — Leitura e Conjunto de dados — Revisão como um usuário do Automation Cloud, ou as permissões Visualizar origens e Revisão e anotação como um usuário legado.

Cobertura é um termo frequentemente usado em machine learning e está relacionado a quão bem um modelo "cobre" os dados que ele é usado para analisar. Na plataforma, isso está relacionado à proporção de mensagens no conjunto de dados que possuem previsões de rótulos informativos, e é apresentado na Validação como uma pontuação percentual.

Rótulos informativos são aqueles que a plataforma entende como úteis como rótulos independentes, examinando a frequência com que são atribuídos com outros rótulos. Rótulos que são sempre atribuídos com outro rótulo, por exemplo rótulos pai que nunca são atribuídos por conta própria ou Urgente se for sempre atribuído com outro rótulo, recebem uma redução de peso quando a pontuação é calculada.

O visual a seguir dá uma indicação de como seria a baixa cobertura versus a alta cobertura em todo um conjunto de dados. Imagine que os círculos sombreados são mensagens que possuem previsões de rótulos informativos.

Como uma métrica, a cobertura é uma maneira muito útil de entender se você capturou todos os diferentes conceitos potenciais em seu conjunto de dados e se você forneceu exemplos de treinamento variados o suficiente para eles para que a plataforma possa previ-los com eficácia.

Em quase todos os casos, quanto maior a cobertura do modelo, melhor ele funciona, mas não deve ser considerado isoladamente ao verificar o desempenho do modelo.

Observação:

Certifique-se de que os rótulos na taxonomia estejam íntegros, o que significa que tenham alta precisão média e nenhum outro aviso de desempenho, e que os dados de treinamento sejam uma representação equilibrada do conjunto de dados como um todo.

Se seus rótulos não estiverem íntegros ou os dados de treinamento não forem representativos do conjunto de dados, a cobertura do seu modelo que a plataforma calcula não será confiável.

Seu modelo com alta cobertura é particularmente importante se você o estiver usando para orientar processos automatizados.

Cobertura no contexto

Considere como a cobertura se aplica em um caso de uso, como roteamento automático de diferentes solicitações recebidas por uma caixa de entrada de email compartilhada em uma empresa.

Para um modelo projetado para ajudar a rotear automaticamente solicitações diferentes, uma baixa cobertura significaria que muitas solicitações eram roteadas de forma imprecisa ou enviadas para revisão manual, pois o modelo não era capaz de identificá-las.

Se houver 10 processos-chave gerenciados pela equipe trabalhando na caixa de correio, mas a taxonomia capturar efetivamente apenas 7 deles, isso provavelmente levaria a uma pontuação de cobertura baixa. Como alternativa, o modelo pode prever incorretamente os processos restantes como outros processos, pois não foi instruído sobre o que eles realmente são. Isso levaria a uma pontuação de cobertura artificialmente alta.

Durante a automação, os três processos restantes provavelmente seriam perdidos, enviados para revisão manual ou classificados erroneamente como um processo diferente e roteados para o lugar errado.

Também é importante que, para cada um dos processos, haja exemplos de treinamento variados suficientes que capturem as expressões variadas usadas ao discutir o processo. Caso contrário, cada rótulo terá um recall menor e a cobertura do modelo será baixa.

O visual a seguir demonstra como esse exemplo pode ser na prática — temos vários clientes enviando vários tipos de solicitações por e-mail. Cada cliente pode escrever o mesmo tipo de solicitação de uma maneira diferente:

Há três diferentes cenários de modelo mostrados, cada um com um impacto potencial diferente na cobertura:

	Nem todos os tipos de solicitação, ou seja, os conceitos cobertos pela taxonomia - Probabilidade de ter baixa cobertura
	Todos os tipos de solicitação cobertos, mas alguns rótulos não estão íntegros e podem não ter exemplos suficientes – A cobertura pode ser baixa e provavelmente não é confiável
	Todos os tipos de solicitação cobertos e rótulos estão íntegros – Alta cobertura que provavelmente é confiável

Verificação da cobertura do modelo

Na Validação, a funcionalidade Classificação do modelo fornece um detalhamento do desempenho do modelo entre os fatores colaboradores mais importantes, incluindo a cobertura.

Os usuários recebem uma pontuação percentual da proporção de mensagens que se espera que tenham previsões de rótulos informativos, o que, por sua vez, se correlaciona com uma classificação e uma contribuição para a classificação geral do modelo.

A plataforma também forneceu a proporção de mensagens que têm pelo menos um rótulo previsto, mas isso não é o que determina a pontuação e a classificação desse fator.

No exemplo a seguir, podemos observar que:

• A cobertura para esse modelo é de 85,2%.
• Isso se traduz em uma classificação avaliada de Boa para esse fator.
• Isso também se traduz em uma contribuição positiva para a classificação geral do modelo de +3.

Exemplo de detalhamento da cobertura mostrado na Validação

É importante lembrar que a cobertura como uma medida de desempenho deve sempre ser compreendida em conjunto com a integridade dos rótulos na taxonomia e o saldo do conjunto de dados. Antes de considerar a pontuação de cobertura fornecida pela plataforma como confiável, você também deve garantir que tenha pelo menos uma classificação Boa para os outros fatores que contribuem para a Classificação do Modelo.

O nível de cobertura do modelo

No mínimo, sua cobertura deve ser alta o suficiente para que a plataforma forneça uma classificação de 'Boa'. Se ele atingir esse estágio, seu modelo estará com um bom desempenho e você poderá otimizá-lo ainda mais com base nos requisitos do seu caso de uso.

Assim como os humanos, os modelos de machine learning têm seus limites, portanto, você não deve esperar atingir 100% de cobertura. Você pode se aproximar disso, mas apenas se seus dados forem extremamente simples e repetitivos ou se você anotar uma proporção muito alta do conjunto de dados.

Alcançar uma classificação Excelente pode ser um desafio, dependendo dos dados, e nem sempre é necessário, dependendo do caso de uso.

Para casos de uso focados em automação, ter uma alta cobertura é particularmente importante; portanto, é provável que nesses casos você queira otimizar a cobertura o máximo possível e alcançar uma classificação Excelente .

Para casos de uso focados em análise, ter uma cobertura muito alta é um pouco menos crítico. Muitas vezes, é suficiente que os modelos possam identificar os conceitos que ocorrem com mais frequência, pois eles fornecem os maiores insights e oportunidades potenciais para mudanças e melhorias.

É importante notar que um modelo focado em análise normalmente abrirá caminho para a precisão para capturar amplamente uma gama muito ampla de conceitos em sua taxonomia.

Aumento da cobertura do modelo

Como para os outros fatores, a plataforma fornece "próximas melhores ações" úteis que os usuários podem seguir para melhorar a cobertura de seu modelo. Para obter mais detalhes, consulte as imagens desta seção e da anterior.

As ações recomendadas atuam como links que levam você diretamente ao modo de treinamento sugerido.

No caso de cobertura, a plataforma recomendará com mais frequência o treinamento no modo de Baixa confiança , pois esse modo permite que os usuários anotem a menos coberta de todas as mensagens no conjunto de dados. Para obter mais detalhes, consulte Treinamento usando baixa confiança.

Depois de concluir uma quantidade razoável de treinamento no modo de treinamento recomendado (o quanto isso dependerá de quão baixa a cobertura é para começar), os usuários podem verificar novamente para ver como melhorou depois que o modelo for treinado novamente e a Validação for atualizada. Se necessário, eles podem repetir o processo para continuar melhorando suas pontuações.

Quando a cobertura é muito baixa, normalmente no início do processo de treinamento, a plataforma também pode recomendar outros modos de treinamento que acha que seriam benéficas, como anotar clusters de mensagens semelhantes no Discover conforme mostrado no exemplo a seguir.

Exemplo de cartão de fator mostrando a baixa cobertura de um modelo e as ações recomendadas

Verificação de cobertura para rótulos específicos

A plataforma é capaz de identificar de forma inteligente quais rótulos em uma taxonomia são "informativos" ao avaliar a cobertura de um modelo e apresenta isso na Classificação do Modelo.

Se, no entanto, você quiser avaliar a proporção de um conjunto de dados que provavelmente será coberto por previsões para um conjunto específico de rótulos em sua taxonomia, você pode fazer isso na página Relatórios .

Para isso, é possível selecionar todos os rótulos em questão na barra do filtro de rótulos em Relatórios (conforme mostrado abaixo).

A contagem de mensagens na parte superior da página em Relatórios é atualizada com base nos filtros aplicados. Quando você seleciona rótulos no filtro de rótulos, a contagem é atualizada para mostrar o número de mensagens que provavelmente terão pelo menos um dos rótulos selecionados previstos.

Contagem de mensagens em Relatórios

Neste exemplo de conjunto de dados de e-mails relacionados exclusivamente a um processo de chamada de margem em um banco (que contém 260.000 e-mails), você pode ver que é provável que 237.551 mensagens das 260.000 tenham pelo menos um dos rótulos selecionados previstos. Indicando uma boa cobertura de aproximadamente 91,4%.

Esta não deve ser sua única verificação para testar a cobertura geral do seu modelo. A medida mais confiável de cobertura para todo o conjunto de dados é apresentada na Classificação do modelo e deve ser considerada em conjunto com o desempenho geral dos rótulos na taxonomia.