Treinamento usando Check label e Perda de rótulo

Observação: você deve ter atribuído as permissões Origem — Leitura e Conjunto de dados — Revisão como um usuário do Automation Cloud, ou as permissões Visualizar origens e Revisão e anotação como um usuário legado.

Observação: anteriormente, a função Ensinar , quando filtrada para mensagens revisadas, mostraria mensagens em que a plataforma achou que o rótulo selecionado pode ter sido aplicado incorretamente ou perdido. Verificar rótulo e Rótulo ausente dividem-nas em duas exibições separadas, com Verificar rótulo exibindo mensagens com o rótulo potencialmente mal aplicado, e Rótulo ausente mostrando mensagens que podem não ter o rótulo selecionado.

Introdução

Usar os modos de treinamento Verificar rótulo e Rótulo ausente é a parte da fase de Refinar em que você tenta identificar quaisquer inconsistências ou rótulos perdidos nas mensagens que já foram revisadas. Isso é diferente da etapa Ensinar rótulo , que se concentra em mensagens não revisadas que têm previsões feitas pela plataforma, em vez de rótulos atribuídos.

Verificar rótulo mostra mensagens em que a plataforma acha que o rótulo selecionado pode ter sido aplicado incorretamente, ou seja, potencialmente não deveria ter sido aplicado.

Rótulo ausente mostra mensagens que a plataforma acha que podem estar faltando no rótulo selecionado, ou seja, ele potencialmente deveria ter sido aplicado, mas não foi. Nesse caso, o rótulo selecionado normalmente aparecerá como uma sugestão, conforme mostrado na imagem a seguir.

As sugestões da plataforma em qualquer um dos modos não estão necessariamente corretas; esses são apenas os casos em que a plataforma não tem certeza com base no treinamento concluído até agora. Você pode optar por ignorá-las se não concordar com as sugestões da plataforma após revisá-las.

Usar esses modos de treinamento é uma maneira muito eficaz de encontrar ocorrências em que o usuário pode não ter sido consistente na aplicação de rótulos. Ao usá-los, você pode corrigir essas ocasiões e, portanto, melhorar o desempenho do rótulo.

Quando usar Verificar rótulo e Rótulo ausente

A resposta mais simples de quando usar um dos modos de treinamento é quando eles são uma das ações recomendadas na seção Classificação do modelo ou visualização de rótulo específico na página Validação . Para obter mais detalhes, confira Entendendo e melhorando o desempenho do modelo.

Como regra geral, qualquer rótulo que tenha um número significativo de exemplos fixados, mas tenha baixa precisão média, o que pode ser indicado por avisos de rótulo vermelho na página Validação ou nas barras de filtro do rótulo, provavelmente se beneficiará de algum treinamento corretivo em qualquer Verificar rótulo e modo de rótulo ausente .

Ao validar o desempenho de um modelo, a plataforma determinará se um rótulo tem sido aplicado incorretamente com frequência ou onde acha que foi perdido regularmente, e priorizará a ação corretiva que achar que será mais benéfica para melhorar o desempenho de um rótulo.

Rótulo ausente também é uma ferramenta muito útil se você tiver adicionado um novo rótulo a uma taxonomia existente com muitos exemplos revisados. Depois de fornecer alguns exemplos iniciais para o novo conceito de rótulo, o Rótulo perdido pode ajudar você rapidamente a identificar quaisquer exemplos nas mensagens revisadas anteriormente em que ele também deve ser aplicado. Para obter mais detalhes, consulte Adição de novos rótulos às taxonomias existentes.

Usando Rótulo de verificação e Rótulo ausente

Para alcançar qualquer um desses modos de treinamento, existem as seguintes opções principais:

1. Se for uma ação recomendada na Validação para um rótulo, o cartão de ação atua como um link que leva você diretamente a esse modo de treinamento para o rótulo selecionado.

2. Ou então, você pode selecionar qualquer modo de treinamento no menu suspenso na parte superior da página no Explore e, em seguida, selecione um rótulo para classificar. Você pode encontrar um exemplo na imagem anterior.

Observação: é necessário primeiro selecionar um rótulo antes que Verificar rótulo ou Rótulo ausente apareçam no menu suspenso. Ambos os modos também desabilitam a capacidade de filtrar entre mensagens revisadas e não revisadas, pois são exclusivamente para mensagens revisadas.

Em cada modo, a plataforma mostrará até 20 exemplos por página de mensagens revisadas em que ela acha que o rótulo selecionado pode ter sido aplicado incorretamente, Verificar rótulo, ou pode estar faltando o rótulo selecionado, Rótulo ausente.

Verificar rótulo

Em Verificar rótulo, revise cada um dos exemplos na página para confirmar se eles são exemplos verdadeiros do rótulo selecionado. Se estiverem, siga em frente sem executar uma ação. Se não estiverem, remova o rótulo selecionando o botão X ao passar o mouse sobre ele e certifique-se de aplicar os rótulos corretos.

Observação: revise quantas páginas de mensagens revisadas forem necessárias para identificar quaisquer inconsistências no conjunto revisado e melhorar a compreensão do modelo do rótulo.

Corrigir rótulos adicionados por engano pode ter um grande impacto no desempenho de um rótulo, garantindo que o modelo tenha exemplos corretos e consistentes a partir dos quais fazer previsões para esse rótulo.

Rótulo Perdido

Em Rótulo ausente, revise cada um dos exemplos na página para ver se o rótulo selecionado foi de fato perdido. Se tiver, selecione a sugestão de rótulo, conforme mostrado na imagem anterior, para aplicar o rótulo. Se isso não acontecer, ignore a sugestão e siga em frente.

Só porque a plataforma está sugerindo um rótulo em uma mensagem revisada, não significa que o modelo considera que seja uma previsão nem que será contado para estatísticas sobre o número de rótulos em um conjunto de dados. Se uma sugestão estiver errada, você pode simplesmente ignorá-la.

Observação: revise quantas páginas de mensagens revisadas forem necessárias para identificar quaisquer exemplos no conjunto revisado que devem ter o rótulo selecionado, mas não têm.

As mensagens parcialmente anotadas podem ser muito prejudicial para a capacidade do modelo de prever um rótulo, como quando você não aplica um rótulo a uma mensagem, você essencialmente diz ao modelo que este não é um exemplo desse conceito de rótulo. Se for de fato um exemplo correto, isso pode ser muito confuso para o modelo, especialmente se houver outros exemplos muito semelhantes que têm o rótulo aplicado.

Adicionar rótulos que foram perdidos pode, portanto, ter um grande impacto no desempenho de um rótulo, garantindo que o modelo tenha exemplos corretos e consistentes a partir dos quais fazer previsões para esse rótulo.

Observação: depois que o modelo tiver tempo para treinar novamente após seu treinamento corretivo nesses modos, você poderá verificar novamente em Validação para ver o impacto positivo que suas ações tiveram na Classificação do modelo e no desempenho dos rótulos específicos que você treinou.