Treinamento usando Check label e Perda de rótulo

Permissões de usuário necessárias: "Exibir Origens" E "Revisar e anotar".

Observação:

Anteriormente, a função "Ensinar ", quando filtrada para mensagens revisadas, exibia mensagens em que a plataforma julgava que o rótulo selecionado poderia ter sido aplicado incorretamente ou ignorado. "Verificar rótulo " e "Rótulo ausente " dividem-se em duas exibições separadas, com "Verificar rótulo" exibindo mensagens com o rótulo potencialmente aplicado incorretamente, e "Rótulo ausente" mostrando mensagens nas quais o rótulo selecionado pode estar faltando.

Introdução ao uso de "Rótulo de verificação" e "Rótulo ausente"

Usar os modos de treinamento 'Verificar rótulo ' e 'Rótulo ausente ' é a parte da fase Refinar na qual você tenta identificar quaisquer inconsistências ou rótulos perdidos nas mensagens que já foram revisadas. Isso é diferente da etapa "Ensinar rótulo", que se concentra em mensagens não revisadas que têm previsões feitas pela plataforma, em vez de rótulos atribuídos.

A opção "Verificar rótulo" mostra mensagens em que a plataforma acha que o rótulo selecionado pode ter sido aplicado incorretamente, ou seja, ele potencialmente não deveria ter sido aplicado.

Modo "Verificar rótulo" com o rótulo "Reclamação > Motivo da perda > Incêndio" selecionado

O "Rótulo ausente" mostra mensagens que a plataforma acha que podem estar sem o rótulo selecionado, ou seja, que ele potencialmente deveria ter sido aplicado, mas não foi. Aqui, o rótulo selecionado normalmente aparecerá como uma sugestão, conforme mostrado na imagem abaixo.

Modo de "Rótulo ausente" com o rótulo "Pagamento > Erro" selecionado

As sugestões da plataforma em qualquer um dos modos não estão necessariamente corretas; esses são apenas os casos em que a plataforma não tem certeza com base no treinamento concluído até agora. Você pode optar por ignorá-las se não concordar com as sugestões da plataforma após revisá-las.

Usar esses modos de treinamento é uma maneira muito eficaz de encontrar ocorrências em que o usuário pode não ter sido consistente na aplicação de rótulos. Ao usá-los, você pode corrigir essas ocasiões e, portanto, melhorar o desempenho do rótulo.

Quando usar "Check label" e "Missed label"?

A resposta mais simples de quando usar qualquer modo de treinamento é quando eles são uma das "Ações recomendadas " na seção Classificação do modelo ou visualização de rótulo específico na página Validação (veja aqui).

Como regra geral, qualquer rótulo que tenha um número significativo de exemplos fixados, mas sua precisão média baixa (o que pode ser indicado por avisos de rótulo vermelho na página de Validação ou nas barras de filtro de rótulo) provavelmente se beneficiará de algum treinamento corretivo em Modos "Verificar rótulo " e "Rótulo ausente ".

Ao validar o desempenho de um modelo, a plataforma determinará se considera que um rótulo foi aplicado incorretamente com frequência ou onde costuma passar despercebido, e priorizará a ação corretiva que considerar mais apropriada para melhorar o desempenho do rótulo.

O "Rótulo ausente" também é uma ferramenta muito útil se você tiver adicionado um novo rótulo a uma taxonomia existente com muitos exemplos revisados. Após fornecer alguns exemplos iniciais do novo conceito de rótulo, a opção "Rótulo ausente" pode ajudar você a identificar rapidamente quaisquer exemplos nas mensagens revisadas anteriormente em que ela também deve ser aplicada. Veja aqui para obter mais detalhes.

Como usar "Rótulo de verificação" e "Rótulo ausente":

Para alcançar qualquer um desses modos de treinamento, existem duas opções principais:

1. Se for uma ação recomendada na Validação para um rótulo, o cartão da ação funciona como um link que leva você diretamente a esse modo de treinamento do rótulo selecionado

2. Ou então, você pode selecionar qualquer modo de treinamento no menu suspenso na parte superior da página em Explorar e, em seguida, selecionar um rótulo para classificar (veja a imagem acima, por exemplo)

Observação: primeiro, você deve selecionar um rótulo antes que “Verificar rótulo” ou “Rótulo ausente” apareça no menu suspenso. Ambos modos desabilitam a capacidade de filtrar entre mensagens revisadas e não revisadas , pois eles são exclusivamente para mensagens revisadas.

Em cada modo, a plataforma mostra até 20 exemplos por página de mensagens revisadas em que o rótulo selecionado pode ter sido aplicado incorretamente (“Verificar rótulo”) ou estar faltando o rótulo selecionado (“Rótulo ausente”).

‘ Verificar rótulo’

Em "Verificar rótulo", revise cada um dos exemplos na página para confirmar que são verdadeiros do rótulo selecionado. Se estiverem, siga em frente sem realizar uma ação. Se não estiverem, remova o rótulo (clicando no 'X' ao passar o mouse sobre ele) e certifique-se de aplicar o(s) rótulo(s) correto(s).

Revise quantas páginas de mensagens revisadas forem necessárias para identificar qualquer inconsistência no conjunto revisado e melhorar a compreensão do modelo do rótulo. A correção de rótulos adicionados por engano pode ter um grande impacto no desempenho de um rótulo, garantindo que o modelo tenha exemplos corretos e consistentes a partir dos quais fazer previsões para esse rótulo.

"Rótulo ausente"

Em "Rótulo ausente", revise cada um dos exemplos na página para ver se o rótulo selecionado foi, de fato, perdido. Se existir, clique na sugestão de rótulo (conforme mostrado na imagem acima) para aplicar o rótulo. Se não, ignore a sugestão e siga em frente.

Só porque a plataforma está "sugerindo" um rótulo em uma mensagem revisada, não significa que o modelo considere isso uma previsão, nem contará para as estatísticas sobre o número de rótulos em um conjunto de dados. Se uma sugestão estiver errada, você pode simplesmente ignorá-la.

Revise quantas páginas de mensagens revisadas forem necessárias para identificar qualquer exemplo no conjunto revisado que deveria ter o rótulo selecionado, mas não tem. Mensagens parcialmente anotadas podem ser muito prejudicais para a capacidade do modelo de prever um rótulo, pois quando você não aplica um rótulo a uma mensagem, você está basicamente dizendo ao modelo “este não é um exemplo desse conceito de rótulo”. Se for de fato um exemplo correto, isso pode ser muito confuso para o modelo, especialmente se houver outros exemplos muito semelhantes que tenham o rótulo aplicado.

Adicionar rótulos que foram perdidos pode, portanto, ter um grande impacto no desempenho de um rótulo, garantindo que o modelo tenha exemplos corretos e consistentes a partir dos quais fazer previsões para esse rótulo.

Assim que o modelo tiver tempo para retreinar após seu treinamento corretivo nesses modos, você poderá verificar novamente na Validação para ver o impacto positivo que suas ações tiveram na Classificação do modelo e no desempenho dos rótulos específicos que você treinou.