Por que um rótulo pode ter uma precisão média baixa?

Abaixo estão descritas algumas das principais razões pelas quais um rótulo pode ter precisão média baixa, bem como uma solução sugerida para melhorá-la:

1. O tamanho do conjunto de treinamento pode ser muito pequeno

• Se o tamanho do conjunto de treinamento for muito pequeno, pode ser que você só precise fornecer mais exemplos de treinamento para o modelo
• Continue o treinamento do rótulo usando os métodos descritos na fase Explorar, especialmente os itens “Aleatório” e “Ensinar rótulo”

2. O rótulo pode ter sido aplicado de forma inconsistente ou incorreta a algumas das mensagens

• Muitas vezes, pode acontecer que a definição de um rótulo do usuário mude com o tempo, e as mensagens mais antigas revisadas com esse rótulo podem precisar de revisão para ver se o rótulo ainda se aplica
• Alternativamente, se houver vários usuários treinando um conjunto de dados, eles podem ter interpretação do que cada rótulo significa, e enviar sinais contraditórios para o modelo.
• Para determinar se esse é o caso, os usuários podem usar os modos de treinamento 'Verificar rótulo ' e 'Rótulo ausente ' para percorrer as mensagens revisadas para o rótulo e visualizar onde um rótulo foi aplicado incorretamente ou perdido involuntariamente.
• Os usuários podem corrigir erros e atualizar rótulos para garantir a consistência
• No futuro, se houver vários usuários treinando um conjunto de dados, eles devem garantir que estejam totalmente alinhados sobre como definem as intenções ou os conceitos cobertos por cada rótulo

3. A intenção ou o conceito que o rótulo captura pode ser vazio ou muito amplo e difícil de distinguir de outros rótulos

• Se um rótulo for usado para capturar uma intenção ou conceito muito amplo ou vazio, pode ser difícil para o modelo identificar por que esse rótulo deve se aplicar a uma mensagem – ele pode tentar aplicá-lo a mensagens demais
• Tente não ser muito genérico ao criar um rótulo; ele precisa ser identificável e diferenciável de outros rótulos

4. A intenção ou o conceito podem ser muito específicos ou ter muitas camadas na hierarquia

• Tentar ser muito específico ou adicionar muitas camadas à hierarquia de um rótulo pode tornar muito difícil para o modelo detectar ou diferenciá-lo das camadas anteriores
• O nível de especificidade de um rótulo deve corresponder ao conteúdo das mensagens. Se for muito específico para distinguir de forma realista de outros rótulos semelhantes na hierarquia, o modelo pode ficar confuso
• Na maioria dos casos, é recomendável ter três camadas ou menos na hierarquia de um rótulo – por exemplo, [Rótulo raiz] > [Rótulo de conexão] > [Rótulo de folha]

5. Pode haver vários rótulos na taxonomia que se sobrepõem fortemente e o modelo se esforça para distinguir entre os dois

• Se você tiver dois rótulos muito semelhantes e difíceis de distinguir um do outro, isso pode confundir o modelo, pois não saberá qual dos dois rótulos se aplica
• Nesses casos, considere mesclar os rótulos
• Ou então, leia as mensagens revisadas para cada uma e certifique-se de que os conceitos sejam aplicados de forma consistente e sejam distintas umas das outras

6. As mensagens com esse rótulo aplicado podem, em sua maioria, ser muito semelhantes ou idênticas, e o modelo se esforça para detectar maneiras diferentes de expressar a mesma intenção ou conceito

• Você deve garantir que, para cada rótulo, você forneça ao modelo vários exemplos de treinamento que incluam várias maneiras diferentes de expressar a intenção ou o conceito que o rótulo se destina a capturar

7. A intenção ou conceito capturado por esse rótulo não é semanticamente inferido a partir do texto da mensagem ou dos metadados de suporte

• É comum os usuários anotarem uma mensagem com base em seu próprio conhecimento empresarial do contexto ou processo que se seguiria, e não no texto ou metadados reais da mensagem
• Por exemplo, um usuário SME pode saber que, devido à comunicação ter vindo de um determinado indivíduo, ela deve ser sobre um determinado tópico, mesmo que nada mais no texto ou metadados indique claramente que o rótulo deve ser aplicado
• Nesse caso, os usuários só devem aplicar o rótulo se o modelo puder detectá-lo a partir do texto ou dos metadados, sem conhecimento interno