Motivos para baixa precisão média do rótulo

Esta seção descreve alguns dos principais motivos pelos quais um rótulo pode ter baixa precisão média, bem como uma solução sugerida para melhorá-la:

1. O tamanho do conjunto de treinamento pode ser muito pequeno

• Se o tamanho do conjunto de treinamento for muito pequeno, pode ser que você só precise fornecer mais exemplos de treinamento para o modelo
• Continue treinando o rótulo usando os métodos descritos na fase Explorar , particularmente Aleatório e "Ensinar rótulo "

2. O rótulo pode ter sido aplicado de forma inconsistente ou incorreta a algumas das mensagens

• Muitas vezes, pode acontecer que a definição de um rótulo do usuário mude com o tempo, e as mensagens mais antigas revisadas com esse rótulo podem precisar de revisão para ver se o rótulo ainda se aplica
• Alternativamente, se houver vários usuários treinando um conjunto de dados, eles podem ter interpretação do que cada rótulo significa, e enviar sinais contraditórios para o modelo.
• Para determinar se esse é o caso, os usuários podem usar os modos de treinamento Verificar rótulo e rótulo perdido para passar pelas mensagens revisadas para o rótulo e ver onde um rótulo foi aplicado incorretamente ou perdido involuntariamente.
• Os usuários podem corrigir quaisquer erros e atualizar rótulos para garantir a consistência.
• No futuro, se houver vários usuários treinando um conjunto de dados, eles deverão garantir que estejam totalmente alinhados em como definem as intenções ou os conceitos cobertos por cada rótulo.

3. A intenção ou o conceito que o rótulo captura pode ser vazio ou muito amplo e difícil de distinguir de outros rótulos

• Se um rótulo for usado para capturar uma intenção ou conceito muito amplo ou vazio, pode ser difícil para o modelo identificar por que esse rótulo deve se aplicar a uma mensagem – ele pode tentar aplicá-lo a mensagens demais
• Tente não ser muito genérico ao criar um rótulo; ele precisa ser identificável e diferenciável de outros rótulos

4. A intenção ou o conceito podem ser muito específicos ou ter muitas camadas na hierarquia

• Tentar ser muito específico ou adicionar muitas camadas à hierarquia de um rótulo pode tornar muito difícil para o modelo detectar ou diferenciá-lo das camadas anteriores
• O nível de especificidade de um rótulo deve corresponder ao conteúdo das mensagens. Se for muito específico para distinguir de forma realista de outros rótulos semelhantes na hierarquia, o modelo pode ficar confuso
• Na maioria dos casos, é recomendável ter três camadas ou menos na hierarquia de um rótulo – por exemplo, [Rótulo raiz] > [Rótulo de conexão] > [Rótulo de folha]

5. Pode haver vários rótulos na taxonomia que se sobrepõem fortemente e o modelo se esforça para distinguir entre os dois

• Se você tiver dois rótulos muito semelhantes e difíceis de distinguir um do outro, isso pode confundir o modelo, pois não saberá qual dos dois rótulos se aplica
• Nesses casos, considere mesclar os rótulos
• Ou então, leia as mensagens revisadas para cada uma e certifique-se de que os conceitos sejam aplicados de forma consistente e sejam distintas umas das outras

6. As mensagens com esse rótulo aplicado podem, em sua maioria, ser muito semelhantes ou idênticas, e o modelo se esforça para detectar maneiras diferentes de expressar a mesma intenção ou conceito

• Você deve garantir que, para cada rótulo, você forneça ao modelo vários exemplos de treinamento que incluam várias maneiras diferentes de expressar a intenção ou o conceito que o rótulo se destina a capturar

7. A intenção ou conceito capturado por esse rótulo não é semanticamente inferido a partir do texto da mensagem ou dos metadados de suporte

• É comum os usuários anotarem uma mensagem com base em seu próprio conhecimento empresarial do contexto ou processo que se seguiria, e não no texto ou metadados reais da mensagem
• Por exemplo, um usuário SME pode saber que, devido à comunicação ter vindo de um determinado indivíduo, ela deve ser sobre um determinado tópico, mesmo que nada mais no texto ou metadados indique claramente que o rótulo deve ser aplicado
• Nesse caso, os usuários só devem aplicar o rótulo se o modelo puder detectá-lo a partir do texto ou dos metadados, sem conhecimento interno