Como funciona a Validação?

Permissões de usuário necessárias: "View Sources" E "View Labels".

Dentro da Validação, a plataforma avalia o desempenho tanto do rótulo quanto dos modelos de campo geral associados a um conjunto de dados.

Para o modelo de rótulo especificamente, ele calcula uma 'Classificação do modelo ' geral testando diversos fatores de desempenho, incluindo:

• O quão bem ele é capaz de prever cada rótulo na taxonomia, usando um subconjunto de dados de treinamento de dentro desse conjunto de dados

• Qual a cobertura do conjunto de dados como um todo por previsões de rótulos informativos

• Qual o balanceamento dos dados de treinamento, em termos de como foram atribuídos e quão bem representam o conjunto de dados como um todo

Como ela avalia o desempenho dos rótulos?

Para avaliar o quão bem ela pode prever cada rótulo, a plataforma primeiro divide as mensagens revisadas (ieannotated) no conjunto de dados em dois grupos; um conjunto majoritário de dados de treinamento e um conjunto minoritário de dados de teste.

Na imagem abaixo, os pontos coloridos representam as mensagens anotadas dentro de um conjunto de dados. Essa divisão é determinada pelo ID da mensagem quando as mensagens são adicionadas ao conjunto de dados e permanece consistente durante toda a vida útil do conjunto de dados.

A plataforma treina-se usando apenas o conjunto de treinamento como dados de treinamento.

Com base nesse treinamento, ele tenta prever quais rótulos devem ser aplicados às mensagens no conjunto de teste e avalia os resultados em relação à precisão e recall em relação aos rótulos reais aplicados por um usuário humano.

Além desse processo, a plataforma também leva em consideração como os rótulos foram atribuídos (ou seja, quais modos de treinamento foram usados ao aplicar rótulos) para entender se eles foram anotados de forma enviesada ou equilibrada.

Depois, a validação publica estatísticas ativas sobre o desempenho dos rótulos para a versão mais recente do modelo, mas você também pode exibir as estatísticas de desempenho históricos para versões de modelos anteriormente fixadas.

Como a cobertura é avaliada?

Para entender até que ponto seu modelo cobre seus dados, a plataforma analisa todos os dados não revisados no conjunto de dados e as previsões que a plataforma fez para cada uma dessas mensagens não revisadas.

Em seguida, avalia a proporção do total de mensagens que têm pelo menos um rótulo informativo previsto.

Os "Rótulos informativos " são aqueles que a plataforma entende como úteis como rótulos independentes, considerando a frequência com que são atribuídos a outros rótulos. Rótulos que são sempre atribuídos com outro rótulo, por exemplo, rótulos pais que nunca são atribuídos por conta própria ou 'Urgent' se sempre for atribuído com outro rótulo, recebem um peso menor quando a pontuação é calculada.

Como avalia o saldo?

Quando a plataforma avalia o quão equilibrado é seu modelo, ela está basicamente procurando por vieses de anotação que possam causar um balanceamento entre os dados de treinamento e o conjunto de dados como um todo.

Para fazer isso, ele usa um modelo de viés de anotação que compara os dados revisados e não revisados para garantir que os dados anotados sejam representativos de todo o conjunto de dados. Se os dados não forem representativos, as medidas de desempenho do modelo podem ser enganosas e potencialmente não confiáveis.

O viés de anotação é normalmente o resultado de um balanceamento dos modos de treinamento usados para atribuir rótulos, particularmente se for usada "pesquisa de texto" em excesso e não "Aleatório" o suficiente.

O modo de treinamento "Rebalancear " mostra mensagens que estão sub-representadas no conjunto revisado. Anotar exemplos neste modo ajudará a resolver rapidamente quaisquer desvios no conjunto de dados.

Quando acontece o processo de validação?

Toda vez que você conclui algum treinamento em um conjunto de dados, o modelo é atualizado e fornece novas previsões em cada mensagem. Paralelamente, ela também reavalia o desempenho do modelo. Isso significa que, quando as novas previsões estiverem prontas, novas estatísticas de validação também devem estar disponíveis (apesar de um processo poder demorar mais que o outro às vezes), incluindo os mais recentes .

Observação: a plataforma sempre mostrará como padrão as estatísticas de validação mais recentes que foram calculadas e informará se novas estatísticas ainda precisam terminar de ser calculadas.