Como a validação funciona

Observação: você deve ter atribuído as permissões Origem - Leitura e Conjunto de dados - Leitura como usuário do Automation Cloud ou as permissões Visualizar origens e Visualizar rótulos como um usuário legado.

Dentro da Validação, a plataforma avalia o desempenho tanto do rótulo quanto dos modelos de campo geral associados a um conjunto de dados.

Para o modelo de rótulo especificamente, ele calcula uma Classificação geral do modelo testando vários fatores de desempenho diferentes, incluindo:

• O quão bem ele é capaz de prever cada rótulo na taxonomia, usando um subconjunto de dados de treinamento de dentro desse conjunto de dados.
• O quão bem é coberto o conjunto de dados como um todo por previsões do rótulo informativo.
• O quão equilibrados são os dados de treinamento, em termos de como foram atribuídos e quão bem representam o conjunto de dados como um todo.

Avaliando o desempenho do rótulo

Para avaliar o quão bem ela pode prever cada rótulo, a plataforma primeiro divide as mensagens revisadas, ou seja, anotadas no conjunto de dados nos seguintes grupos:

• um conjunto maioria de dados de treinamento.
• um conjunto menor de dados de teste.

Na imagem a seguir, os pontos coloridos representam as mensagens anotadas dentro de um conjunto de dados. Essa divisão é determinada pelo ID da mensagem quando as mensagens são adicionadas ao conjunto de dados e permanece consistente durante toda a vida útil do conjunto de dados.

A plataforma treina a si mesma usando apenas o conjunto de treinamento como dados de treinamento.

Com base nesse treinamento, ele tenta prever quais rótulos devem ser aplicados às mensagens no conjunto de testes e avalia os resultados de precisão e recall em relação aos rótulos reais aplicados por um usuário humano.

Além desse processo, a plataforma também leva em consideração como os rótulos foram atribuídos, ou seja, quais modos de treinamento foram usados ao aplicar rótulos para entender se eles foram anotados de forma tendenciosa ou equilibrada.

Depois, a validação publica estatísticas ativas sobre o desempenho dos rótulos para a versão mais recente do modelo, mas você também pode exibir as estatísticas de desempenho históricos para versões de modelos anteriormente fixadas.

Avaliando a cobertura

Para entender até que ponto seu modelo cobre seus dados, a plataforma analisa todos os dados não revisados no conjunto de dados e as previsões que a plataforma fez para cada uma dessas mensagens não revisadas.

Em seguida, ele avalia a proporção do total de mensagens que têm pelo menos um rótulo informativo previsto.

Rótulos informativos são aqueles rótulos que a plataforma entende como úteis como rótulos independentes, examinando a frequência com que são atribuídos com outros rótulos. Rótulos que são sempre atribuídos com outro rótulo. Por exemplo, os rótulos pai que nunca são atribuídos por conta própria ou Urgente se for sempre atribuído com outro rótulo, recebem uma redução de peso quando a pontuação é calculada.

Avaliando o saldo

Quando a plataforma avalia o quão equilibrado é seu modelo, ela está essencialmente procurando um viés de anotação que pode causar um desequilíbrio entre os dados de treinamento e o conjunto de dados como um todo.

Para fazer isso, ele usa um modelo de viés de anotação que compara os dados revisados e não revisados para garantir que os dados anotados sejam representativos de todo o conjunto de dados. Se os dados não forem representativos, as medidas de desempenho do modelo podem ser enganosas e potencialmente não confiáveis.

O viés de anotação é normalmente o resultado de um desequilíbrio dos modos de treinamento usados para atribuir rótulos, especialmente se você usar muita "pesquisa de texto" e pouco "Aleatório".

O modo de treinamento Rebalancear mostra mensagens que estão sub-representadas no conjunto revisado. Anotar exemplos neste modo ajudará a resolver rapidamente quaisquer desequilíbrios no conjunto de dados.

Quando a validação ocorre

Toda vez que você conclui algum treinamento em um conjunto de dados, o modelo é atualizado e fornece novas previsões em cada mensagem. Paralelamente, ela também reavalia o desempenho do modelo. Isso significa que, quando as novas previsões estiverem prontas, novas estatísticas de validação também devem estar disponíveis (apesar de um processo poder demorar mais que o outro às vezes), incluindo os mais recentes .

Observação: a plataforma sempre mostrará como padrão as estatísticas de validação mais recentes que foram calculadas e informará se novas estatísticas ainda devem ser calculadas.