Validação

A página Validação mostra aos usuários informações detalhadas sobre o desempenho de seu modelo, tanto para rótulos quanto para campos gerais.

Na guia "Rótulos ", os usuários podem ver sua Classificação geral do modelo, incluindo um detalhamento dos fatores que compõem sua classificação, e outras métricas em seu conjunto de dados e o desempenho de rótulos individuais.

Na guia Campos gerais, os usuários podem ver estatísticas sobre o desempenho de previsões de campo gerais para todos os campos gerais habilitados no conjunto de dados.

Página de validação padrão para "Rótulos"

O menu suspenso "Versão do Modelo", localizado acima da classificação do modelo, permite ver todas as pontuações de validação em versões de modelo anteriores em um determinado conjunto de dados. Você também pode priorizar ou adicionar estrelas individuais para que apareçam no topo da lista no futuro. Essa ferramenta pode ser útil para rastrear e comparar o progresso à medida que você cria seu modelo.

O menu suspenso da versão do modelo

Rótulos

A guia 'Fatores ' (como mostrado acima) mostra:

Os quatro principais fatores que contribuem para a Classificação do modelo: saldo, cobertura, desempenho médio do rótulo e o desempenho dos rótulos de pior desempenho
Para cada fator, ele fornece uma pontuação e um detalhamento dos colaboradores para a pontuação do fator
Próximas melhores ações clicáveis recomendadas para melhorar a pontuação de cada fator

A guia " Métricas" (conforme exibida abaixo) mostra:

O tamanho do conjunto de treinamento - ou seja, o número de mensagens em que o modelo foi treinado
O tamanho do conjunto de testes, ou seja, o número de mensagens nas quais o modelo foi avaliado
Número de rótulos, ou seja, o número total de rótulos em sua taxonomia
Precisão média no recall — um gráfico que mostra a precisão média em um determinado valor de recall em todos os rótulos
Precisão média média – uma estatística que mostra a precisão média em todos os rótulos
Um gráfico que mostra, em todos os rótulos, a precisão média por rótulo versus o tamanho do conjunto de treinamento

Guia Métricas na validação de "Rótulos"

A página Validação também permite que os usuários selecionem rótulos individuais de sua taxonomia para detalhar seu desempenho.

Após selecionar um rótulo, os usuários podem ver a precisão média para esse rótulo, bem como a precisão versus o recall para esse rótulo com base em um determinado limite de confiança (que os próprios usuários podem ajustar).

Gráficos de validação específicos de rótulos

Para entender mais sobre como a validação para rótulos realmente funciona e como usá-la, consulte aqui.

Campos gerais

Página Validação para campos gerais

A guia Campos Gerais (como mostrado acima) mostra:

O número de campos gerais no conjunto de treinamento - ou seja, o número de campos gerais anotados nos quais o modelo de validação foi treinado
O número de campos gerais no conjunto de teste - ou seja, o número de campos gerais anotados em que o modelo de validação foi avaliado
O número de mensagens no conjunto de treinamento - ou seja, o número de mensagens que têm campos gerais anotados no conjunto de treinamento
O número de mensagens no conjunto de teste - ou seja, o número de mensagens que têm campos gerais anotados no conjunto de teste
Precisão média - a pontuação de precisão média em todos os campos gerais
recall médio - a pontuação média de recall em todos os campos gerais
Pontuação F1 média - a pontuação F1 média em todos os campos gerais (a pontuação F1 é a média herdada da precisão e do recall, e pondera-as igualmente)
As mesmas estatísticas, mas para cada campo geral individual