Validação

A página Validação mostra aos usuários informações detalhadas sobre o desempenho de seu modelo, tanto para rótulos quanto entidades.

Na guia "Rótulos ", os usuários podem ver sua Classificação geral do modelo, incluindo um detalhamento dos fatores que compõem sua classificação, e outras métricas em seu conjunto de dados e o desempenho de rótulos individuais.

Na guia "Entidades ", os usuários podem ver estatísticas sobre o desempenho de previsões de entidades para todas as entidades habilitadas no conjunto de dados.

Página de validação padrão para "Rótulos"

O menu suspenso "Versão do Modelo", localizado acima da classificação do modelo, permite ver todas as pontuações de validação em versões de modelo anteriores em um determinado conjunto de dados. Você também pode priorizar ou adicionar estrelas individuais para que apareçam no topo da lista no futuro. Essa ferramenta pode ser útil para rastrear e comparar o progresso à medida que você cria seu modelo.

O menu suspenso da versão do modelo

Rótulos

A guia 'Fatores ' (como mostrado acima) mostra:

Os quatro principais fatores que contribuem para a Classificação do modelo: saldo, cobertura, desempenho médio do rótulo e o desempenho dos rótulos de pior desempenho
Para cada fator, ele fornece uma pontuação e um detalhamento dos colaboradores para a pontuação do fator
Próximas melhores ações clicáveis recomendadas para melhorar a pontuação de cada fator

A guia " Métricas" (conforme exibida abaixo) mostra:

O tamanho do conjunto de treinamento - ou seja, o número de mensagens em que o modelo foi treinado
O tamanho do conjunto de testes, ou seja, o número de mensagens nas quais o modelo foi avaliado
Número de rótulos, ou seja, o número total de rótulos em sua taxonomia
Precisão média no recall — um gráfico que mostra a precisão média em um determinado valor de recall em todos os rótulos
Precisão média média – uma estatística que mostra a precisão média em todos os rótulos
Um gráfico que mostra, em todos os rótulos, a precisão média por rótulo versus o tamanho do conjunto de treinamento

Guia Métricas na validação de "Rótulos"

A página Validação também permite que os usuários selecionem rótulos individuais de sua taxonomia para detalhar seu desempenho.

Após selecionar um rótulo, os usuários podem ver a precisão média para esse rótulo, bem como a precisão versus o recall para esse rótulo com base em um determinado limite de confiança (que os próprios usuários podem ajustar).

Gráficos de validação específicos de rótulos

Para entender mais sobre como a validação para rótulos realmente funciona e como usá-la, consulte aqui.

Entidades

Página de validação de "Entidades"

A guia " Entidades" (como mostrado acima) mostra:

O número de entidades no conjunto de treinamento - ou seja, o número de entidades anotadas nas quais o modelo de validação foi treinado
O número de entidades no conjunto de teste - ou seja, o número de entidades anotadas nas quais o modelo de validação foi avaliado
O número de mensagens no conjunto de treinamento - ou seja, o número de mensagens que têm entidades anotadas no conjunto de treinamento
O número de mensagens no conjunto de teste - ou seja, o número de mensagens que têm entidades anotadas no conjunto de teste
Precisão média — a pontuação de precisão média em todas as entidades
recall médio - a pontuação média de recall de todas as entidades
Pontuação F1 média - a pontuação F1 média em todas as entidades (a pontuação F1 é a média herdada da precisão e do recall, e pondera-as igualmente)
As mesmas estatísticas, mas para cada entidade individual