Artefatos

Evaluation report

O relatório de avaliação é um arquivo PDF contendo as seguintes informações em um formato legível por humanos:

• ngramas por classe
• Diagrama de recall de precisão
• Relatório da classificação
• Matriz de confusão
• Melhores parâmetros de modelo para pesquisa de hiperparâmetros

ngramas por classe

Esta seção contém os 10 principais n-gramas que afetam a previsão do modelo para essa classe. Há uma tabela diferente para cada classe na qual o modelo foi treinado.

Diagrama de rechamada de precisão

Você pode usar esse diagrama e a tabela para verificar a precisão, compensação de recall, juntamente com pontuações f1 do modelo. Os limiares e os valores correspondentes de precisão e recall também são fornecidos em uma tabela abaixo desse diagrama. Esta tabela escolherá o limiar desejado para configurar em seu fluxo de trabalho para decidir quando enviar os dados para o Action Center para humanos no loop. Observe que quanto maior o limiar escolhido, maior será a quantidade de dados roteados para o Action Center para humanos no loop.

Há um diagrama de recordação de precisão para cada classe.

Para obter um exemplo de um diagrama de recuperação de precisão, consulte a figura abaixo.

Para obter um exemplo de uma tabela de recall de precisão, consulte a tabela abaixo.

Precisão	Lembrar	limiar
0.8012232415902141	0.6735218508997429	0.30539842728983285
0.8505338078291815	0.6143958868894601	0.37825683923133907
0.9005524861878453	0.4190231362467866	0.6121292357073038
0.9514563106796117	0.2519280205655527	0.7916427288647211

Relatório da classificação

O relatório de classificação contém as seguintes informações:

• Rótulo - a parte do rótulo do conjunto de teste
• Precisão - a precisão da previsão
• Recall - instâncias relevantes que foram recuperadas
• Pontuação F1 - a média geométrica entre precisão e revocação; você pode usar essa pontuação para comparar dois modelos
• Suporte - o número de vezes que um determinado rótulo aparece no conjunto de teste

Para obter um exemplo de relatório de classificação, consulte a tabela abaixo.

Label	Precisão	Lembrar	Pontuação F1	Suporte
0.0	0.805	0.737	0.769	319
1.0	0.731	0.812	0.77	389
2.0	0.778	0.731	0.754	394
3.0	0.721	0.778	0.748	392
4.0	0.855	0.844	0.85	385
5.0	0.901	0.803	0.849	395

Matriz de confusão

Melhores parâmetros de modelo para pesquisa de hiperparâmetros

Quando a variável BOW.hyperparameter_search.enable é definida como True os melhores parâmetros de modelo escolhidos pelo algoritmo são exibidos nesta tabela. Para treinar novamente o modelo com diferentes parâmetros não cobertos pela pesquisa de hiperparâmetros, você também pode definir esses parâmetros manualmente nas Variáveis de ambiente. Para obter mais informações sobre isso, consulte a seção (doc:light-text-classification#environment-variables).

Para obter um exemplo desse relatório, consulte a tabela abaixo.

Name	Valor
BOW.ngram_range	(1, 2)
BOW.min_df	2
BOW.lr_kwargs.class_weight	Equilibrado
dataset.text_pp_remove_stop_words	True

Relatório de pesquisa de hiperparâmetros

Esse relatório é um arquivo PDF gerado apenas se o parâmetro BOW.hyperparameter_search.enable estiver definido como True. O relatório contém os melhores valores para as variáveis opcionais e um diagrama para exibir os resultados.

Arquivos JSON

Você pode encontrar arquivos JSON separados correspondentes a cada seção do arquivo PDF do Relatório de avaliação. Esses arquivos JSON são legíveis pelo computador e você pode usá-los para canalizar a avaliação do modelo em Insights usando o fluxo de trabalho.