Artefacts

Evaluation report

Le rapport d'évaluation est un fichier PDF contenant les informations suivantes dans un format lisible par l'homme :

• ngrammes par classe
• Diagramme de rappel de précision
• Rapport de classification
• Matrice de confusion
• Meilleurs paramètres de modèle pour la recherche d'hyperparamètres

ngrammes par classe

Cette section contient les 10 principaux n-grammes qui affectent la prédiction du modèle pour cette classe. Il existe une table différente pour chaque classe sur laquelle le modèle a été entraîné.

Diagramme de rappel de précision

Vous pouvez utiliser ce diagramme et le tableau pour vérifier la précision, le compromis de rappel, ainsi que les scores f1 du modèle. Les seuils et les valeurs de précision et de rappel correspondantes sont également fournis dans un tableau sous ce diagramme. Ce tableau choisira le seuil souhaité à configurer dans votre workflow afin de décider quand envoyer les données à Action Center pour Human in the loop. Notez que plus le seuil choisi est élevé, plus la quantité de données acheminées vers Action Center pour Human in the loop sera élevée.

Il existe un diagramme de rappel de précision pour chaque classe.

Pour obtenir un exemple de diagramme de rappel de précision, consultez la figure ci-dessous.

Pour obtenir un exemple de table de rappel de précision, consultez le tableau ci-dessous.

Précision	Rappel	Seuil
0.8012232415902141	0.6735218508997429	0.30539842728983285
0.8505338078291815	0.6143958868894601	0.37825683923133907
0.9005524861878453	0.4190231362467866	0.6121292357073038
0.9514563106796117	0.2519280205655527	0.7916427288647211

Rapport de classification

Le rapport de classification contient les informations suivantes :

• Libellé - la partie libellée de l'ensemble de tests
• Précision - l'exactitude de la prédiction
• Rappel - instances pertinentes qui ont été récupérées
• Score F1 - la moyenne géométrique entre la précision et le rappel ; vous pouvez utiliser ce score pour comparer deux modèles
• Prise en charge (Support) - le nombre de fois qu'un certain libellé apparaît dans l'ensemble de tests

Pour obtenir un exemple de rapport de classification, consultez le tableau ci-dessous.

Label	Précision	Rappel	Score F1	Assistance
0.0	0.805	0.737	0.769	319
1.0	0.731	0.812	0.77	389
2,0	0.778	0.731	0.754	394
3.0	0.721	0.778	0.748	392
4.0	0.855	0.844	0.85	385
5.0	0.901	0.803	0.849	395

Matrice de confusion

Meilleurs paramètres de modèle pour la recherche par hyperparamètres

Lorsque la variable BOW.hyperparameter_search.enable est définie sur True , les meilleurs paramètres de modèle sélectionnés par l'algorithme sont affichés dans ce tableau. Pour réentraîner le modèle avec des paramètres différents non couverts par la recherche par hyperparamètres , vous pouvez également définir ces paramètres manuellement dans les variables d'environnement. Pour plus d'informations à ce sujet, consultez la section (doc:light-text-classification#environment-variables).

Pour obtenir un exemple de ce rapport, consultez le tableau ci-dessous.

Nom	Valeur (Value)
BOW.plage_ngram	(1, 2)
ARC.min_df	2
BOW.lr_kwargs.class_weight	Équilibré
dataset.text_pp_remove_stop_words	Vrai

Rapport de recherche d'hyperparamètres

Ce rapport est un fichier PDF généré uniquement si le paramètre BOW.hyperparameter_search.enable est défini sur True. Le rapport contient les meilleures valeurs pour les variables facultatives et un diagramme pour afficher les résultats.

Fichiers JSON

Vous pouvez trouver des fichiers JSON distincts correspondant à chaque section du fichier PDF du rapport d'évaluation. Ces fichiers JSON sont lisibles par machine et vous pouvez les utiliser pour diriger l'évaluation du modèle vers Insights à l'aide du workflow.