Artefakte

Evaluation report

Der Bewertungsbericht ist eine PDF-Datei, die die folgenden Informationen in einem für Menschen lesbaren Format enthält:

• ngrams pro Klasse
• Präzisions-Rückruf-Diagramm
• Klassifizierungsbericht
• Konfusionsmatrix
• Beste Modellparameter für die Hyperparametersuche

ngrams pro Klasse

Dieser Abschnitt enthält die 10 wichtigsten N-Gramme, die sich auf die Modellvorhersage für diese Klasse auswirken. Für jede Klasse, für die das Modell trainiert wurde, gibt es eine andere Tabelle.

Präzisions-Rückrufdiagramm

Sie können dieses Diagramm und die Tabelle verwenden, um die Genauigkeit, den Rückruf-Kompromiss sowie die f1-Scores des Modells zu überprüfen. Die Schwellenwerte und die entsprechenden Präzisions- und Rückrufwerte sind auch in einer Tabelle unter diesem Diagramm aufgeführt. In dieser Tabelle wird der gewünschte Schwellenwert ausgewählt, der in Ihrem Workflow konfiguriert werden soll, um zu entscheiden, wann die Daten für Human-in-the-Loop an das Action Center gesendet werden sollen. Beachten Sie, dass je höher der gewählte Schwellenwert ist, desto höher ist die Datenmenge, die an das Action Center für Human-in-the-Loop weitergeleitet wird.

Für jede Klasse gibt es ein Präzisions-Rückruf-Diagramm.

Ein Beispiel für ein Präzisions-Rückruf-Diagramm finden Sie in der folgenden Abbildung.

Ein Beispiel für eine Präzisionsrückruftabelle finden Sie in der folgenden Tabelle.

Präzision	Rückruf	Schwellenwert
0.8012232415902141	0.6735218508997429	0.30539842728983285
0.8505338078291815	0.6143958868894601	0.37825683923133907
0.9005524861878453	0.4190231362467866	0.6121292357073038
0.9514563106796117	0.2519280205655527	0.7916427288647211

Klassifizierungsbericht

Der Klassifizierungsbericht enthält die folgenden Informationen:

• Beschriftung – der Beschriftungsteil des Testsatzes
• Präzision – die Genauigkeit der Vorhersage
• Rückruf – relevante Instanzen, die abgerufen wurden
• F1-Punktzahl – das geometrische Mittel zwischen Präzision und Wiedererkennungswert; Sie können diese Punktzahl verwenden, um zwei Modelle zu vergleichen.
• Support – die Häufigkeit, mit der eine bestimmte Bezeichnung im Testsatz angezeigt wird.

Ein Beispiel für einen Klassifizierungsbericht finden Sie in der folgenden Tabelle.

Label	Präzision	Rückruf	F1-Ergebnis	Support
0.0	0.805	0.737	0.769	319
1.0	0.731	0.812	0.77	389
2.0+	0.778	0.731	0.754	394
3.0	0.721	0.778	0.748	392
4.0	0.855	0.844	0.85	385
5.0	0.901	0.803	0.849	395

Konfusionsmatrix

Beste Modellparameter für die Hyperparametersuche

Wenn die Variable BOW.hyperparameter_search.enable auf True festgelegt ist, werden die besten vom Algorithmus ausgewählten Modellparameter in dieser Tabelle angezeigt. Um das Modell mit anderen Parametern, die nicht von der Hyperparametersuche abgedeckt werden, erneut zu trainieren, können Sie diese Parameter auch manuell in den Umgebungsvariablenfestlegen. Weitere Informationen hierzu finden Sie im Abschnitt (doc:light-text-classification#environment-variables).

Ein Beispiel für diesen Bericht finden Sie in der folgenden Tabelle.

Name	Wert
BOW.ngram_range	(1, 2)
BOW.min_df	2
BOW.lr_kwargs.class_weight	Ausgewogen
dataset.text_pp_remove_stop_words	True

Hyperparameter-Suchbericht

Dieser Bericht ist eine PDF-Datei, die nur generiert wird, wenn der Parameter BOW.hyperparameter_search.enable auf True festgelegt ist. Der Bericht enthält die besten Werte für die optionalen Variablen und ein Diagramm zur Anzeige der Ergebnisse.

JSON-Dateien

Sie können separate JSON-Dateien finden, die den jeweiligen Abschnitten der PDF-Datei zum Evaluierungsbericht entsprechen. Diese JSON-Dateien sind durch Maschinen lesbar und Sie können sie verwenden, um mithilfe des Workflows die Modellauswertung zu Insights zu leiten.