Validierung

Auf der Seite Validierung werden Benutzern detaillierte Informationen über die Leistung ihres Modells sowohl für Bezeichnungen als auch für allgemeine Felder angezeigt.

Auf der Registerkarte „ Beschriftungen“ können Benutzer die gesamte Modellbewertung für die Beschriftung sehen, einschließlich einer detaillierten Aufschlüsselung der Faktoren, aus denen sich ihre Bewertung zusammensetzt, und anderer Metriken zu ihrem Dataset und der Leistung einzelner Beschriftungen.

Auf der Registerkarte Allgemeine Felder können Benutzer Statistiken über die Leistung von allgemeinen Feldvorhersagen für alle im Dataset aktivierten allgemeinen Felder anzeigen.

Seite „Standardvalidierung“ für „Labels“

In der Dropdownliste „Modellversion“, die sich über der Modellbewertung befindet, können Sie alle Validierungsergebnisse in früheren Modellversionen für ein bestimmtes Dataset sehen. Sie können auch einzelne priorisieren oder mit einem Stern versehen, damit sie in Zukunft ganz oben in der Liste erscheinen. Dieses Tool kann nützlich sein, um den Fortschritt bei der Erstellung Ihres Modells zu verfolgen und zu vergleichen.

Die Dropdownliste der Modellversion

Beschriftungen

Die Registerkarte „ Faktoren“ (wie oben gezeigt) zeigt:

Die vier Hauptfaktoren, die zur Modellbewertung beitragen: Ausgewogenheit, Abdeckung, durchschnittliche Bezeichnungsleistung und Leistung der Bezeichnungen mit der niedrigsten Leistung
Für jeden Faktor wird eine Punktzahl und eine Aufschlüsselung der Personen angezeigt, die zur Punktzahl des Faktors beigetragen haben
Anklickbare empfohlene nächste beste Aktionen, um die Punktzahl jedes Faktors zu verbessern

Die Registerkarte „ Metriken“ (wie unten gezeigt) zeigt:

Die Größe des Trainingssatzes – d. h. die Anzahl der Nachrichten, für die das Modell trainiert wurde
Die Testsatzgröße – d. h. die Anzahl der Nachrichten, für die das Modell ausgewertet wurde
Anzahl der Bezeichnungen – d. h. die Gesamtzahl der Bezeichnungen in Ihrer Taxonomie
Mittlere Präzision bei Rückruf – Ein Diagramm, das die durchschnittliche Präzision bei einem bestimmten Rückrufwert über alle Bezeichnungen hinweg zeigt
Mittlere durchschnittliche Genauigkeit – eine Statistik, die die durchschnittliche Genauigkeit über alle Bezeichnungen hinweg zeigt
Ein Diagramm, das für alle Bezeichnungen die durchschnittliche Genauigkeit pro Bezeichnung im Vergleich zur Größe des Trainingssatzes zeigt

Registerkarte „Metriken“ innerhalb der „Beschriftungen“-Validierung

Auf der Seite Validierung können Benutzer auch einzelne Bezeichnungen aus ihrer Taxonomie auswählen, um einen Drilldown in ihre Leistung durchzuführen.

Nach der Auswahl einer Bezeichnung können Benutzer die durchschnittliche Genauigkeit für diese Bezeichnung sehen sowie die Genauigkeit im Vergleich zur Wiedererkennung für diese Bezeichnung basierend auf einem bestimmten Konfidenzschwellenwert (den Benutzer selbst anpassen können).

Beschriften Sie bestimmte Validierungsdiagramme

Weitere Informationen zur Funktionsweise und Verwendung der Validierung für Beschriftungen finden Sie hier.

Allgemeine Felder

Validierungsseite für allgemeine Felder

Die Registerkarte Allgemeine Felder (wie oben gezeigt) zeigt Folgendes an:

Die Anzahl der allgemeinen Felder im Trainingssatz – d. h. die Anzahl der mit Anmerkungen versehenen allgemeinen Felder, für die das Validierungsmodell trainiert wurde
Die Anzahl der allgemeinen Felder im Testsatz – d. h. die Anzahl der mit Anmerkungen versehenen allgemeinen Felder, für die das Validierungsmodell ausgewertet wurde
Die Anzahl der Nachrichten im Trainingssatz – d. h. die Anzahl der Nachrichten, die über kommentierte allgemeine Felder im Trainingssatz verfügen
Die Anzahl der Nachrichten im Testsatz – d. h. die Anzahl der Nachrichten, die über kommentierte allgemeine Felder im Testsatz verfügen
Durchschnittliche Präzision – die durchschnittliche Genauigkeitspunktzahl für alle allgemeinen Felder
Durchschnittliche Rückrufpunktzahl – die durchschnittliche Rückruf- Punktzahl für alle allgemeinen Felder
Durchschnittliche F1-Punktzahl – die durchschnittliche F1-Punktzahl in allen allgemeinen Feldern (die F1-Punktzahl ist das harmonisierte Mittel von Präzision und Wiedererkennung und gewichtet sie gleich)
Die gleichen Statistiken, aber für jedes einzelne allgemeine Feld