Validierung

Auf der Seite Validierung werden Benutzern detaillierte Informationen über die Leistung ihres Modells angezeigt, sowohl für Bezeichnungen als auch für Entitäten.

Auf der Registerkarte „ Beschriftungen“ können Benutzer die gesamte Modellbewertung für die Beschriftung sehen, einschließlich einer detaillierten Aufschlüsselung der Faktoren, aus denen sich ihre Bewertung zusammensetzt, und anderer Metriken zu ihrem Dataset und der Leistung einzelner Beschriftungen.

Auf der Registerkarte „ Entitäten“ können Benutzer Statistiken über die Leistung von Entitätsvorhersagen für alle im Dataset aktivierten Entitäten sehen.

Seite „Standardvalidierung“ für „Labels“

In der Dropdownliste „Modellversion“, die sich über der Modellbewertung befindet, können Sie alle Validierungsergebnisse in früheren Modellversionen für ein bestimmtes Dataset sehen. Sie können auch einzelne priorisieren oder mit einem Stern versehen, damit sie in Zukunft ganz oben in der Liste erscheinen. Dieses Tool kann nützlich sein, um den Fortschritt bei der Erstellung Ihres Modells zu verfolgen und zu vergleichen.

Die Dropdownliste der Modellversion

Beschriftungen

Die Registerkarte „ Faktoren“ (wie oben gezeigt) zeigt:

Die vier Hauptfaktoren, die zur Modellbewertung beitragen: Ausgewogenheit, Abdeckung, durchschnittliche Bezeichnungsleistung und Leistung der Bezeichnungen mit der niedrigsten Leistung
Für jeden Faktor wird eine Punktzahl und eine Aufschlüsselung der Personen angezeigt, die zur Punktzahl des Faktors beigetragen haben
Anklickbare empfohlene nächste beste Aktionen, um die Punktzahl jedes Faktors zu verbessern

Die Registerkarte „ Metriken“ (wie unten gezeigt) zeigt:

Die Größe des Trainingssatzes – d. h. die Anzahl der Nachrichten, für die das Modell trainiert wurde
Die Testsatzgröße – d. h. die Anzahl der Nachrichten, für die das Modell ausgewertet wurde
Anzahl der Bezeichnungen – d. h. die Gesamtzahl der Bezeichnungen in Ihrer Taxonomie
Mittlere Präzision bei Rückruf – Ein Diagramm, das die durchschnittliche Präzision bei einem bestimmten Rückrufwert über alle Bezeichnungen hinweg zeigt
Mittlere durchschnittliche Genauigkeit – eine Statistik, die die durchschnittliche Genauigkeit über alle Bezeichnungen hinweg zeigt
Ein Diagramm, das für alle Bezeichnungen die durchschnittliche Genauigkeit pro Bezeichnung im Vergleich zur Größe des Trainingssatzes zeigt

Registerkarte „Metriken“ innerhalb der „Beschriftungen“-Validierung

Auf der Seite Validierung können Benutzer auch einzelne Bezeichnungen aus ihrer Taxonomie auswählen, um einen Drilldown in ihre Leistung durchzuführen.

Nach der Auswahl einer Bezeichnung können Benutzer die durchschnittliche Genauigkeit für diese Bezeichnung sehen sowie die Genauigkeit im Vergleich zur Wiedererkennung für diese Bezeichnung basierend auf einem bestimmten Konfidenzschwellenwert (den Benutzer selbst anpassen können).

Beschriften Sie bestimmte Validierungsdiagramme

Weitere Informationen zur Funktionsweise und Verwendung der Validierung für Beschriftungen finden Sie hier.

Entitäten

Validierungsseite für „Entitäten“

Die Registerkarte „ Entitäten“ (wie oben gezeigt) zeigt Folgendes an:

Die Anzahl der Entitäten im Trainingssatz – d. h. die Anzahl der mit Anmerkungen versehenen Entitäten, auf denen das Validierungsmodell trainiert wurde
Die Anzahl der Entitäten im Testsatz – d. h. die Anzahl der mit Anmerkungen versehenen Entitäten, für die das Validierungsmodell bewertet wurde
Die Anzahl der Nachrichten im Trainingssatz – d. h. die Anzahl der Nachrichten, die über kommentierte Entitäten im Trainingssatz verfügen
Die Anzahl der Nachrichten im Testsatz – d. h. die Anzahl der Nachrichten, die über kommentierte Entitäten im Testsatz verfügen
Durchschnittliche Genauigkeit – die durchschnittliche Genauigkeitspunktzahl für alle Entitäten
Durchschnittliche Rückruffunktion – die durchschnittliche Rückruf- Punktzahl für alle Entitäten
Durchschnittliche F1-Punktzahl – die durchschnittliche F1-Punktzahl über alle Entitäten (die F1-Punktzahl ist das harmonale Mittel von Präzision und Wiedererkennung und gewichtet sie gleich)
Die gleichen Statistiken, aber für jede einzelne Entität