Wie funktioniert die Validierung?

Benutzerberechtigungen erforderlich: „Quellen anzeigen“ UND „Beschriftungen anzeigen“.

Bei der Validierung bewertet die Plattform die Leistung sowohl des Bezeichnungs- als auch des Entitätsmodells, das einem Dataset zugeordnet ist.

Insbesondere für das Beschriftungsmodell wird eine Gesamtmodellbewertung berechnet, indem eine Reihe verschiedener Leistungsfaktoren getestet werden, einschließlich:

• Wie gut sie jede Beschriftung in der Taxonomie vorhersagen kann, indem eine Teilmenge von Trainingsdaten aus diesem Dataset verwendet wird

• Wie gut das Dataset insgesamt durch informative Bezeichnungsvorhersagen abgedeckt wird

• Wie ausgewogen die Trainingsdaten in Bezug auf die Art und Weise sind, wie sie zugewiesen wurden, und wie gut sie das Dataset als Ganzes darstellen

Wie wird die Bezeichnungsleistung bewertet?

Um zu bewerten, wie gut sie jede Bezeichnung vorhersagen kann, teilt die Plattform zuerst die überprüften (d. h. beschrifteten) Nachrichten im Dataset in zwei Gruppen auf; einen Hauptsatz von Trainingsdaten und einen kleineren Satz von Testdaten.

In der folgenden Abbildung stellen die farbigen Punkte die beschrifteten Nachrichten innerhalb eines Datasets dar. Diese Aufteilung wird durch die Nachrichten-ID bestimmt, wenn die Nachrichten zum Dataset hinzugefügt werden, und bleibt während der gesamten Lebensdauer des Datasets konsistent.

Die Plattform trainiert sich dann selbst, indem sie nur den Trainingssatz als Trainingsdaten verwendet.

Basierend auf diesem Training wird dann versucht vorherzusagen, welche Beschriftungen auf die Nachrichten im Testsatz angewendet werden sollten, und die Ergebnisse für sowohl Genauigkeit als auch Rückruf werden mit den tatsächlichen Beschriftungen verglichen, die von einem menschlichen Benutzer angewendet wurden.

Zusätzlich zu diesem Prozess berücksichtigt die Plattform auch, wie Bezeichnungen zugewiesen wurden – d. h. welche Trainingsmodi beim Anwenden der Bezeichnungen verwendet wurden – um zu feststellen, ob sie voreingenommen oder ausgewogen beschriftet wurden.

Die Validierung veröffentlicht dann Live-Statistiken über die Leistung der Beschriftungen für die neueste Modellversion, aber Sie können auch historische Leistungsstatistiken für zuvor angeheftete Modellversionen anzeigen.

Wie wird die Abdeckung bewertet?

Um zu verstehen, wie gut Ihr Modell Ihre Daten abdeckt, betrachtet die Plattform alle nicht überprüften Daten im Dataset und die Vorhersagen, die die Plattform für jede dieser nicht überprüften Nachrichten getroffen hat.

Anschließend wird der Anteil der Gesamtnachrichten bewertet, für die mindestens eine informative Bezeichnung vorhergesagt wurde.

'Informative Bezeichnungen ' sind solche Bezeichnungen, die die Plattform als nützlich als eigenständige Bezeichnungen erkennt, indem sie überprüft, wie häufig sie mit anderen Bezeichnungen zugewiesen werden. Bezeichnungen, die immer einer anderen Bezeichnung zugewiesen sind, z. B übergeordnete Bezeichnungen, die nie selbst zugewiesen werden, oder „Dringend“, wenn sie immer mit einer anderen Bezeichnung zugewiesen werden, werden bei der Berechnung der Punktzahl nach unten gewichtet.

Wie wird das Ausgewogenheit bewertet?

Wenn die Plattform bewertet, wie ausgewogen Ihr Modell ist, sucht es im Wesentlichen nach Beschriftungsverzerrungen , die ein Ungleichgewicht zwischen den Trainingsdaten und dem Dataset als Ganzes verursachen können.

Dazu wird ein Labeling Bias-Modell verwendet, das die überprüften und nicht überprüften Daten vergleicht, um sicherzustellen, dass die beschrifteten Daten repräsentativ für das gesamte Dataset sind. Wenn die Daten nicht repräsentativ sind, können Modellleistungsmaßnahmen irreführend und potenziell unzuverlässig sein.

Beschriftungsverzerrung ist in der Regel das Ergebnis eines Ungleichgewichts der Trainingsmodi, die zum Zuweisen von Beschriftungen verwendet werden, insbesondere wenn zu viel „Textsuche“ und zu wenig „Machine“ verwendet wird.

Der Trainingsmodus „ Neuausgleich“ zeigt Nachrichten an, die im überprüften Satz unterrepräsentiert sind. Das Beschriften von Beispielen in diesem Modus hilft, Unausgewogenheit im Dataset schnell zu beheben.

Wann findet der Validierungsprozess statt?

Jedes Mal, wenn Sie ein Training innerhalb eines Datasets abschließen, wird das Modell aktualisiert und liefert neue Vorhersagen für jede Nachricht. Parallel wird auch die Leistung des Modells neu bewertet. Das bedeutet, dass zu dem Zeitpunkt, in dem die neuen Vorhersagen bereit sind, auch neue Validierungsstatistiken verfügbar sein sollten (obligatorisch kann ein Prozess manchmal länger dauern als der andere), einschließlich der neuesten .

Hinweis: Die Plattform zeigt Ihnen standardmäßig immer die neuesten Validierungsstatistiken an, die berechnet wurden, und informiert Sie darüber, ob neue Statistiken noch berechnet werden müssen.