Training mit Beschriftung „Überprüfen“ und Beschriftung „Verpasst“.

Benutzerberechtigungen erforderlich: „Quellen anzeigen“ UND „Überprüfen und Kommentieren“.

Hinweis:

Zuvor zeigte die Funktion „ Teach“ beim Filtern nach überprüften Nachrichten Nachrichten an, bei denen die Plattform angenommen hat, dass die ausgewählte Beschriftung möglicherweise falsch angewendet oder verpasst wurde. 'Check Label ' und 'Missed Label ' teilen diese in zwei separate Ansichten auf, wobei ' Check Label ' Meldungen mit der möglicherweise falsch angewendeten Beschriftung anzeigt und 'Missed Label' Nachrichten anzeigt, denen die ausgewählte Beschriftung möglicherweise fehlt.

Einführung in die Verwendung von „Bezeichnung überprüfen“ und „Bezeichnung fehlend“

Die Verwendung derTrainingsmodi „Bezeichnung überprüfen“ und „Verpasste Beschriftung “ ist Teil der Verfeinerungsphase , in der Sie versuchen, Inkonsistenzen oder fehlende Beschriftungen in den Nachrichten zu identifizieren, die bereits überprüft wurden. Dies unterscheidet sich vom Schritt „Bezeichnung beibringen“, der sich auf nicht überprüfte Nachrichten konzentriert, die Vorhersagen von der Plattform erhalten, anstatt Bezeichnungen zugewiesen zu bekommen.

'Bezeichnung überprüfen' zeigt Ihnen Meldungen an, bei denen die Plattform denkt, dass die ausgewählte Beschriftung möglicherweise falsch angewendet wurde – d. h. sie hätte möglicherweise nicht angewendet werden.

Modus „Bezeichnung überprüfen“ mit der ausgewählten Beschriftung „Anspruch > Grund für den Verlust > Brand“.

„Bezeichnung fehlen“ zeigt Ihnen Nachrichten an, von denen die Plattform annimmt, dass die ausgewählte Beschriftung möglicherweise fehlt – d. h. sie hätte möglicherweise angewendet werden müssen, wurde aber nicht angewendet. Hier wird die ausgewählte Beschriftung in der Regel als Vorschlag angezeigt, wie in der Abbildung unten gezeigt.

Modus „Bezeichnung fehlend“ mit der ausgewählten Bezeichnung „Zahlung > Fehler“.

Die Vorschläge der Plattform in einem der beiden Modi sind nicht unbedingt korrekt. Dies sind nur die Fälle, in denen die Plattform aufgrund des bisher abgeschlossenen Trainings unsicher ist. Sie können sie ignorieren, wenn Sie mit den Vorschlägen der Plattform nicht einverstanden sind, nachdem Sie sie überprüft haben.

Die Verwendung dieser Trainingsmodi ist eine sehr effektive Möglichkeit, Vorkommen zu finden, bei denen der Benutzer Beschriftungen möglicherweise nicht konsistent angewendet hat. Wenn Sie sie verwenden, können Sie diese Ereignisse korrigieren und somit die Leistung der Bezeichnung verbessern.

Wann sind „Bezeichnung überprüfen“ und „Bezeichnung fehlend“ zu verwenden?

Die einfachste Antwort auf die Frage, wann ein Trainingsmodus zu verwenden ist, ist, wenn es sich um eine der „ Empfohlenen Aktionen“ im Abschnitt „ Modellbewertung “ oder um eine bestimmte Bezeichnungsansicht auf der Seite „ Validierung “ handelt (siehe hier).

Als Faustregel gilt: Jede Beschriftung, die eine signifikante Anzahl von angehefteten Beispielen, aber eine geringe durchschnittliche Genauigkeit aufweist (die durch rote Beschriftungswarnungen auf der Seite Validierung oder in den Beschriftungsfilterleisten angezeigt werden kann), wird wahrscheinlich von einem Korrekturtraining profitieren Modus 'Check Label ' und 'Missed Label '.

Bei der Validierung der Leistung eines Modells ermittelt die Plattform, ob sie denkt, dass eine Bezeichnung oft falsch angewendet wurde oder wo sie denkt, dass sie regelmäßig übersehen wurde. Sie priorisiert die Korrekturmaßnahmen, die ihrer Meinung nach für die Verbesserung der Leistung einer Bezeichnung am nützlichsten sind.

„Verpasste Beschriftung“ ist auch ein sehr nützliches Tool, wenn Sie einer vorhandenen Taxonomie mit vielen überprüften Beispielen eine neue Beschriftung hinzugefügt haben. Nachdem Sie einige erste Beispiele für das neue Beschriftungskonzept angegeben haben, kann „Verpasste Beschriftung“ Ihnen schnell helfen, Beispiele in den zuvor überprüften Meldungen zu identifizieren, bei denen sie auch gelten sollte. Weitere Details finden Sie hier .

Wie 'Check Label' und 'Missed Label' verwendet werden:

Um einen dieser Trainingsmodi zu erreichen, gibt es zwei Hauptoptionen:

1. Wenn es sich um eine empfohlene Aktion in der Validierung für eine Bezeichnung handelt, fungiert die Aktionskarte als Link, der Sie direkt zu diesem Trainingsmodus für die ausgewählte Bezeichnung führt

2. Alternativ können Sie in „Erkunden“ aus dem Dropdown-Menü oben auf der Seite einen der Trainingsmodi auswählen und dann eine Bezeichnung auswählen, nach der sortiert werden soll (siehe z. B. das Bild oben).

Hinweis: Sie müssen zuerst eine Bezeichnung auswählen, bevor im Dropdownmenü entweder „Bezeichnung überprüfen“ oder „Verpasste Bezeichnung“ angezeigt wird. Beide Modi deaktivieren auch die Möglichkeit, zwischen überprüften und nicht überprüften Nachrichten zu filtern , da sie ausschließlich für überprüfte Nachrichten sind).

In jedem Modus zeigt die Plattform Ihnen bis zu 20 Beispiele pro Seite für überprüfte Meldungen an, bei denen die ausgewählte Beschriftung möglicherweise falsch angewendet wurde („Überprüfen der Beschriftung“) oder die ausgewählte Beschriftung fehlt („Verpasste Beschriftung“).

'Bezeichnung überprüfen'

Überprüfen Sie unter „Bezeichnung überprüfen“ jedes der Beispiele auf der Seite, um zu bestätigen, dass es sich um echte Beispiele der ausgewählten Bezeichnung handelt. Wenn dies der Fall ist, fahren Sie fort, ohne aktiv zu werden. Wenn dies nicht der Fall ist, entfernen Sie die Beschriftung (indem Sie mit dem Mauszeiger auf das „X“ klicken) und stellen Sie sicher, dass Sie stattdessen die richtige(n) Beschriftung(en) anwenden.

Überprüfen Sie so viele Seiten mit überprüften Nachrichten wie nötig , um Inkonsistenzen im überprüften Satz zu identifizieren und das Verständnis der Bezeichnung durch das Modell zu verbessern. Das Korrigieren von Bezeichnungen, die fehlerhaft hinzugefügt wurden, kann große Auswirkungen auf die Leistung einer Bezeichnung haben, indem sichergestellt wird, dass das Modell über korrekte und konsistente Beispiele verfügt, aus denen Vorhersagen für diese Bezeichnung gemacht werden können.

„Bezeichnung vergessen“

Überprüfen Sie unter „Verpasste Bezeichnung“ jedes der Beispiele auf der Seite, um festzustellen, ob die ausgewählte Bezeichnung tatsächlich übersehen wurde. Wenn dies der Fall ist, klicken Sie auf den Bezeichnungsvorschlag (wie in der Abbildung oben gezeigt), um die Bezeichnung anzuwenden. Wenn dies nicht der Fall ist, ignorieren Sie den Vorschlag und fahren Sie fort.

Nur weil die Plattform eine Bezeichnung für eine überprüfte Nachricht „vorschlägt“, bedeutet das nicht, dass das Modell dies als Vorhersage betrachtet, und es wird auch nicht auf Statistiken über die Anzahl von Beschriftungen in einem Dataset angerechnet. Wenn ein Vorschlag falsch ist, können Sie ihn einfach ignorieren.

Überprüfen Sie so viele Seiten mit überprüften Nachrichten wie nötig , um Beispiele in dem überprüften Satz zu identifizieren, die die ausgewählte Beschriftung haben sollten, aber nicht. Teilweise mit Anmerkungen versehene Nachrichten können sich sehr nachteilig auf die Fähigkeit des Modells auswirken, eine Bezeichnung vorherzusagen, da Sie, wenn Sie keine Beschriftung auf eine Nachricht anwenden, dem Modell im Wesentlichen mitteilen, dass dies kein Beispiel für dieses Bezeichnungskonzept ist. Wenn es sich tatsächlich um ein korrektes Beispiel handelt, kann dies für das Modell sehr verwirrend sein, insbesondere wenn es andere sehr ähnliche Beispiele gibt, auf die die Beschriftung angewendet wird.

Das Hinzufügen von fehlenden Beschriftungen kann daher erhebliche Auswirkungen auf die Leistung einer Beschriftung haben, indem sichergestellt wird, dass das Modell über korrekte und konsistente Beispiele verfügt, aus denen Vorhersagen für diese Beschriftung erstellt werden können.

Nachdem das Modell nach Ihrem Korrekturtraining in diesen Modi Zeit zum erneuten Trainieren hatte, können Sie in der Validierung erneut nachsehen, welche positiven Auswirkungen Ihre Aktionen auf die Modellbewertung und die Leistung der spezifischen Bezeichnungen hatten, die Sie trainiert haben.