Training mit Beschriftung „Überprüfen“ und Beschriftung „Verpasst“.

Hinweis: Sie müssen die Berechtigungen Quelle – Lesen und Dataset – Überprüfen als Automation Cloud-Benutzer oder die Berechtigungen Anzeigen Quellen anzeigen und Überprüfen und Kommentieren als Legacy-Benutzer zugewiesen haben.

Hinweis: Zuvor zeigte die Funktion Teach beim Filtern nach überprüften Nachrichten Nachrichten an, bei denen die Plattform angenommen wurde, dass die ausgewählte Beschriftung entweder falsch angewendet wurde oder fehlt. Beschriftung „Scheck“ und Beschriftung „Fehlgeschlagen“ teilen diese in zwei separate Ansichten auf, wobei die Beschriftung „Prüfen“ Nachrichten mit der möglicherweise falsch angewendeten Beschriftung anzeigt und die Beschriftung „Fehlende Beschriftung“ Nachrichten anzeigt, bei denen möglicherweise die ausgewählte Beschriftung fehlt.

Einleitung

Die Verwendung der Trainingsmodi Beschriftung überprüfen und Fehlende Beschriftung ist Teil der Verfeinerungsphase , in der Sie versuchen, Inkonsistenzen oder fehlende Beschriftungen in den Nachrichten zu identifizieren, die bereits überprüft wurden. Dies unterscheidet sich vom Schritt Beschriftung lehren , der sich auf nicht überprüfte Nachrichten konzentriert, die von der Plattform vorgenommene Vorhersagen haben, anstatt zugewiesene Beschriftungen.

Beschriftung überprüfen zeigt Ihnen Nachrichten an, bei denen die Plattform annimmt, dass die ausgewählte Beschriftung möglicherweise falsch angewendet wurde, das heißt, sie sollte möglicherweise nicht angewendet worden sein.

Fehlende Beschriftung zeigt Ihnen Nachrichten an, von denen die Plattform annimmt, dass möglicherweise die ausgewählte Beschriftung fehlt, d. h. sie hätte möglicherweise angewendet werden müssen, wurde aber nicht angewendet. In diesem Fall wird die ausgewählte Beschriftung in der Regel als Vorschlag angezeigt, wie in der folgenden Abbildung gezeigt.

Die Vorschläge der Plattform in einem der beiden Modi sind nicht unbedingt korrekt. Dies sind nur die Fälle, in denen die Plattform aufgrund des bisher abgeschlossenen Trainings unsicher ist. Sie können sie ignorieren, wenn Sie mit den Vorschlägen der Plattform nicht einverstanden sind, nachdem Sie sie überprüft haben.

Die Verwendung dieser Trainingsmodi ist eine sehr effektive Möglichkeit, Vorkommen zu finden, bei denen der Benutzer Beschriftungen möglicherweise nicht konsistent angewendet hat. Wenn Sie sie verwenden, können Sie diese Ereignisse korrigieren und somit die Leistung der Bezeichnung verbessern.

Verwendung von „Prüfungsbeschriftung“ und „Fehlende Beschriftung“.

Die einfachste Antwort auf die Verwendung eines der Trainingsmodi ist, wenn es sich um eine der empfohlenen Aktionen im Abschnitt Modellbewertung oder um eine bestimmte Beschriftungsansicht auf der Seite Validierung handelt. Weitere Informationen finden Sie unter Verstehen und Verbessern der Modellleistung.

Als Faustregel gilt: Jede Beschriftung, die eine beträchtliche Anzahl von angehefteten Beispielen hat, aber eine geringe durchschnittliche Genauigkeit hat, was durch rote Beschriftungswarnungen auf der Seite Validierung oder in den Beschriftungsfilterleisten angezeigt werden kann, wird wahrscheinlich von einem Korrekturtraining in beidem profitieren Beschriftung überprüfen und Modus der fehlenden Beschriftung .

Bei der Validierung der Leistung eines Modells ermittelt die Plattform, ob eine Beschriftung oft falsch angewendet wurde oder wo sie meint, dass sie regelmäßig übersehen wurde, und priorisiert jede Korrekturaktion, die ihrer Meinung nach am nützlichsten für die Verbesserung der Leistung einer Beschriftung wäre.

Fehlende Beschriftung ist auch ein sehr nützliches Tool, wenn Sie einer vorhandenen Taxonomie mit vielen überprüften Beispielen eine neue Beschriftung hinzugefügt haben. Sobald Sie einige erste Beispiele für das neue Beschriftungskonzept angegeben haben, kann Ihnen die fehlende Beschriftung schnell helfen, alle Beispiele in den zuvor überprüften Nachrichten zu identifizieren, bei denen sie auch gelten sollte. Weitere Informationen finden Sie unter Hinzufügen neuer Beschriftungen zu vorhandenen Taxonomien.

Verwenden der Beschriftung „Prüfen“ und der Beschriftung „Fehlgeschlagen“.

Um einen dieser Trainingsmodi zu erreichen, gibt es die folgenden Hauptoptionen:

1. Wenn es sich um eine empfohlene Aktion in der Validierung für eine Beschriftung handelt, fungiert die Aktionskarte als Link, der Sie direkt zu diesem Trainingsmodus für die ausgewählte Beschriftung führt.

2. Alternativ können Sie einen der Trainingsmodi im Dropdownmenü oben auf der Seite in Explore auswählen und dann eine Beschriftung auswählen, nach der sortiert werden soll. Ein Beispiel finden Sie in der vorherigen Abbildung.

Hinweis: Sie müssen zuerst eine Beschriftung auswählen, bevor im Dropdownmenü entweder Beschriftung überprüfen oder Fehlende Beschriftung angezeigt wird. Beide Modi deaktivieren auch die Möglichkeit, zwischen überprüften und nicht überprüften Nachrichten zu filtern, da sie ausschließlich für überprüfte Nachrichten gelten.

In jedem Modus zeigt Ihnen die Plattform bis zu 20 Beispiele pro Seite für überprüfte Nachrichten an, bei denen sie annimmt, dass die ausgewählte Beschriftung möglicherweise falsch angewendet wurde, Beschriftung überprüfen, oder dass die ausgewählte Beschriftung fehlt, Fehlende Beschriftung.

Beschriftung überprüfen

Überprüfen Sie in Beschriftung überprüfen jedes der Beispiele auf der Seite, um zu bestätigen, dass es sich um echte Beispiele für die ausgewählte Beschriftung handelt. Wenn dies der Fall ist, fahren Sie fort, ohne Maßnahmen zu ergreifen. Wenn dies nicht der Fall ist, entfernen Sie die Beschriftung, indem Sie die Schaltfläche X auswählen, wenn Sie mit dem Mauszeiger darüber fahren, und stellen Sie sicher, dass Sie stattdessen die richtigen Beschriftungen anwenden.

Hinweis: Überprüfen Sie so viele Seiten mit überprüften Nachrichten wie nötig, um Inkonsistenzen im überprüften Satz zu identifizieren und das Verständnis des Modells für die Beschriftung zu verbessern.

Die Korrektur von fälschlicherweise hinzugefügten Beschriftungen kann große Auswirkungen auf die Leistung einer Beschriftung haben, indem sichergestellt wird, dass das Modell über korrekte und konsistente Beispiele verfügt, aus denen Vorhersagen für diese Beschriftung gemacht werden können.

Fehlende Beschriftung

Überprüfen Sie in Fehlende Beschriftung jedes der Beispiele auf der Seite, um zu sehen, ob die ausgewählte Beschriftung tatsächlich übersehen wurde. Wenn dies der Fall ist, wählen Sie den Beschriftungsvorschlag aus, wie in der vorherigen Abbildung gezeigt, um die Beschriftung anzuwenden. Wenn dies nicht der Fall ist, ignorieren Sie den Vorschlag und fahren Sie fort.

Nur weil die Plattform eine Beschriftung für eine überprüfte Nachricht vorschlägt, bedeutet das nicht, dass das Modell sie als Vorhersage betrachtet, und sie wird auch nicht zu Statistiken über die Anzahl der Beschriftungen in einem Dataset angerechnet. Wenn ein Vorschlag falsch ist, können Sie ihn einfach ignorieren.

Hinweis: Überprüfen Sie so viele Seiten mit überprüften Nachrichten wie nötig, um Beispiele im überprüften Satz zu identifizieren, die die ausgewählte Beschriftung haben sollten, dies aber nicht ist.

Teilweise Nachrichten mit Anmerkungen können die Fähigkeit des Modells, eine Beschriftung vorherzusagen, sehr beeinträchtigen, da Sie, wenn Sie keine Beschriftung auf eine Nachricht anwenden, dem Modell im Wesentlichen mitteilen, dass dies kein Beispiel für dieses Beschriftungskonzept ist. Wenn es sich tatsächlich um ein korrektes Beispiel handelt, kann dies für das Modell sehr verwirrend sein, insbesondere wenn es andere sehr ähnliche Beispiele gibt, auf die die Beschriftung angewendet wurde.

Das Hinzufügen von fehlenden Beschriftungen kann daher erhebliche Auswirkungen auf die Leistung einer Beschriftung haben, indem sichergestellt wird, dass das Modell über korrekte und konsistente Beispiele verfügt, aus denen Vorhersagen für diese Beschriftung erstellt werden können.

Hinweis: Nachdem das Modell nach Ihrem Korrekturtraining in diesen Modi Zeit zum erneuten Training hatte, können Sie zur Validierung zurückkehren, um die positiven Auswirkungen Ihrer Aktionen auf die Modellbewertung und die Leistung der spezifischen Beschriftungen, die Sie trainiert haben, anzuzeigen.