Gründe für die geringe durchschnittliche Beschriftungsgenauigkeit

In diesem Abschnitt werden einige der Hauptgründe für eine geringe durchschnittliche Genauigkeit einer Beschriftung sowie eine vorgeschlagene Lösung zur Verbesserung beschrieben:

1. Die Größe des Trainingssatzes ist möglicherweise zu klein

• Wenn die Größe des Trainingssatzes sehr klein ist, kann es sein, dass Sie nur weitere Trainingsbeispiele für das Modell angeben müssen
• Setzen Sie das Training der Beschriftung mit den in der Erkundungsphase beschriebenen Methoden fort, insbesondere „Mischen“ und „ Teach Label“.

2. Die Beschriftung wurde möglicherweise inkonsistent oder falsch auf einige der Nachrichten angewendet

• Es kann oft vorkommen, dass sich die Definition einer Bezeichnung durch einen Benutzer im Laufe der Zeit ändert und ältere überprüfte Nachrichten mit dieser Bezeichnung möglicherweise erneut überprüft werden müssen, um festzustellen, ob die Bezeichnung immer noch gilt
• Wenn mehrere Benutzer ein Dataset trainieren, können sie alternativ die Bedeutung der einzelnen Bezeichnungen interpretieren und gemischte Signal an das Modell senden
• Um zu bestimmen, ob dies der Fall ist, können Benutzer die Trainingsmodi Beschriftung überprüfen und Fehlende Beschriftung verwenden, um die überprüften Nachrichten für die Beschriftung durchzugehen und zu sehen, wo eine Beschriftung falsch angewendet wurde oder unbeabsichtigt übersehen wurde.
• Benutzer können dann alle Fehler korrigieren und Beschriftungen aktualisieren, um die Konsistenz sicherzustellen.
• Wenn mehrere Benutzer ein Dataset trainieren, sollten sie in Zukunft sicherstellen, dass sie vollständig darüber informiert sind, wie sie die Absichten oder Konzepte definieren, die von jeder Beschriftung abgedeckt werden.

3. Die Absicht oder Idee, die mit der Bezeichnung erfasst werden soll, kann vage oder sehr allgemein und schwer von anderen Bezeichnungen zu unterscheiden sein

• Wenn eine Bezeichnung verwendet wird, um eine sehr umfassende oder vage Absicht oder Idee zu erfassen, kann es für das Modell schwierig sein, zu erkennen, warum diese Bezeichnung für eine Nachricht gelten sollte – es kann dann versuchen, sie auf viel zu viele Nachrichten anzuwenden
• Seien Sie beim Erstellen einer Beschriftung nicht zu allgemein. Sie muss von anderen Beschriftungen identifizierbar und unterscheidbar sein

4. Alternativ könnte die Absicht oder das Konzept sehr spezifisch sein oder zu viele Ebenen in der Hierarchie haben

• Wenn Sie zu spezifisch sein oder der Hierarchie einer Bezeichnung viele Ebenen hinzufügen, kann es für das Modell zu schwierig werden, sie zu erkennen oder sie von früheren Ebenen zu unterscheiden
• Der Spezifitätsgrad für eine Beschriftung muss mit dem Inhalt der Nachrichten übereinstimmen. Wenn sie zu spezifisch ist, um realistisch von anderen ähnlichen Bezeichnungen in der Hierarchie zu unterscheiden, kann das Modell verwirren
• In den meisten Fällen empfiehlt es sich, drei oder weniger Ebenen in der Hierarchie einer Bezeichnung zu haben – d. h. [Stammbezeichnung] > [Verbindungsbezeichnung] > [Blattbezeichnung]

5. Es kann mehrere Bezeichnungen in der Taxonomie geben, die sich stark überschneiden, und das Modell hat Schwierigkeiten, zwischen den beiden zu unterscheiden

• Wenn Sie zwei Beschriftungen haben, die sich sehr ähnlich und schwer voneinander zu unterscheiden sind, kann dies das Modell verwirren, da es nicht weiß, welche der beiden Beschriftungen zutrifft
• In diesen Fällen sollten Sie die Bezeichnungen zusammenführen
• Alternativ können Sie die überprüften Nachrichten einzeln durchgehen und sicherstellen, dass die Konzepte konsistent angewendet werden und sich voneinander unterscheiden

6. Die Nachrichten mit dieser Bezeichnung sind meistens sehr ähnlich oder identisch und das Modell hat Probleme, verschiedene Möglichkeiten zu erkennen, die gleiche Absicht oder das gleiche Konzept auszudrücken

• Sie sollten sicherstellen, dass Sie dem Modell für jede Bezeichnung mehrere Trainingsbeispiele zur Verfügung stellen, die verschiedene Möglichkeiten zum Ausdruck der Absicht oder des Konzepts enthalten, die die Bezeichnung erfassen soll

7. Die Absicht oder das Konzept, das von dieser Bezeichnung erfasst wird, lässt sich nicht semantisch aus dem Text der Nachricht oder den unterstützenden Metadaten ableiten

• Es ist üblich, dass Benutzer eine Nachricht basierend auf ihrem eigenen Geschäftswissen über den Kontext oder Prozess kommentieren, die folgen würden, und nicht auf dem tatsächlichen Text oder den Metadaten der Nachricht
• Zum Beispiel könnte ein KMU-Benutzer wissen, dass die Kommunikation von einer bestimmten Person stammt und es daher um ein bestimmtes Thema gehen muss, obwohl nichts anderes im Text oder in den Metadaten eindeutig darauf hinweist, dass die Bezeichnung zutreffen sollte
• In diesem Fall sollten Benutzer die Bezeichnung nur anwenden, wenn das Modell sie ohne dieses Insiderwissen aus dem Text oder den Metadaten erkennen könnte