Validierung für Entitäten

Einleitung

Die Plattform zeigt Validierungsstatistiken, Warnungen und empfohlene Aktionen für aktivierte Entitäten auf der Seite Validierung an, ähnlich wie für jede Bezeichnung in Ihrer Taxonomie.

Um diese anzuzeigen, navigieren Sie zur Seite „ Validierung “ und wählen Sie oben die Registerkarte „ Entitäten“ aus, wie in der Abbildung unten gezeigt.

Zugriff auf die Seite „Entitätsvalidierung“.

Wie funktioniert die Entitätsvalidierung?

Der Prozess, bei dem die Plattform ihre Fähigkeit validiert, Entitäten korrekt vorherzusagen, ist sehr ähnlich wie bei Beschriftungen.

Nachrichten werden in einen Trainingssatz und einen Testsatz (zufällig durch die Nachrichten-ID jeder Nachricht bestimmt) aufgeteilt (80:20), wenn sie dem Dataset zum ersten Mal hinzugefügt werden. Alle Entitäten, die zugewiesen wurden (Vorhersagen, die akzeptiert wurden oder korrigiert wurden), fallen in den Trainingssatz oder in den Testsatz, basierend auf dem Satz, dem die Nachricht, in der sie sich befinden, ursprünglich zugewiesen wurde.

Da es manchmal eine sehr große Anzahl von Entitäten in einer Nachricht geben kann und es keine Garantie gibt, ob sich eine Nachricht im Trainingssatz oder im Testsatz befindet, sehen Sie möglicherweise eine große Ungleichheit zwischen der Anzahl der Entitäten in jedem Satz.

Es kann auch Fälle geben, in denen alle zugewiesenen Entitäten in den Trainingssatz fallen. Da im Testsatz mindestens ein Beispiel erforderlich ist, um die Validierungspunktzahlen zu berechnen, würde diese Entität mehr zugewiesene Beispiele benötigen, bis einige im Testsatz vorhanden waren.

Wie werden die Punktzahlen berechnet?

Die einzelnen Präzisions- und Rückrufstatistiken für jede Entität mit ausreichend Trainingsdaten werden auf sehr ähnliche Weise wie Bezeichnungen berechnet:

Genauigkeit = Anzahl der übereinstimmenden Entitäten/Anzahl der vorhergesagten Entitäten

Rückruf = Anzahl der übereinstimmenden Entitäten/Anzahl der tatsächlichen Entitäten

Bei einer „übereinstimmenden Entität“ hat die Plattform die Entität genau vorhergesagt (d. h keine teilweisen Übereinstimmungen)

Die F1-Punktzahl ist lediglich das harmonierende Mittel für sowohl Präzision als auch Rückruf.

Trainierbare Entitäten

Es ist erwähnenswert, dass die auf dieser Seite angezeigten Statistiken zur Präzision und zum Rückruf am nützlichsten für die Entitäten sind, die live in der Plattform trainierbar sind (gezeigt in der zweiten Spalte oben), da alle für diese Entitätstypen überprüften Entitäten sich direkt auf die Plattform auswirken in der Lage zu sein, diese Entitäten vorherzusagen.

Daher sollten nach Möglichkeit korrekte Entitäten akzeptiert und falsche Entitäten korrigiert oder abgelehnt werden.

Vortrainierte Entitäten

Bei vortrainierten Entitäten müssten die Benutzer sicherstellen, dass sie eine beträchtliche Anzahl korrekter Vorhersagen akzeptieren und falsche Vorhersagen korrigieren, damit die Validierungsstatistiken ein genaues Abbild der Leistung bieten.

Wenn sie nur falsche Vorhersagen korrigieren sollten, würden die Trainings- und Testsätze nur mit den Instanzen gefüllt, in denen die Plattform Schwierigkeiten hat, eine Entität vorherzusagen, und nicht mit denen, in denen sie sie besser vorhersagen kann. Da die Korrektur falscher Vorhersagen für diese Entitäten nicht zu einer Echtzeitaktualisierung dieser Entitäten führt (sie werden regelmäßig offline aktualisiert), ändern sich die Validierungsstatistiken möglicherweise einige Zeit lang nicht und könnten falsch niedrig ausfallen.

Das Akzeptieren vieler korrekter Vorhersagen ist unter Umständen nicht immer praktisch, da diese Entitäten in den meisten Fällen korrekt vorhergesagt werden. Wenn aber die meisten Vorhersagen für diese Entitäten korrekt sind, müssen Sie sich wahrscheinlich keine Gedanken über deren Genauigkeit und Rückrufstatistiken auf der Seite Validierung machen.

Was bedeuten die zusammenfassenden Statistiken?

Die zusammenfassenden Statistiken (durchschnittliche Präzision, durchschnittliche Wiedererkennung und durchschnittliche F1-Punktzahl) sind lediglich Durchschnittswerte der einzelnen Entitätspunktzahlen.

Wie bei Beschriftungen sind nur Entitäten, die über ausreichende Trainingsdaten verfügen, in den Durchschnittspunktzahlen enthalten. Bei Trainingsdaten, die nicht über ausreichende Trainingsdaten verfügen, wird neben ihrem Namen ein Warnsymbol angezeigt.

Hinweis: Die zusammenfassenden Statistiken enthalten alle Entitäten mit ausreichenden Trainingsdaten, sowohl diejenigen, die live trainierbar sind, als auch diejenigen, die vortrainiert sind. Die Vorhersagen für vortrainierte Entitäten werden oft nur korrigiert, wenn sie falsch sind, und nicht immer akzeptiert, wenn sie richtig sind. Das bedeutet, dass ihre Präzisions- und Rückrufstatistiken oft falsch niedrig sein können, was die durchschnittlichen Punktzahlen verringert.

Metriken

Auf der Seite Entitätsvalidierung werden die durchschnittlichen Entitätsleistungsstatistiken sowie ein Diagramm angezeigt, das die durchschnittliche F1-Punktzahl jeder Entität im Vergleich zu ihrer Trainingssatzgröße anzeigt. Das Diagramm kennzeichnet auch Entitäten, die gelbe oder rote Leistungswarnungen aufweisen.

Seite „Entitätenvalidierung“.

Die angezeigten Entitätsleistungsstatistiken sind:

• Durchschnittliche F1-Punktzahl: Der Durchschnitt der F1-Punktzahl für alle Entitäten mit ausreichend Daten, um die Leistung genau zu schätzen. Bei dieser Punktzahl werden Erinnerung und Genauigkeit gleich gewichtet. Ein Modell mit einer hohen F1-Punktzahl erzeugt weniger falsch positive und negative Ergebnisse.
• Durchschnittliche Genauigkeit: Durchschnitt der Genauigkeitsbewertungen für alle Entitäten mit ausreichend Daten, um die Leistung genau zu schätzen. Ein Modell mit hoher Genauigkeit erzeugt weniger falsch positive Ergebnisse.
• Durchschnittliche Rückrufbewertung: Durchschnitt der Rückrufbewertungen für alle Entitäten mit ausreichend Daten, um die Leistung genau zu schätzen. Ein Modell mit hoher Wiedererkennung erzeugt weniger falsch negative Ergebnisse.

Verstehen der Entitätsleistung

Das Entitätsleistungsdiagramm, das auf der Registerkarte Metriken der Seite Validierung (siehe oben) angezeigt wird, gibt einen sofortigen visuellen Hinweis auf die Leistung jeder einzelnen Entität.

Damit eine Entität in diesem Diagramm angezeigt wird, muss sie mindestens 20 angeheftete Beispiele im Trainingssatz haben, der von der Plattform während der Validierung verwendet wird. Um dies zu gewährleisten, sollten Benutzer sicherstellen, dass sie mindestens 25 (oft mehr) angeheftete Beispiele pro Entität aus 25 verschiedenen Nachrichten zur Verfügung stellen.

Jede Entität wird in einer von drei Farben dargestellt, basierend auf dem Verständnis des Modells von der Leistung der Entität. Im Folgenden erklären wir, was diese bedeuten:

Entitätsleistungsindikatoren

Entitätsleistungsindikatoren:

• Die Entitäten, die im Diagramm blau dargestellt sind, haben eine zufriedenstellende Leistung . Dies basiert auf zahlreichen Faktoren, die dazu beitragen, einschließlich der Anzahl und Vielfalt der Beispiele und der durchschnittlichen Genauigkeit für diese Entität

• Entitäten , die gelb aufgezeichnet werden , haben eine etwas schlechtere Leistung als zufriedenstellend . Sie können eine relativ geringe durchschnittliche Genauigkeit oder nicht ganz genügend Trainingsbeispiele haben. Diese Entitäten benötigen ein wenig Training/Korrektur, um ihre Leistung zu verbessern

• Entitäten, die rot dargestellt sind, sind Entitäten mit schlechter Leistung. Sie haben möglicherweise eine sehr geringe durchschnittliche Genauigkeit oder nicht genügend Trainingsbeispiele. Diese Entitäten können erheblich mehr Training/Korrektur erfordern, um ihre Leistung auf ein zufriedenstellendes Maß zu bringen

Hinweis: Sie sehen die gelben und roten Leistungsindikatoren in den Entitätsfilterleisten bei Erkunden, Berichten und Validierung. Dies hilft, Sie schnell darüber zu informieren, welche Entitäten Hilfe benötigen und auch, dass Sie sich bei der Verwendung der Analysefunktionen nicht auf die Vorhersagen der Entitäten verlassen sollten (ohne Verbesserungsarbeit).

Leistung der einzelnen Entitäten

Benutzer können einzelne Entitäten aus der Entitätsfilterleiste auswählen (oder durch Klicken auf das Diagramm der Entität im Diagramm „Alle Entitäten“), um die Leistungsstatistiken der Entität anzuzeigen.

In der spezifischen Entitätsansicht werden auch alle Leistungswarnungen und empfohlenen Vorschläge für die nächste beste Aktion angezeigt, um die Leistung zu verbessern.

Die Entitätsansicht zeigt die durchschnittliche F1-Punktzahl für die Entität sowie deren Präzision und Wiedererkennung an.

Beispiel einer Entitätskarte mit empfohlenen Aktionen