Präzision und Rückruf

Überblick

Wenn Sie eine Taxonomie durch Kommentieren von Daten erstellen, erstellen Sie ein Modell. Dieses Modell verwendet die Bezeichnungen, die Sie auf einen Datensatz angewendet haben, um ähnliche Konzepte und Absichten in anderen Nachrichten zu identifizieren und vorherzusagen, welche Bezeichnungen für sie gelten.

Auf diese Weise verfügt jede Beschriftung über einen eigenen Satz an Genauigkeits- und Erinnerungspunktzahlen.

Denken Sie zum Beispiel an eine Beschriftung in der Plattform namens Information anfordern als Teil einer Taxonomie. In diesem Szenario könnten sich Genauigkeit und Erinnerung wie folgt darauf beziehen:

• Genauigkeit - Für alle 100 Nachrichten, die mit dem Label „Informationsanforderung“ vorhergesagt wurden, ist dies der Prozentsatz der Male, die die „Informationsanforderung“ korrekt vorhergesagt wurde, von der Gesamtzeit, die sie vorhergesagt wurde. Eine Genauigkeit von 95 % würde bedeuten, dass von 100 Nachrichten 95 korrekt als „Informationsanforderung“ mit Anmerkungen versehen würden und 5 falsch mit Anmerkungen versehen würden (d. h. sie hätten nicht mit dieser Beschriftung mit Anmerkungen versehen werden dürfen).
• Rückruf – Wie viele Nachrichten für jeweils 100 Nachrichten, die als „Informationsanforderung“ mit Anmerkungen versehen hätten, die Plattform gefunden hat. Eine 77-%-Erinnerung würde bedeuten, dass 23 Nachrichten mit der Beschriftung „Informationen anfordern“ hätten vorhergesagt werden müssen, diese jedoch fehlten

Die Erinnerung über alle Beschriftungen hinweg hängt direkt mit der Abdeckung Ihres Modells zusammen.

Wenn Sie zuversichtlich sind, dass Ihre Taxonomie alle relevanten Konzepte in Ihrem Dataset abdeckt und Ihre Beschriftungen eine angemessene Genauigkeit aufweisen, bestimmt die Erinnerung dieser Beschriftungen, wie gut Ihr Dataset durch Beschriftungsvorhersagen abgedeckt wird. Wenn alle Ihre Beschriftungen eine hohe Erinnerung haben, hat Ihr Modell eine hohe Abdeckung.

Vergleichen von Genauigkeit und Erinnerung

Wir müssen auch den Zielkonflikt zwischen Präzision und Wiedererkennung innerhalb einer bestimmten Modellversion verstehen.

Die Präzisions- und Rückrufstatistiken für jede Bezeichnung in einer bestimmten Modellversion werden durch einen Konfidenzschwellenwert bestimmt (d. h Wie sicher ist das Modell, auf das diese Bezeichnung angewendet wird?).

Die Plattform veröffentlicht Präzisions- und Rückrufstatistiken live auf der Seite Validierung, und Benutzer können mithilfe des anpassbaren Schiebereglers nachvollziehen, wie sich unterschiedliche Konfidenzschwellenwerte auf die Präzisions- und Rückrufbewertungen auswirken.

Wenn Sie den Konfidenzschwellenwert erhöhen, ist das Modell sicherer, dass eine Bezeichnung zutrifft, und daher nimmt die Genauigkeit in der Regel zu. Da das Modell jedoch sicherer sein muss, um eine Vorhersage anzuwenden, werden gleichzeitig weniger Vorhersagen getroffen und die Rückrufe werden in der Regel zurückgehen. Das Umgekehrte ist in der Regel auch der Fall, wenn Sie den Konfidenzschwellenwert verringern.

Als Faustregel gilt: Wenn Sie den Konfidenzschwellenwert anpassen und sich die Genauigkeit verbessert, wird die Wiedererkennung in der Regel verringern und umgekehrt.

Innerhalb der Plattform ist es wichtig, diesen Zielkonflikt zu verstehen und zu verstehen, was er beim Einrichten von Automatisierungen über die Plattform bedeutet. Benutzer müssen einen Konfidenzschwellenwert für die Bezeichnung festlegen, die Teil ihrer Automatisierung sein soll, und dieser Schwellenwert muss angepasst werden, um Präzisions- und Rückrufstatistiken bereitzustellen, die für diesen Prozess akzeptabel sind.

Bestimmte Prozesse können eine hohe Wiedererkennung legen (so viele Instanzen eines Ereignisses wie möglich abfangen), während andere hohe Genauigkeiten (korrektes Erkennen von Instanzen eines Ereignisses) Wert legen.