Präzision und Rückruf

Überblick

Wenn Sie eine Taxonomie durch Kommentieren von Daten erstellen, erstellen Sie ein Modell. Dieses Modell verwendet die Bezeichnungen, die Sie auf einen Datensatz angewendet haben, um ähnliche Konzepte und Absichten in anderen Nachrichten zu identifizieren und vorherzusagen, welche Bezeichnungen für sie gelten.

Auf diese Weise hat jede Bezeichnung ihre eigenen Präzisions- und Rückrufbewertungen .

Angenommen, wir haben als Teil einer Taxonomie eine Beschriftung in der Plattform namens „Informationsanforderung“. In welcher Beziehung stehen Präzision und Rückruf dazu?

• Genauigkeit: Für alle 100 Nachrichten, die mit dem Label „Informationsanforderung“ vorhergesagt wurden, ist dies der Prozentsatz der Häufigkeit, mit der die „Informationsanforderung“ korrekt vorhergesagt wurde. Eine Genauigkeit von 95 % würde bedeuten, dass von je 100 Nachrichten 95 korrekt als „Informationsanforderung“ und 5 falsch gekennzeichnet würden (d. h. sie hätten nicht mit dieser Bezeichnung gekennzeichnet werden dürfen).
• Rückruf: Wie viele hat die Plattform für je 100 Nachrichten gefunden, die als „Informationsanfrage“ hätten kommentiert werden müssen. Eine Erkennung von 77 % würde bedeuten, dass es 23 Nachrichten gab, die mit der Beschriftung „Anforderung an Informationen“ hätten vorhergesagt werden müssen, diese aber verpasst haben

„Rückruf“ über alle Bezeichnungen hinweg steht in direktem Zusammenhang mit der Abdeckung Ihres Modells.

Wenn Sie sicher sind, dass Ihre Taxonomie alle relevanten Konzepte in Ihrem Dataset abdeckt und Ihre Beschriftungen eine angemessene Genauigkeit aufweisen, dann bestimmt der Rückruf dieser Beschriftungen, wie gut Ihr Dataset durch Beschriftungsvorhersagen abgedeckt ist. Wenn alle Ihre Bezeichnungen einen hohen Wiedererkennungswert haben, wird Ihr Modell eine hohe Abdeckung haben.

Genauigkeit vs. Rückruf

Wir müssen auch den Zielkonflikt zwischen Präzision und Wiedererkennung innerhalb einer bestimmten Modellversion verstehen.

Die Präzisions- und Rückrufstatistiken für jede Bezeichnung in einer bestimmten Modellversion werden durch einen Konfidenzschwellenwert bestimmt (d. h Wie sicher ist das Modell, auf das diese Bezeichnung angewendet wird?).

Die Plattform veröffentlicht Präzisions- und Rückrufstatistiken live auf der Seite Validierung, und Benutzer können mithilfe des anpassbaren Schiebereglers nachvollziehen, wie sich unterschiedliche Konfidenzschwellenwerte auf die Präzisions- und Rückrufbewertungen auswirken.

Wenn Sie den Konfidenzschwellenwert erhöhen, ist das Modell sicherer, dass eine Bezeichnung zutrifft, und daher nimmt die Genauigkeit in der Regel zu. Da das Modell jedoch sicherer sein muss, um eine Vorhersage anzuwenden, werden gleichzeitig weniger Vorhersagen getroffen und die Rückrufe werden in der Regel zurückgehen. Das Umgekehrte ist in der Regel auch der Fall, wenn Sie den Konfidenzschwellenwert verringern.

Als Faustregel gilt: Wenn Sie den Konfidenzschwellenwert anpassen und sich die Genauigkeit verbessert, wird die Wiedererkennung in der Regel verringern und umgekehrt.

Innerhalb der Plattform ist es wichtig, diesen Zielkonflikt zu verstehen und zu verstehen, was er beim Einrichten von Automatisierungen über die Plattform bedeutet. Benutzer müssen einen Konfidenzschwellenwert für die Bezeichnung festlegen, die Teil ihrer Automatisierung sein soll, und dieser Schwellenwert muss angepasst werden, um Präzisions- und Rückrufstatistiken bereitzustellen, die für diesen Prozess akzeptabel sind.

Bestimmte Prozesse können eine hohe Wiedererkennung legen (so viele Instanzen eines Ereignisses wie möglich abfangen), während andere hohe Genauigkeiten (korrektes Erkennen von Instanzen eines Ereignisses) Wert legen.