Präzision

Die Genauigkeit misst den Anteil der Vorhersagen, die das Modell macht und die tatsächlich richtig waren. Das bedeutet, dass der Anteil der echten positiven Vorhersagen an allen positiven Vorhersagen, die das Modell gemacht hat, ermittelt wird.

Genauigkeit = true positives Ergebnis / (true positive Ergebnisse + false positive)

Beispielsweise ist für alle 100 Nachrichten in einem Dataset, für die die Beschriftung „Information anfordern“ vorhergesagt wurde, die Genauigkeit der Prozentsatz der Male, die die „Anforderung von Informationen“ korrekt vorhergesagt wurde, von der Gesamtzahl der Vorhersagen.

Eine Genauigkeit von 95 % würde bedeuten, dass von 100 Nachrichten, die mit einer bestimmten Beschriftung vorhergesagt werden, 95 korrekt mit Anmerkungen versehen und 5 falsch mit Anmerkungen versehen würden, was bedeutet, dass sie nicht mit dieser Beschriftung hätten mit Anmerkungen versehen werden dürfen.

Eine ausführlichere Erklärung zur Funktionsweise von Präzision finden Sie unter Erklärung von Genauigkeit und Rückruf.

Durchschnittliche Genauigkeit (AP)

Der AP- Score für eine einzelne Beschriftung wird als Durchschnitt aller Genauigkeitspunktzahlen bei jedem Erinnerungswert zwischen 0 und 100 % für diese Beschriftung berechnet.

Im Wesentlichen misst die durchschnittliche Genauigkeit, wie gut das Modell über alle Konfidenzschwellenwerte für diese Bezeichnung hinweg funktioniert.

Mittlere durchschnittliche Präzision (MAP)

Der MAP ist eines der nützlichsten Maßeinheiten für die Gesamtleistung des Modells und stellt eine einfache Möglichkeit dar, verschiedene Modellversionen miteinander zu vergleichen.

Die MAP- Punktzahl ist der Mittelwert der durchschnittlichen Genauigkeitspunktzahl für jede Beschriftung in Ihrer Taxonomie, die mindestens 20 Beispiele im Trainingssatz für die Validierung enthält.

In der Regel ist die Gesamtleistung des Modells umso besser, je höher die MAP-Punktzahl ist. Dies ist jedoch nicht der einzige Faktor, der berücksichtigt werden sollte, wenn ein Modell in Ordnung ist. Es ist auch wichtig zu wissen, dass Ihr Modell unverzerrt ist und eine hohe Abdeckung hat .

Mittlere Genauigkeit bei Erinnerung

Die mittlere Präzision beim Rückruf ist eine weitere Metrik, die die Gesamtleistung des Modells anzeigt. Sie wird grafisch als eine Präzision bei der Rückruf-Kurve dargestellt, die über alle Bezeichnungen in Ihrer Taxonomie gemittelt wird.