Erläuterungen zu Präzision und Rückruf

Präzision und Wiedererkennung sind grundlegende Metriken, um die Leistung eines Machine Learning-Modells zu messen, und es ist wichtig, dass die Trainingsmodelle sie verstehen, bevor sie versuchen, die Leistung ihres eigenen Modells zu bewerten.

Was bedeuten diese Maßnahmen nun?

Genauigkeit ist der Anteil aller Vorhersagen, die tatsächlich richtig waren.

Rückruf ist der Anteil aller möglichen true positiven Ergebnisse , die identifiziert wurden.

Im Folgenden finden Sie einige Beispiele aus der Praxis, die erklären, wie Präzision und Rückruf funktionieren.

Beispiel 1 – Szenario 1

Wenn Sie einen digitalen Reisepass haben, sind Sie vielleicht mit den digitalen Schritten (e-gates) bei der Grenzkontrolle bei der Reise in das Land vertraut. Sie haben Bilderkennungskameras installiert, die Ihr Gesicht analysieren und überprüfen, ob es mit der digitalen Version in Ihrem Pass übereinstimmt. Im Wesentlichen ist es ein Klassifizierungsproblem, das sie zu lösen versuchen – ist diese Person, die sie angeben oder nicht.

Angenommen ein Flughafen beschließt, diese elektronische Gates zu implementieren. Sie möchten jedoch überprüfen, wie effektiv die Kameras die Gesichter der Personen mit den Passbildern abgleichen, bevor sie der Öffentlichkeit zur Verfügung gestellt werden. In diesem Beispiel soll eine Kamera verwendet werden, die nur Gesichter identifiziert (oder vorhersagt), die mit dem Bild im Pass übereinstimmen. Diese Kameras möchten so viele Personen wie möglich durchlassen, aber auch alle Personen erfassen, die möglicherweise den Pass einer anderen Person verwenden, oder einen gefälschten, bei dem die Bilder nicht übereinstimmen.

Präzision

Mit der Genauigkeit wird gemessen, wie genau die Kamera die richtigen Personen durch die Portale lässt. Im Wesentlichen, welcher Anteil aller Personen, die durchgelassen wurden, einen übereinstimmenden Pass hatten.

Im ersten Test erhalten Sie 100 Personen, die die neue Kamera verwenden. Das Ergebnis zeigt, dass die Kamera 70 Personen durchlässt und 30 zurückweist, die dann zu den klassischen Schaltern gehen müssen, die von Menschen besetzt sind.

Es stellt sich heraus, dass es von den 70 Personen, die durchgelassen wurden, tatsächlich 4 war, die nicht durchgelassen werden sollten (wir wissen bereits im Voraus, dass sie die falschen Pässe hatten). Um die Genauigkeit zu berechnen, gehen wir wie folgt vor:

Genauigkeit = Anzahl der korrekt identifizierten Personen / Die Gesamtzahl der durchgelassenen Personen (richtig und falsch) = 66/(66+4) = 94 %

Rückruf

Hier gibt es jedoch ein kleines Problem. Angenommen, wir wissen, dass es insgesamt 95 Personen mit korrekten Pässen gibt, von denen nur 66 korrekt durchgelassen wurden (wie oben), d. h. 29 (95–66) Personen wurden fälschlicherweise abgelehnt und mussten sich der manuellen Warteschlange anmelden. Wie können wir alle Personen, die wir durchlassen sollten, besser korrekt identifizieren?

Hier kommt unsere andere Kennzahl, die Rückrufaktion, ins Spiel. Die Rückrufaktion misst, wie viele der Personen, die die Kamera als korrekt identifiziert und durchgelassen hat, aufgenommen wurden. In diesem Beispiel wissen wir, dass nur 66 der 95 Personen mit korrekten Pässen durchgelassen wurden, sodass die Rückrufaktion wie folgt berechnet wird:

Rückruf = Anzahl der korrekten identifizierten Pässe / Die Gesamtzahl der Personen mit korrekten Pässen = 66/95 = 69 %

Beispiel 1 – Szenario 2

Nehmen wir ein weiteres Szenario, um zu zeigen, wie sich Präzision und Rückruf ändern können. Wir verwenden das gleiche Setup, aber dieses Mal wurde die Kamera auf eine größere Auswahl an Bildern trainiert, und wir möchten testen, wie sehr die Kamera dadurch verbessert wird.

Genau wie bei Szenario 1 durchlaufen die gleichen 100 Personen erneut die Passkontrollen, und wir wissen, dass 95 von ihnen korrekte Pässe haben.

Diesmal werden jedoch 85 Personen durchgelassen, wobei 15 von der Aufgabe ausgeschlossen werden, zu den klassischen Schaltern mit Menschen zu gehen. Von diesen 85 Personen, die die Gates passierten, wurden 82 korrekt durchgelassen und 3 Personen, die nicht hätten durchgelassen werden dürfen, da sie die falschen Pässe hatten.

Die Genauigkeit ist hier = 82/(82+3) = 96 %

Sehen wir uns nun an, wie sich dies auf den Rückruf auswirkte:

Rückruf = 82/95 = 86 %

In diesem Szenario haben wir eine ähnliche Präzisionspunktzahl, aber eine ziemliche Verbesserung bei der Rückrufaktion. Das bedeutet, dass unsere Vorhersagen zwar noch zutreffend waren (94 % vs. 96 %), aber mehr Fälle identifizieren konnten, in denen Personen hätten durchgelassen werden müssen, da sie über den richtigen Pass verfügten (69 % vs. 86 %). Dies zeigt, dass das zusätzliche Training die Rückrufaktion der Kamera im Vergleich zu Szenario 1 erheblich verbessert hat.

Beispiel 2

Ein weiteres einfaches Beispiel zeigt, wie sich dieselben Maßnahmen in verschiedenen Situationen unterscheiden können.

Feuermelder sollen erkennen, wenn ein Feuer ausbricht. In gewisser Weise müssen sie vorhersagen, wann es brechen wird, aber es gibt auch Fälle, in denen sie es falsch verstehen und einen Fehlalarm auslösen. In dieser Situation ist es wichtiger, sicherzustellen, dass ein Brand zu 100 % erkannt wird. Wir können den einen oder anderen Fehlalarm akzeptieren, solange ein Feuer erkannt wird. In diesem Beispiel ist ein hoher Rückruf wichtiger – sicherzustellen, dass jedes Feuer erkannt wird!

Angenommen, pro Jahr werden 10 Feuer erkannt und nur 1 davon ist tatsächlich. Der Alarm/Detektor hat 10 Mal ein Feuer vorhergesagt, 1 war richtig, 9 war falsch. In diesem Fall betrug die Präzision nur 10 % (1/10), aber die Rückrufaktion betrug 100 % (1/1). Der Feuermelder hat alle von allen vorhandenen Feuern erkannt. Während also die Genauigkeit schlecht war und es viele falsche Alarme gab, war die Rückrufaktion perfekt und wir haben das eine Mal gefangen, als es gebrochen ist.

Was ist wichtiger: Präzision oder Rückruf?

Es gibt zwei richtige Antworten auf diese Frage:

• Beides
• Es kommt darauf an

Die obigen Beispiele zeigen einen Zielkonflikt zwischen den beiden Metriken und wie jede von ihnen je nach der Situation, für die sie verwendet wird, immer wichtiger wird.

Am Beispiel des Brandmelders ist es wichtiger, alle Brandfälle zu erfassen, da die Folgen, wenn man dies nicht tut, gefährlich sind. Wenn ein Feuer ausgebrochen ist und der Melder nicht funktioniert hat, können Menschen tot sein. In diesen Szenarien möchten wir für einen hohen Wiedererkennungswert optimieren, um sicherzustellen, dass alle Fälle identifiziert werden, auch auf Kosten falscher Feuermelder

Im Gegensatz dazu wäre es beim Pass-Gate-Beispiel wichtiger, nur Personen durch die Gates zu lassen, deren Bild auf ihrem Pass mit dem von der Kamera erkannten Bild übereinstimmte. Sie möchten niemanden durchlassen, der einen gefälschten oder falschen Pass hatte. Sie möchten in diesem Beispiel für hohe Genauigkeit optimieren, und es macht Ihnen nichts aus, wenn die eine oder andere Person, die hätte durchgelassen werden sollen, zur manuellen Überprüfung auf den Schalter geschickt wird. In diesem Fall wäre die Rückrufaktion geringer, aber die Genauigkeit (auf die es hier ankommt) wäre hoch.