Auswählen von Konfidenz-Schwellenwerten für Bezeichnungen

Einleitung

Die Plattform wird in der Regel in einem der ersten Schritte eines automatisierten Prozesses verwendet: Erfassen, Interpretieren und Strukturieren einer eingehenden Kommunikation, z. B. einer Kunden-E-Mail, ähnlich wie ein Mensch dies tun würde, wenn diese E-Mail in seinem Posteingang eintrifft.

Wenn die Plattform vorhersagt, welche Bezeichnungen (oder Tags) auf eine Kommunikation zutreffen, weist sie jeder Vorhersage einen Konfidenzwert (%) zu, um zu zeigen, wie sicher die Bezeichnung ist.

Wenn diese Vorhersagen jedoch verwendet werden sollen, um die Kommunikation automatisch zu klassifizieren, muss es eine binäre Entscheidung geben – d. h. trifft diese Bezeichnung zu oder nicht? Hier kommen die Konfidenzschwellenwerte ins Spiel.

Ein Konfidenzschwellenwert ist der Konfidenzwert (%), bei dem ein RPA-Bot oder ein anderer Automatisierungsdienst die Vorhersage von der Plattform als binäres „Ja, diese Bezeichnung gilt“ nimmt und unterhalb der die Vorhersage als binäres liegt „Nein, diese Beschriftung trifft nicht zu“.

Es ist daher sehr wichtig, die Konfidenzschwellenwerte zu verstehen und wie der geeignete ausgewählt wird, um das richtige Verhältnis von Präzision und Rückruf für diese Bezeichnung zu erreichen.

Auswählen eines Schwellenwerts für eine Beschriftung

• Um einen Schwellenwert für eine Bezeichnung auszuwählen, navigieren Sie zur Seite „Validierung“ und wählen Sie die Bezeichnung in der Bezeichnungsfilterleiste aus
• Ziehen Sie dann einfach den Schwellenwertschieberegler, oder geben Sie eine %-Zahl in das Feld ein (wie unten gezeigt), um die unterschiedlichen Präzisions- und Rückrufstatistiken anzuzeigen, die für diesen Schwellenwert erreicht würden
• Das Diagramm Präzision im Vergleich zu Wiedererkennung gibt Ihnen einen visuellen Hinweis auf die Konfidenzschwellenwerte, die die Präzision oder Wiedererkennung maximieren oder für ein Ausgewogenheit zwischen beiden sorgen würden:
  • In der ersten Abbildung unten würde der ausgewählte Konfidenzschwellenwert (68,7 %) die Genauigkeit maximieren (100 %) – d. h. die Plattform sollte bei diesem Schwellenwert in der Regel keine Vorhersagen falsch machen – hätte aber dadurch einen niedrigeren Rückrufwert (85 %)
  • Im zweiten Bild bietet der ausgewählte Konfidenz-Schwellenwert (39,8 %) ein gutes Verhältnis zwischen Präzision und Wiedererkennung (beide 92 %).
  • In der dritten Abbildung würde der ausgewählte Konfidenzschwellenwert (17 %) die Wiedererkennung maximieren (100 %) – d. h. die Plattform sollte jede Instanz identifizieren, auf der diese Bezeichnung gelten soll – hätte aber dadurch einen niedrigeren Genauigkeitswert (84 %)

Label-Validierung mit einem Konfidenz-Schwellenwert von 68,7 %

Labelvalidierung mit einem Konfidenzschwellenwert von 39,8 %

Labelvalidierung mit einem Konfidenzschwellenwert von 17 %

Auswählen des richtigen Schwellenwerts

Wie wählen Sie also den für Sie richtigen Schwellenwert aus? Die einfache Antwort ist: Es kommt darauf an.

Je nach Anwendungsfall und spezifischer Bezeichnung möchten Sie möglicherweise entweder die Präzision oder die Wiedererkennung maximieren oder den Schwellenwert finden, der die bestmögliche Balance von beidem bietet.

Wenn Sie darüber entscheiden, welcher Schwellenwert erforderlich ist, sollten Sie an mögliche Ergebnisse denken: Was sind die potenziellen Kosten oder Folgen für Ihr Unternehmen, wenn eine Bezeichnung falsch angewendet wird? Was ist, wenn sie verpasst wird?

Für jede Bezeichnung sollte Ihr Schwellenwert basierend auf dem besseren Ergebnis für das Unternehmen gewählt werden, wenn etwas schief läuft – d. h. etwas wird falsch klassifiziert (ein falsch positives Ergebnis) oder etwas wird übersehen (ein falsch negatives Ergebnis).

Wenn Sie beispielsweise eingehende Kommunikation automatisch in verschiedene Kategorien klassifizieren möchten, aber auch eine Beschriftung für „Dringend“ haben, die Anforderungen an eine Arbeitswarteschlange mit hoher Priorität weiterleitet, möchten Sie möglicherweise den Rückruf für diese Beschriftung maximieren, um sicherzustellen, dass keine dringende Anforderungen werden übersprungen und akzeptieren als Ergebnis eine niedrigere Genauigkeit. Dies liegt daran, dass es für das Unternehmen möglicherweise nicht sehr schädlich ist, wenn einige weniger dringende Anforderungen in die Prioritätswarteschlange gesetzt werden. Es könnte jedoch sehr schädlich für das Unternehmen sein, eine dringende, zeitabhängige Anforderung zu übersehen.

Wenn Sie beispielsweise einen Anforderungstyp bei einer Geldtransaktion oder einem hohen Wert durchgängig automatisieren, würden Sie wahrscheinlich einen Schwellenwert wählen, der die Genauigkeit maximiert, sodass nur End-to- die Transaktionen zu beenden, bei denen die Plattform am zuversichtlichsten war. Vorhersagen mit Konfidenzen unter dem Schwellenwert werden dann manuell überprüft. Dies liegt daran, dass die Kosten einer falschen Vorhersage (ein falsch positives Ergebnis) potenziell sehr hoch sind, wenn eine Transaktion dann falsch verarbeitet wird.