Auswählen von Konfidenz-Schwellenwerten für Bezeichnungen

Einleitung

Die Plattform wird in der Regel in einem der ersten Schritte eines automatisierten Prozesses verwendet: Erfassen, Interpretieren und Strukturieren einer eingehenden Kommunikation, z. B. einer Kunden-E-Mail, ähnlich wie ein Mensch dies tun würde, wenn diese E-Mail in seinem Posteingang eintrifft.

Wenn die Plattform vorhersagt, welche Beschriftungen oder Tags für eine Kommunikation gelten, wird jeder Vorhersage ein Konfidenzwert (%) zugewiesen, um zu zeigen, wie zuversichtlich die Beschriftung ist.

Wenn diese Vorhersagen jedoch verwendet werden sollen, um die Kommunikation automatisch zu klassifizieren, muss es eine binäre Entscheidung geben, d. h. ob diese Beschriftung zutrifft oder nicht. Hier kommen Konfidenzschwellenwerte ins Spiel.

Ein Konfidenzschwellenwert ist der Konfidenzwert (%), bei dem ein RPA-Bot oder ein anderer Automatisierungsdienst die Vorhersage als binäres Ja von der Plattform nimmt, diese Bezeichnung gilt und, unterhalb dessen die Vorhersage als binäres Nein akzeptiert wird gilt diese Beschriftung nicht.

Vergewissern Sie sich, dass Sie die Konfidenzschwellenwerte verstehen und erfahren, wie Sie den geeigneten auswählen, um das richtige Gleichgewicht zwischen Genauigkeit und Erinnerung für diese Beschriftung zu erreichen.

Auswählen eines Schwellenwerts für eine Beschriftung

• Um einen Schwellenwert für eine Beschriftung auszuwählen, gehen Sie wie folgt vor:
  1. Navigieren Sie zur Seite Validierung und wählen Sie die Beschriftung aus der Beschriftungsfilterleiste aus.
  2. Ziehen Sie den Schwellenwert-Schieberegler oder geben Sie eine %-Zahl in das Feld ein, wie in der folgenden Abbildung gezeigt, um die unterschiedlichen Genauigkeits- und Rückrufstatistiken anzuzeigen, die für diesen Schwellenwert erreicht würden
  3. Das Diagramm Genauigkeit im Vergleich zu Erinnerung gibt Ihnen einen visuellen Hinweis auf die Konfidenzschwellenwerte, die die Präzision oder Erinnerung maximieren oder für ein Gleichgewicht zwischen beiden sorgen würden:
     • In Abbildung 1 würde der ausgewählte Konfidenzschwellenwert (68,7 %) die Genauigkeit (100 %) maximieren, d. h. die Plattform sollte an diesem Schwellenwert in der Regel keine falschen Vorhersagen erhalten, hätte aber als Ergebnis einen niedrigeren Erinnerungswert (85 %).
     • In Abbildung 2 bietet die ausgewählte Konfidenzschwelle (39,8 %) ein gutes Verhältnis zwischen Genauigkeit und Erinnerung (beide 92 %).
     • In Abbildung 3 würde die ausgewählte Konfidenzschwelle (17 %) die Erinnerung (100 %) maximieren, d. h. die Plattform sollte jede Instanz identifizieren, in der diese Beschriftung gelten soll, hätte aber dadurch einen geringeren Genauigkeitswert (84 %).

Abbildung 1. Beschriftungsvalidierung mit einem Konfidenzschwellenwert von 68,7 %. Label-Validierung mit einem Konfidenz-Schwellenwert von 68,7 %

Abbildung 2. Beschriftungsvalidierung mit einem Konfidenzschwellenwert von 39,8 %. Labelvalidierung mit einem Konfidenzschwellenwert von 39,8 %

Abbildung 3. Beschriftungsvalidierung mit einem Konfidenzschwellenwert von 17 %. Labelvalidierung mit einem Konfidenzschwellenwert von 17 %

Auswählen des richtigen Schwellenwerts

Abhängig von Ihrem Anwendungsfall und der jeweiligen Beschriftung möchten Sie möglicherweise entweder die Genauigkeit oder die Erinnerung maximieren oder den Schwellenwert finden, der die bestmögliche Balance von beiden bietet.

Wenn Sie darüber verfügen, welcher Schwellenwert erforderlich ist, sollten Sie an die möglichen Ergebnisse denken, z. B. welche potenziellen Kosten oder Folgen für Ihr Unternehmen sie haben, wenn eine Beschriftung falsch angewendet oder verpasst wird.

Für jede Bezeichnung sollte Ihr Schwellenwert basierend auf dem besseren Ergebnis für das Unternehmen gewählt werden, wenn etwas schief läuft – d. h. etwas wird falsch klassifiziert (ein falsch positives Ergebnis) oder etwas wird übersehen (ein falsch negatives Ergebnis).

Wenn Sie beispielsweise eingehende Kommunikation automatisch in verschiedene Kategorien klassifizieren möchten, aber auch eine Beschriftung für Dringend haben, die Anforderungen an eine Arbeitswarteschlange mit hoher Priorität weiterleitet, könnten Sie die Erinnerung für diese Beschriftung maximieren, um sicherzustellen, dass keine dringenden Anforderungen gestellt werden übersehen und als Ergebnis eine niedrigere Genauigkeit akzeptieren. Der Grund dafür ist, dass es für das Unternehmen nicht sehr nachteilig sein kann, einige weniger dringende Anfragen in die Prioritätswarteschlange zu setzen, aber es für das Unternehmen sehr nachteilig sein kann, eine dringende Anfrage zu übersehen, bei der zeitabhängig ist.

Wenn Sie beispielsweise einen Anforderungstyp bei einer Geldtransaktion oder einem hohen Wert durchgängig automatisieren, würden Sie wahrscheinlich einen Schwellenwert wählen, der die Genauigkeit maximiert, sodass nur End-to- die Transaktionen zu beenden, bei denen die Plattform am zuversichtlichsten war. Vorhersagen mit Konfidenzen unter dem Schwellenwert werden dann manuell überprüft. Dies liegt daran, dass die Kosten einer falschen Vorhersage (ein falsch positives Ergebnis) potenziell sehr hoch sind, wenn eine Transaktion dann falsch verarbeitet wird.

Automatische Schwellenwerte

Sobald eine Beschriftung ausreichend trainiert wurde, schlägt Communications Mining™ Ihnen automatisch Schwellenwerte vor, darunter:

• Hohe Erinnerung: Maximiert die Erinnerung Ihrer Beschriftung bei gleichzeitiger Beibehaltung einer angemessenen Modellgenauigkeit.
• Hohe Genauigkeit: Maximiert die Genauigkeit Ihrer Beschriftung mit minimalen Beeinträchtigungen bei der Erinnerung des Modells.
• Ausgewogen: Stellt ein ausgewogenes Verhältnis zwischen Genauigkeit und Erinnerung her, ohne das eine vor dem anderen zu priorisieren.