Auswählen von Konfidenz-Schwellenwerten für Bezeichnungen

Legen Sie Konfidenzschwellenwerte für die Beschriftung fest, um zu steuern, wann die Vorhersagen des Modells während der automatisierten Verarbeitung in Communications Mining in der Automation Cloud akzeptiert werden.

Einleitung

Die Plattform wird in der Regel in einem der ersten Schritte eines automatisierten Prozesses verwendet: Erfassen, Interpretieren und Strukturieren einer eingehenden Kommunikation, z. B. einer Kunden-E-Mail, ähnlich wie ein Mensch dies tun würde, wenn diese E-Mail in seinem Posteingang eintrifft.

Wenn die Plattform vorhersagt, welche Beschriftungen oder Tags für eine Kommunikation gelten, wird jeder Vorhersage ein Konfidenzwert (%) zugewiesen, um zu zeigen, wie zuversichtlich die Beschriftung ist.

Wenn diese Vorhersagen jedoch verwendet werden sollen, um die Kommunikation automatisch zu klassifizieren, muss es eine binäre Entscheidung geben, d. h. ob diese Beschriftung zutrifft oder nicht. Hier kommen Konfidenzschwellenwerte ins Spiel.

Was ein Konfidenzschwellenwert ist

Ein Konfidenzschwellenwert ist der Konfidenzwert (%), bei dem ein RPA-Bot oder ein anderer Automatisierungsdienst die Vorhersage als binäres Ja von der Plattform nimmt, diese Bezeichnung gilt und, unterhalb dessen die Vorhersage als binäres Nein akzeptiert wird gilt diese Beschriftung nicht.

Vergewissern Sie sich, dass Sie die Konfidenzschwellenwerte verstehen und erfahren, wie Sie den geeigneten auswählen, um das richtige Gleichgewicht zwischen Genauigkeit und Erinnerung für diese Beschriftung zu erreichen.

Auswählen eines Schwellenwerts für eine Beschriftung

• Um einen Schwellenwert für eine Beschriftung auszuwählen, gehen Sie wie folgt vor:
  1. Navigieren Sie zur Seite Validierung und wählen Sie die Beschriftung aus der Beschriftungsfilterleiste aus.
  2. Ziehen Sie den Schwellenwert-Schieberegler oder geben Sie eine %-Zahl in das Feld ein, wie in der folgenden Abbildung gezeigt, um die unterschiedlichen Genauigkeits- und Rückrufstatistiken anzuzeigen, die für diesen Schwellenwert erreicht würden
  3. Das Diagramm Genauigkeit im Vergleich zu Erinnerung gibt Ihnen einen visuellen Hinweis auf die Konfidenzschwellenwerte, die die Präzision oder Erinnerung maximieren oder für ein Gleichgewicht zwischen beiden sorgen würden:
     • In Abbildung 1 würde der ausgewählte Konfidenzschwellenwert (68,7 %) die Genauigkeit (100 %) maximieren, d. h. die Plattform sollte an diesem Schwellenwert in der Regel keine falschen Vorhersagen erhalten, hätte aber als Ergebnis einen niedrigeren Erinnerungswert (85 %).
     • In Abbildung 2 bietet die ausgewählte Konfidenzschwelle (39,8 %) ein gutes Verhältnis zwischen Genauigkeit und Erinnerung (beide 92 %).
     • In Abbildung 3 würde die ausgewählte Konfidenzschwelle (17 %) die Erinnerung (100 %) maximieren, d. h. die Plattform sollte jede Instanz identifizieren, in der diese Beschriftung gelten soll, hätte aber dadurch einen geringeren Genauigkeitswert (84 %).

Abbildung 1. Beschriftungsvalidierung mit Konfidenzschwellenwert auf 68,7 % festgelegt

Abbildung 2. Beschriftungsvalidierung mit Konfidenzschwellenwert auf 39,8 %

Abbildung 3. Beschriftungsvalidierung mit Konfidenzschwellenwert auf 17 % festgelegt

Hinweis:

Beschriftungsvorhersagen werden nie genau 100 % sicher sein, also wenn Sie den Stream-Schwellenwert bei 100 % lassen, bleibt der benutzerdefinierte Stream-Schwellenwert effektiv deaktiviert. Die automatischen Schwellenwerte von Balanced, High Recall und High Präzision werden weiterhin zurückgegeben.

Auswählen des richtigen Schwellenwerts

Abhängig von Ihrem Anwendungsfall und der jeweiligen Beschriftung möchten Sie möglicherweise entweder die Genauigkeit oder die Erinnerung maximieren oder den Schwellenwert finden, der die bestmögliche Balance von beiden bietet.

Wenn Sie darüber verfügen, welcher Schwellenwert erforderlich ist, sollten Sie an die möglichen Ergebnisse denken, z. B. welche potenziellen Kosten oder Folgen für Ihr Unternehmen sie haben, wenn eine Beschriftung falsch angewendet oder verpasst wird.

Für jede Beschriftung sollte Ihr Schwellenwert basierend auf dem besseren Ergebnis für das Unternehmen gewählt werden, wenn etwas schief läuft – d. h. etwas wird falsch klassifiziert ( false positiv) oder etwas übersehen ( false negativ).

Beispiel: Maximieren der Erinnerung

Wenn Sie beispielsweise eingehende Kommunikation in verschiedenen Kategorien klassifizieren möchten, aber auch eine Beschriftung für Dringend hatten, die Anforderungen an eine Arbeitswarteschlange mit hoher Priorität weiterleitete, möchten Sie möglicherweise die Erinnerung für diese Beschriftung maximieren, um sicherzustellen, dass keine dringenden Anforderungen vorhanden sind verpasst, und akzeptieren Sie als Ergebnis eine geringere Genauigkeit.

Dies liegt daran, dass es für das Unternehmen möglicherweise nicht sehr schädlich ist, wenn einige weniger dringende Anforderungen in die Prioritätswarteschlange gesetzt werden. Aber es könnte sehr schädlich für das Unternehmen sein, wenn eine dringende Anforderung verpasst wird.

Beispiel: Maximieren der Genauigkeit

Wenn Sie beispielsweise eine Anfrage des Typs End-to-End automatisieren, bei der es sich um eine Form von Geldtransaktion handelt oder von hohem Wert ist, wählen Sie wahrscheinlich einen Schwellenwert aus, der die Genauigkeit maximiert. Ende der Transaktionen, bei denen die Plattform am meisten zuversichtlich war. Vorhersagen mit Konfidenz unter dem Schwellenwert würden dann manuell überprüft.

Dies liegt daran, dass die Kosten einer falschen Vorhersage (eines falsch-positiven) potenziell sehr hoch sind, wenn eine Transaktion dann falsch verarbeitet wird.

Automatische Schwellenwerte

Sobald eine Beschriftung ausreichend trainiert wurde, schlägt Communications Mining™ Ihnen automatisch Schwellenwerte vor, darunter:

• Hohe Erinnerung: Maximiert die Erinnerung an Ihre Beschriftung bei gleichzeitig angemessener Modellgenauigkeit.
• Hohe Genauigkeit: Maximiert die Genauigkeit Ihrer Beschriftung mit minimalen Kompromissen bei der Erinnerung des Modells.
• Ausgewogen: erstellt ein ausgewogenes Verhältnis zwischen Genauigkeit und Erinnerung, ohne das eine gegenüber dem anderen zu priorisieren.

Wie Schwellenwerte nachgelagert verwendet werden

Sobald ein Schwellenwert konfiguriert wurde, wird ermittelt, ob eine Vorhersage als Erfüllung dieses Schwellenwerts zurückgegeben wird, wenn Sie Ergebnisse aus einem Stream erhalten. Weitere Informationen finden Sie unter Vorhersageschwellenwerte.

Um diese Schwellenwerte in einer UiPath®-Automatisierung abzurufen, verwenden Sie die Aktivität Get Stream Results . Weitere Informationen finden Sie unter Verstehen von StreamResult.