Communications Mining
最新
バナーの背景画像
Communications Mining ガイド
最終更新日 2024年2月29日

ラベルの信頼度しきい値を選択する

はじめに

このプラットフォームは通常、自動化されたプロセスの最初のステップの 1 つである、顧客メールなどのインバウンド通信の取り込み、解釈、構造化で、そのメールが受信トレイに届いたときに人間が行うのと同じように使用されます。

プラットフォームは、通信に適用されるラベル (またはタグ) を予測するときに、各予測に信頼度スコア (%) を割り当てて、ラベルが適用される信頼性を示します。

ただし、これらの予測を使用して通信を自動的に分類する場合は、このラベルが適用されるかどうかという二項決定が必要です。 そこで 役立つのが信頼度のしきい値 です。

信頼度のしきい値とは、信頼度スコア (%) です。このしきい値を超えると、RPA ボットやその他のオートメーション サービスがプラットフォームからの予測を「はい、このラベルは適用されます」というバイナリとして取得し、このしきい値を下回ると、「いいえ、このラベルは適用されません」というバイナリとして予測を取得します。

したがって、ラベル の精度と再現率 の適切なバランスを実現するためには、信頼度のしきい値と適切なしきい値の選択方法を理解することが非常に重要です。

ラベルのしきい値の選択

  • ラベルのしきい値を選択するには、[検証] ページに移動し、ラベル フィルター バーからラベルを選択します
  • 次に、しきい値スライダーをドラッグするか、ボックスに%の数値を入力して(以下に示すように)、そのしきい値で達成されるさまざまな精度と再現率の統計を確認します
  • 精度と再現率のグラフは、精度または再現率を最大化する信頼度のしきい値を視覚的に示したり、この 2 つの間のバランスを提供したりします。
    • 以下の最初の画像では、選択された信頼度のしきい値 (68.7%) は精度を最大化 (100%) します (つまり、プラットフォームは通常、このしきい値で予測を間違えることはありません) が、結果として再現率の値は低くなります (85%)
    • 2番目の画像では、選択された信頼度しきい値(39.8%)は、精度と再現率(両方とも92%)のバランスが取れています
    • 3番目の画像では、選択された信頼度しきい値(17%)は再現率を最大化(100%)します(つまり、プラットフォームはこのラベルを適用するすべてのインスタンスを識別する必要があります)が、結果として精度の値は低くなります(84%)。
信頼度しきい値を 68.7% に設定したラベル検証

信頼度しきい値を 39.8% に設定したラベル検証

信頼度しきい値を 17% に設定したラベル検証

適切なしきい値の選択

では、自分に合ったしきい値をどのように選択しますか? 簡単な答えは: それは異なります

ユースケースと問題の特定のラベルに応じて、精度または再現率を最大化するか、両方の最適なバランスを提供するしきい値を見つけることができます。

必要なしきい値について考えるときは、潜在的な結果、つまりラベルが誤って適用された場合のビジネスへの潜在的なコストまたは結果について考えることが役立ちます。 見逃した場合はどうなりますか?

各ラベルについて、しきい値は、何かがうまくいかない場合、つまり、何かが誤って分類された場合( 誤検知)、または何かが見落とされた場合( 偽陰性)の場合に、ビジネスにとってより良い結果に基づいて選択する必要があります。

たとえば、着信通信をさまざまなカテゴリに自動的に分類する一方で、要求を優先度の高いワーク キューにルーティングする「緊急」のラベルも設定している場合は、このラベルのリコールを最大化して、緊急の要求を見逃さないようにし、結果として低い精度を受け入れることができます。 これは、緊急性の低い要求を優先キューに入れてもビジネスにとってそれほど有害ではないかもしれませんが、時間に敏感な緊急の要求を見逃すことはビジネスにとって非常に有害である可能性があるためです。

別の例として、何らかの形の金銭的取引である、または価値の高いタイプのリクエストをエンドツーエンドで自動化する場合、プラットフォームが最も自信のあるトランザクションのみをエンドツーエンドで自動化するように、精度を最大化するしきい値を選択する可能性があります。 信頼度がしきい値を下回る予測は手動でレビューされます。 これは、トランザクションが誤って処理された場合、誤った予測 (誤検知) のコストが非常に高くなる可能性があるためです。

Was this page helpful?

サポートを受ける
RPA について学ぶ - オートメーション コース
UiPath コミュニティ フォーラム
UiPath ロゴ (白)
信頼とセキュリティ
© 2005-2024 UiPath. All rights reserved.