ラベルの信頼度のしきい値を選択する

はじめに

このプラットフォームは通常、自動化プロセスの最初の手順の 1 つで使用します。すなわち、顧客のメールなどの受信したコミュニケーションを、メールが受信トレイに届いたときに人間が行うのと同じように、取り込んで解釈して構造化する手順です。

このプラットフォームは、コミュニケーションに適用されるラベルまたはタグを予測する際に、各予測に信頼度スコア (%) を割り当てて、そのラベルがどの程度の信頼度で適用されているかを示します。

ただし、これらの予測を使用してコミュニケーションを自動的に分類する場合、二値の判断が必要です。つまり、このラベルが適用されるか、されないかという判断です。ここで役立つのが信頼度のしきい値です。

信頼度のしきい値とは、信頼度スコア (%) のことです。このしきい値以上である場合、RPA ボットやその他のオートメーション サービスは、プラットフォームの予測を「はい、このラベルは適用されます」という二値の判断として理解し、このしきい値未満である場合は「いいえ、このラベルは適用されません」として理解します。

ラベルの適合率と再現率の適切なバランスを実現するには、信頼度のしきい値と、適切なしきい値の選択方法を理解していることを確認してください。

ラベルのしきい値を選択する

• ラベルのしきい値を選択するには、以下の手順に従います。
  1. [ 検証 ] ページに移動し、ラベル フィルター バーからラベルを選択します。
  2. 次の図に示すように、[しきい値] スライダーをドラッグするか、ボックスに % の数値を入力し、そのしきい値で達成される適合率と再現率の統計情報がどのように異なるかを確認します。
  3. 適合率と再現率のグラフは、適合率または再現率が最大化されるか、またはこの 2 つのバランスがとれる信頼度のしきい値を視覚的に示します。
     • 図 1 の場合、選択した信頼度しきい値 (68.7%) では適合率が最大化 (100%) されます。つまり、このしきい値では通常、プラットフォームが予測を間違えることはありません。ただし、結果として再現率の値は低くなります (85%)。
     • 図 2 の場合、選択した信頼度のしきい値 (39.8%) では適合率と再現率が適切なバランスになります (どちらも 92%)。
     • 図 3 の場合、選択した信頼度のしきい値 (17%) では再現率が最大化 (100%) されます。つまり、このラベルを適用すべきインスタンスはすべて識別されるはずです。ただし、結果として適合率の値は低くなります (84%)。

図 1. 信頼度のしきい値が 68.7% に設定されたラベルの検証 信頼度のしきい値が 68.7% に設定されたラベルの検証

図 2.信頼度のしきい値が 39.8% に設定されたラベルの検証。信頼度のしきい値が 39.8% に設定されたラベルの検証

図 3.信頼度のしきい値が 17% に設定されたラベルの検証。信頼度のしきい値が 17% に設定されたラベルの検証

適切なしきい値を選択する

ユース ケースと、対象となる特定のラベルに応じて、適合率または再現率を最大化するか、あるいは両方の最適なバランスが得られるしきい値を見つけることができます。

必要なしきい値を検討する際は、起こり得る結果を考慮します。たとえば、ラベルが誤って適用された場合、ビジネスにどのような潜在的コストや結果がもたらされるか、ラベルが見逃された場合はどうなるか、といった結果を考慮します。

各ラベルについて、問題があった場合、つまり何かが誤って分類された場合 (偽陽性) や、何かが見逃された場合 (偽陰性) に、ビジネスにとってより良い結果が得られるしきい値を選択する必要があります。

たとえば、受信コミュニケーションを自動的にさまざまなカテゴリに分類するだけでなく、「緊急」のラベルも設定し、リクエストを優先度の高い作業キューにルーティングしたい場合は、このラベルの再現率を最大化して緊急のリクエストを見逃さないようにし、結果として低い適合率を容認できます。その理由は、緊急性の低いリクエストをいくつか優先キューに入れてもビジネスにとってそれほど悪影響はないかもしれませんが、すぐに対応すべき緊急のリクエストを見逃すとビジネスに大きな悪影響が及ぶ可能性があるためです。

別の例として、何らかの形の金銭取引であるリクエストの種類や、価値の高いリクエストの種類をエンドツーエンドで自動化する場合は、おそらく、適合率を最大化するしきい値を選択して、プラットフォームが最も確信を持って判断できるトランザクションのみをエンドツーエンドで自動化します。信頼度がこのしきい値を下回る予測は手動で確認します。その理由は、取引が誤って処理された場合、誤った予測 (偽陽性) のコストが非常に高くなる可能性があるためです。

自動しきい値

ラベルが十分にトレーニングされると、Communications Mining™ によって、次のようなしきい値が自動的に提案されます。

• 高再現率: 妥当なモデル適合率を維持しながら、ラベルの再現率を最大化します。
• 高精度: モデルの再現率を犠牲にすることなく、ラベルの適合率を最大化します。
• バランス: 適合率と再現率が均等にバランスを取り、一方を他方よりも優先しません。