选择标签可信度阈值

简介

该平台通常用于自动化流程的最初步骤之一：提取、解释和结构化入站通信，例如客户电子邮件，就像电子邮件到达收件箱时人工所做的那样。

当平台预测哪些标签适用于通信时，它会为每个预测分配一个可信度分数 (%)，以显示标签适用的可信度。

但是，如果要使用这些预测对通信进行自动分类，则需要进行二元决策，即此标签是否适用？ 这就是置信度阈值发挥作用的地方。

置信度阈值是指一个置信度分数 (%)，达到或高于该分数，RPA 机器人或其他自动化服务会将平台的预测视为二进制文件“是，此标签确实适用”，低于该分数则会将预测视为二进制文件“否，此标签不适用”。

因此，了解置信度阈值以及如何选择合适的阈值非常重要，以便在标签的精度和召回率之间取得适当的平衡。

选择标签的阈值

• 要为标签选择阈值，请导航至“验证”页面，然后从标签筛选器栏中选择标签
• 然后，只需拖动阈值滑块，或在框中输入百分比数字（如下所示），即可查看该阈值将实现的不同精度和召回率统计信息
• 精度与召回率图表以可视化方式指示可最大化精度或召回率的置信度阈值，或者在两者之间提供平衡：
  • 在下面的第一张图片中，选择的置信度阈值 (68.7%) 将最大限度地提高精度 (100%)，即平台在此阈值内通常不会做出错误的预测，但召回率会因此降低 (85%)
  • 在第二张图像中，所选的置信度阈值 (39.8%) 在精度和召回率（均为 92%）之间取得了良好的平衡
  • 在第三张图像中，选择的置信度阈值 (17%) 将最大限度地提高召回率 (100%)，即平台应识别应应用此标签的每个实例，但其结果是，精度值 (84%) 会较低

置信度阈值设置为 68.7％ 的标签验证

置信度阈值设置为 39.8％ 的标签验证

置信度阈值设置为 17% 的标签验证

选择正确的阈值

那么，如何选择适合自己的阈值呢？ 答案很简单：视情况而定。

根据您的用例和相关的特定标签，您可能需要最大化精度或召回率，或者找到实现两者最佳平衡的阈值。

在考虑需要什么阈值时，考虑潜在的结果会有所帮助 - 如果错误应用标签，您的企业的潜在成本或后果是什么？ 如果漏掉了怎么办？

对于每个标签，应根据出现问题时（即某些内容被错误分类（误报）或漏报（漏报））为业务带来的更好结果选择阈值。

例如，如果您想自动将入站通信分类为不同的类别，但也有一个将请求路由到高优先级工作队列的“紧急”标签，则您可能需要最大限度地召回此标签，以确保不会请求会丢失，并接受较低精度的结果。 这是因为将一些不太紧急的请求放入优先级队列中可能对业务不会造成太大危害，但如果错过了对时间敏感的紧急请求，则可能对业务非常不利。

再举一个例子，如果您要以端到端的方式自动化某种形式的货币交易或高价值请求，您可能会选择一个可最大化精度的阈值，以便仅自动化端到端结束平台最有把握的事务。 然后，系统将手动审核置信度低于阈值的预测。 这是因为如果事务处理不正确，则错误预测（误报）的成本可能非常高。