人机回圈验证

在 Communications Mining 中配置人机回圈验证，以在不影响训练数据完整性的情况下路由低置信度模型预测以供人工审核。

概述

Communications Mining 中的人机回圈 (HITL) 旨在在模型置信度不足时支持运营决策，同时保持模型训练数据的完整性。

在生产自动化中，该模型用于实时对传入的通信进行分类。当模型无法可靠地预测正确的标签时，自动化会临时引入人类用户来验证或更正预测，以便业务流程可以继续运行，而不会中断。

区分以下两者很重要：

• 最终用户在 Action Center 中执行的操作验证。
• 模型训练器稍后执行的模型训练和维护。

HITL 验证可确保：

• 使用更正后的标签，自动化可以立即进行。
• 从业务角度来看，通信处理正确。

但是，HITL 验证不会直接重新训练或更新模型。相反，需要人工干预的通信会被显式标记为异常，从而允许模型训练者稍后在正在进行的模型维护流程（即异常训练）中以受控的方式对其进行查看和注释。

这种分离可确保：

• 一致的高质量训练数据。
• 防止注释不完整或出现偏差。
• 在不影响实时自动化性能的情况下持续改进模型。

工作流

1. 机器人从流中选取通信。
2. 机器人评估模型置信度。
3. 如果置信度低于阈值，则需要进行验证。
4. 系统将在 Action Center 中创建验证任务。有关更多详细信息，请查看“创建表单任务” 。
5. 向人类用户呈现通信内容和预测标签。
6. 人工在 Action Center 中验证或更正标签。
7. 这些更正仅用于下游处理，而不用于模型训练。
8. 机器人通过 API 将通信标记为异常。这会标记消息，以供模型训练器日后审核。有关更多详细信息，请查看为异常添加标签。
9. 机器人会立即继续作业。不会通过流重新处理通信。
10. 更正的标签将应用于操作目的，例如，上传到 Communications Mining 或下游系统。
11. 稍后，模型训练器将检查异常。训练器在 Communications Mining 中正确批注消息。这些注释可能会包含在未来的训练周期中。

备注：

在 Action Center 中进行的验证更正不会自动重新训练或更新模型。