Communications Mining 用户指南
概述
“探索”页面包含各种训练模式,此阶段主要介绍其中三种模式:
“随机播放” - 显示随机选择的邮件消息,以供用户批注。 在随机播放中完成大部分训练至关重要,以便创建代表更广泛数据集的训练示例训练集。
“训练” (适用于未审核的消息)- 当平台对标签做出一些合理的预测后,您可以通过在默认的训练模式(适用于未审核的消息)。 这将向您显示平台不确定是否适用所选标签的消息。
“低可信度” - 显示信息标签预测未充分涵盖的邮件。 对于平台认为内容丰富的标签,这些消息将没有预测,或者预测的可信度非常低。
知识库的这一部分还将介绍在“探索”中使用搜索进行训练,这与在“发现”中使用搜索进行训练非常相似。
在“探索 - 传授”模式中还有另一种训练模式(用于已审核的消息),知识库的“优化模型和使用验证”部分对此进行了说明。
布局说明:
A | 调整所显示消息的日期范围或期间 |
B | 根据消息的元数据添加各种其他筛选器,例如 分数或发件人 |
C | 添加常规字段筛选器 |
D | 从所有消息切换到已审核或未审核消息,还可以调整固定标签计数与预测标签计数 |
E | 添加标签筛选器 |
F | 搜索分类中的特定标签 |
G | 添加其他标签 |
H | 展开消息的元数据 |
I | 刷新当前查询 |
J | 在不同的训练模式(例如“最近”、“随机”、“训练”和“低置信度”)之间切换,并选择要排序的标签 |
K | 在数据集搜索包含特定词语或短语的消息 |
L | 下载此页面上的所有消息,或将应用了筛选器的数据集导出为 CSV 文件 |
准确预测每个标签所需的示例数量可能会因标签概念的广度或特殊性而有很大差异。
标签通常与非常具体且易于识别的单词、短语或意图相关联,并且平台能够使用相对较少的训练示例对其进行一致的预测。 标签也可能包含一个广泛的主题,其中包含与之相关的许多不同的语言变体,在这种情况下,可能需要更多的训练示例,才能使平台一致地识别应应用标签的实例。
该平台通常可以从少用 5 个示例开始对标签进行预测,但为了准确估计标签的性能(平台预测标签的能力),每个标签至少需要 25 个示例。
在“探索”中注释时,每个标签旁边的红色小转盘(示例如下所示)会指示是否需要更多示例以准确估计标签的性能。 随着您提供的训练样本数量增加,转盘开始消失;当达到 25 个后,转盘将完全消失。
这并不意味着平台能够通过 25 个示例准确预测每个标签,但至少能够验证其预测每个标签的效果,并在需要额外训练时向您发出警示。
因此,在“探索”阶段,您应结合使用上述步骤(主要是“随机播放”和“学习”+“未审核”),确保为您感兴趣的所有标签提供至少 25 个示例。
在“优化” 阶段,您可能会发现某些标签需要进行更多训练,以提高其性能,此处对此进行了详细介绍。
在“探索”中,一旦标签的固定示例达到 25 个,您可能会在训练拨号盘的位置看到以下标签绩效指标之一:
- 灰色圆圈表示平台正在计算该标签的性能 - 计算完成后,该灰色圆圈会更新并消失,或者显示为黄色或红色圆圈
- 黄色表示标签的性能稍差,可以改进
- 红色表示标签性能不佳,需要额外的训练/纠正措施来改进
- 如果没有圆圈,则表示标签的性能令人满意(尽管仍可能需要改进,具体取决于用例和所需的准确性级别)
- 要详细了解标签性能及其改进方法,可以从此处开始
如果单击标签筛选器栏顶部的对勾图标(如下所示)以筛选已审核的邮件,系统将显示已应用该标签的已审核邮件消息的数量。
如果单击计算机图标以筛选出未审核的消息,则系统将显示该标签的预测总数(其中也包括已审核示例的数量)。
在 “探索” 中,如果未选择“已审核”或“未审核”,平台会 默认 显示某个标签的已 固定 消息总数。在“报告”中,默认设置为显示预测总数。