communications-mining
latest
false
为什么标签的平均精度可能较低?
重要 :
请注意,此内容已使用机器翻译进行了本地化。
Communications Mining 用户指南
上次更新日期 2024年12月20日
为什么标签的平均精度可能较低?
下面列出了标签平均精度较低的一些主要原因,以及改进这些精度的建议解决方案:
1. 训练集大小可能太小
2. 标签可能不一致或错误地应用于某些消息
- 用户对标签的定义通常会随着时间的推移而发生变化,而带有该标签的较早已审核的消息可能需要重新访问,以查看该标签是否仍然适用
- 或者,如果有多个用户训练一个数据集,他们可以解释每个标签的含义,并向模型发送混合信号
- 要确定是否是这种情况,用户可以使用“检查标签”和“漏掉标签”训练模式来浏览已审核的标签消息,并查看哪些标签被错误应用或被无意遗漏
- 然后,用户可以更正任何错误并更新标签以确保一致性
- 今后,如果有多个用户训练一个数据集,他们应确保他们在定义每个标签所涵盖的意图或概念上完全一致
3. 标签想要传达的意图或概念可能含糊或过于宽泛,难以与其他标签区分开来
- 如果使用标签来捕获非常广泛或模糊的意图或概念,则模型可能很难确定为什么该标签应应用于消息,然后它可能会尝试将该标签应用于太多的消息
- 创建标签时尽量不要过于通用;它需要可识别,并与其他标签区分开来
4. 或者,意图或概念可能非常具体,或其层次结构中的层数过多
- 尝试过于具体或向标签的层次结构添加许多图层可能会使模型难以检测,也难以将其与之前的图层区分开来
- 标签的特定性级别应与消息内容匹配。 如果标签过于具体而无法与层次结构中其他类似标签区分开,则模型可能会感到困惑
- 在大多数情况下,最佳实践是标签层次结构中包含三层或更少,即 [根标签] > [连接标签] > [叶标签]
5. 分类中可能有几个标签严重重叠,而模型很难区分这两个标签
- 如果您有两个非常相似且难以区分的标签,则可能会使模型感到困惑,因为模型不知道适用两个标签中的哪一个
- 在这些情况下,请考虑合并标签
- 或者,仔细检查每个消息的审核消息,确保概念应用一致且彼此不同
6. 应用该标签的消息可能大部分都非常相似或相同,并且模型很难检测表达相同意图或概念的不同方式
- 您应确保对于每个标签,为模型提供多个训练示例,其中包括各种不同的方式来表达标签旨在捕获的意图或概念
7. 无法从消息文本或其支持元数据中推断出该标签捕获的意图或概念
- 用户通常根据自己对上下文或后续流程的业务知识来注释消息,而不是根据消息的实际文本或元数据
- 例如,SME 用户可能知道,由于通信来自某个人,因此一定与某个主题有关,即使文本或元数据中没有其他内容明确表明应应用该标签
- 在这种情况下,只有当模型能够从文本或元数据中检测到标签时,用户才能应用标签,而无需这些内部知识