验证的工作原理
Communications Mining 中的验证可评估标签和通用字段模型的性能，包括访问所需的权限。
您必须以 Automation Cloud 用户的身份分配“来源 - 读取”和“数据集 - 读取”权限，或者以旧版用户身份分配“查看来源”和“查看标签”权限。
在验证中，平台会评估与数据集关联的标签模型和通用字段模型的性能。
具体来说，对于标签模型，它会通过测试许多不同的性能因素来计算模型的整体评分，包括：
- 它使用该数据集中的训练数据子集预测分类中每个标签的能力。
- 信息丰富的标签预测对整个数据集的覆盖程度。
- 训练数据的平衡程度（即数据的分配方式及其在多大程度上代表整个数据集）。
评估标签性能
为了评估其对每个标签的预测效果，平台首先将数据集中已审核（即已批注）的消息分为以下几组：
- 训练数据集的大多数。
- 少数测试数据集。
在下图中，彩色点表示数据集中已批注的消息。此拆分由将消息添加到数据集时的消息 ID 确定，并在数据集的整个生命周期中保持一致。
然后，平台仅使用该训练集作为训练数据来训练自身。
然后，该系统会基于此训练尝试预测应将哪些标签应用于测试集中的消息，并根据人类用户应用的实际标签评估精度和召回率结果。
除此之外，平台还会考虑标签的分配方式，即在应用标签时使用的训练模式，以了解是否以有偏差或平衡的方式添加了批注。
然后，验证会发布有关最新模型版本的标签性能的实时统计信息，但您也可以查看先前发布的模型版本的历史性能统计信息。
评估覆盖范围
为了解模型覆盖数据的效果，平台会查看数据集中的所有未审核数据，以及平台对每条未审核消息做出的预测。
然后，它会评估总消息中至少预测有一个信息标签的比例。
Informative labels are those labels that the platform understands to be useful as standalone labels, by looking at how frequently they're assigned with other labels. Labels that are always assigned with another label, for example, parent labels that are never assigned on their own or Urgent if it's always assigned with another label, are down-weighted when the score is calculated.
评估余额
当平台评估模型的平衡能力时，它本质上是在寻找可能导致训练数据和整个数据集之间不平衡的批注偏差。
To do this, it uses an annotating bias model that compares the reviewed and unreviewed data to ensure that the annotated data is representative of the whole dataset. If the data is not representative, model performance measures can be misleading and potentially unreliable.
批注偏差通常是用于分配标签的训练模式不平衡的结果，尤其是在使用过多“文本搜索”且“随机播放”不足的情况下。
重新平衡训练模式
“重新平衡”训练模式会显示已审核集中代表性不足的消息。在此模式下批注示例将有助于快速解决数据集中的任何不平衡问题。
何时进行验证
每次在数据集中完成训练时，模型都会更新并针对每条消息提供新预测。同时，它还会重新评估模型的性能。这意味着，在新预测准备就绪时，还应提供新的验证统计信息（尽管有时一个过程所需的时间可能比另一个过程更长），包括最新的统计信息。
默认情况下，平台会显示已计算的最新验证统计信息，并会在新的统计信息尚未完成计算时告知您。