验证如何工作?

所需的用户权限：“查看来源”和“查看标签”。

在验证中，平台会评估与数据集关联的标签和常规字段模型的性能。

具体来说，对于标签模型，它会通过测试多个不同的性能因素来计算总体的“模型评分”，包括：

• 使用该数据集中的训练数据子集预测分类中每个标签的能力

• 信息标签预测对整个数据集的覆盖程度

• 训练数据的平衡程度，即训练数据的分配方式及其在整体上代表数据集的程度

它如何评估标签性能?

为了评估它对每个标签的预测能力，平台首先将数据集中已审核（即已注释）的消息分为两组；多数训练数据集和少数测试数据集。

在下图中，彩色点表示数据集中带注释的消息。 此拆分由将消息添加到数据集时的消息 ID 确定，并在数据集的整个生命周期中保持一致。

然后，平台仅使用该训练集作为训练数据来训练自身。

然后，基于此训练，系统会尝试预测应将哪些标签应用于测试集中的消息，并根据人类用户应用的实际标签评估精度和召回率结果。

除此之外，平台还会考虑标签的分配方式（即应用标签时使用了哪些训练模式），以了解是否以有偏差或平衡的方式注释了标签。

然后，验证过程会发布有关最新模型版本标签性能的实时统计信息，但您也可以查看先前固定的模型版本的历史性能统计信息。

它如何评估覆盖范围?

为了解模型覆盖数据的效果，平台会查看数据集中的所有未审核数据，以及平台对每条未审核消息做出的预测。

然后，它会评估至少预测有一个信息标签的消息占总消息的比例。

“信息标签”是平台通过查看与其他标签一起分配的频率，视为独立的有用标签。 始终分配有另一个标签的标签，例如 在计算分数时，系统会降低从未单独分配的父标签或始终为其他标签分配“紧急”标签的父标签的权重。

它如何评估余额?

当平台评估模型的 平衡 性时，它本质上是在寻找可能导致训练数据和整个数据集之间 不平衡 的注释 偏差 。

为此，它使用注释偏差模型来比较已审核和未审核的数据，以确保带注释的数据能够代表整个数据集。 如果数据不具有代表性，则模型性能衡量指标可能会产生误导，并且可能不可靠。

注释偏差通常是用于分配标签的训练模式不平衡的结果，尤其是在使用太多“文本搜索”而没有足够的“随机播放”时。

“重新平衡”训练模式会显示审核集中代表性不足的消息。 在此模式下标注示例将有助于快速解决数据集中的任何不平衡问题。

验证流程何时进行？

每次在数据集中完成训练时，模型都会更新并针对每条消息提供新的预测。 同时，它还会重新评估模型的性能。 这意味着，在新的预测准备就绪时，还应提供新的验证统计信息（尽管一个流程有时可能比另一个流程花费的时间更长），包括最新的 .

请注意:默认情况下，平台将始终显示已计算的最新验证统计信息，并会在新统计信息尚未完成计算时告诉您。