communications-mining
latest
false
重要 :
请注意,此内容已使用机器翻译进行了本地化。
Communications Mining 用户指南
Last updated 2024年10月3日
验证
“验证”页面会向用户显示有关其模型性能的详细信息,包括标签和常规字段。
在“标签”选项卡中,用户可以看到其整体标签模型 评分,包括构成评分的因素的详细细分,数据集的其他指标以及各个标签的性能。
在“常规字段” 选项卡中,用户可以查看数据集中启用的所有常规字段的常规字段预测性能的统计信息。
“标签”的默认验证页面
使用位于模型评分上方的“模型版本”下拉列表,您可以查看给定数据集上过去模型版本的所有验证分数。 您还可以为单个任务确定优先级或“星标”,以便它们将来显示在列表顶部。 在您构建模型时,此工具可用于跟踪和比较进度。
模型版本下拉列表
标签
“ Factors ”选项卡(如上所示)显示:
- 影响模型评分的四个关键因素:平衡性、覆盖率、平均标签性能和性能最差标签的性能
- 它会为每个因素提供一个分数,以及影响该因素分数的因素的细目分类
- 可单击的建议下一个最佳操作,以提高每个因素的分数
“指标”选项卡 (如下所示) 显示:
- 训练集大小,即训练模型的消息数量
- 测试集大小,即用于评估模型的消息数量
- 标签数量 – 即分类中的标签总数
- 召回时的平均精度 – 该图表显示所有标签在给定召回值下的平均精度
- 平均精度– 显示所有标签平均精度的统计信息
- 该图表显示所有标签的每个标签的平均精度与训练集大小的关系
“标签”验证中的“指标”选项卡
“验证”页面还允许用户从其分类中选择单个标签,以深入了解其性能。
选择标签后,用户可以查看该标签的平均精度,以及基于给定置信度阈值(用户可以自行调整)的该标签的精度与召回率。
标记特定的验证图表
要详细了解标签验证的实际工作原理及其使用方法,请参阅此处。
通用字段
常规字段的验证页面
“常规字段”选项卡(如上所示)显示:
- 训练集中的常规字段数量,即用于训练验证模型的带注释的常规字段数量
- 测试集中的常规字段数量,即用于评估验证模型的带注释的常规字段数量
- 训练集中的消息数量,即训练集中带有注释的常规字段的消息数量
- 测试集中的消息数量,即测试集中带有注释的常规字段的消息数量
- 平均精度- 所有常规字段的平均精度分数
- 平均召回率- 所有常规字段的平均召回率分数
- 平均 F1 分数- 所有常规字段的平均 F1 分数(F1 分数是精度和召回率的调和平均值,并且对它们进行相等的权重)
- 相同的统计信息,但针对每个单独的常规字段
要详细了解常规字段的验证的实际工作原理及其使用方法,请参阅此处。