Communications Mining
最新
False
- 入门指南
- 管理
- 管理来源和数据集
- 模型训练和维护
- 使用分析与监控
- 自动化和 Communications Mining
- 常见问题解答及更多内容
Communications Mining 用户指南
上次更新日期 2024年4月18日
精度
精度用于衡量模型做出的预测中实际正确的比例。 也就是说,在模型做出的所有积极预测中,真正的比例是多少。
精度 =真例/(真例 +误报)
例如,对于数据集中每 100 条预测为具有“请求信息”标签的消息,精度指的是正确预测“请求信息”的次数占总预测次数的百分比。
95% 的精度意味着每 100 条预测为具有特定标签的消息,其中 95 条会被正确标记,5 条会被错误地标记(即它们不应该使用该标签进行标记)。
有关精度工作原理的更详细说明,请参阅此处。
平均精度 (AP)
单个标签的平均精度 (AP) 分数计算为该标签每个召回值(0 到 100% 之间)的所有精度分数的平均值。
本质上,平均精度衡量的是模型在该标签的所有置信度阈值上的执行情况。
平均精度 (MAP)
平均精度 ( MAP ) 是衡量模型整体性能的最有用指标之一,也是比较不同模型版本的简便方法。
MAP分数取分类中每个标签的平均精度分数的平均值,这些标签在“验证”中使用的训练集中至少有 20 个示例。
通常, MAP 分数越高,模型的整体性能就越好,尽管这不是了解模型运行状况时应考虑的唯一因素。 同样重要的是要知道您的模型是无偏的并且具有高覆盖率。
召回率平均精度
召回率平均精度是另一个显示模型整体性能的指标。 它以图形方式表示为分类中所有标签的平均召回率曲线。
召回率曲线的平均精度示例