精度

精度用于衡量模型做出的预测中实际正确的比例。 也就是说，在模型做出的所有积极预测中，真正的比例是多少。

精度 =真例/（真例 +误报）

例如，对于数据集中每 100 条预测为具有“请求信息”标签的消息，精度指的是正确预测“请求信息”的次数占总预测次数的百分比。

95％ 的精度意味着每 100 条预测为具有特定标签的消息，其中 95 条会得到正确注释，5 条会被错误注释（即，它们不应该使用该标签进行注释）。

有关精度工作原理的更详细说明，请参阅此处。

平均精度 (AP)

单个标签的平均精度 (AP) 分数计算为该标签每个召回值（0 到 100％ 之间）的所有精度分数的平均值。

本质上，平均精度衡量的是模型在该标签的所有置信度阈值上的执行情况。

平均精度 (MAP)

平均精度 ( MAP ) 是衡量模型整体性能的最有用指标之一，也是比较不同模型版本的简便方法。

MAP分数取分类中每个标签的平均精度分数的平均值，这些标签在“验证”中使用的训练集中至少有 20 个示例。

通常， MAP 分数越高，模型的整体性能就越好，尽管这不是了解模型运行状况时应考虑的唯一因素。 同样重要的是要知道您的模型是无偏的并且具有高覆盖率。

召回率平均精度

召回率平均精度是另一个显示模型整体性能的指标。 它以图形方式表示为分类中所有标签的平均召回率曲线。

召回率曲线的平均精度示例