评估模型性能

使用评估摘要以及每次评估运行的字段和文档指标，在 UiPath Maestro™ Flow 的提取节点中评估 IXP 模型性能。

概述

您可以在以下位置评估流提取节点模型的性能：

• “定义”选项卡 - 显示最新评估的摘要，包括 F1 分数。
• “评估运行”选项卡 - 列出所有评估运行，包括每次运行的文档错误率，并显示每次运行的字段组、字段和文档级性能。

节点运行状况分数

节点运行状况分数总结了流提取节点当前模型版本的性能指标。它会出现在以下位置：

• “流提取节点的属性”窗格。
• “定义”选项卡。要打开该包，请将鼠标悬停在“流提取”节点上，然后选择“打开完整视图” 。

运行状况分数显示以下内容：

• F1 分数- 分类中所有字段 F1 分数的平均值。
• Rating - Good, Fair, or Poor.
• 已批注文档- 已批注文档的数量。
• 分数来源的模型版本，以及该版本使用的提取模型。

F1 分数以颜色编码，如下所示：

颜色	F1 分数
绿色	80% or higher
黄色	40% to 79%
红色	Below 40%

运行状况分数是根据运行的评估生成的，这些评估包括节点数据集中的所有已批注文档。对文档子集的评估运行不会影响运行状况分数。

要查看分数背后的评估运行情况，请选择模型名称，例如 Gemini 2.5 Flash。运行将在“评估运行”选项卡中打开。

备注：

运行状况良好的模型分数为“良好” ，没有字段性能警告。

“评估运行”选项卡中的评估

Each evaluation run outputs the performance of a model version tested on a selection of the annotated documents in the dataset of the node. A new model version is created when you run an evaluation that includes changes not yet evaluated, such as changes to your taxonomy, including instructions, or to the model configuration. Making these changes does not create a model version by itself. For details, check Changes not evaluated.

查看评估运行

要查看节点的评估运行，请按照以下步骤操作：

1. 将鼠标悬停在“流程提取”节点上，然后选择“打开完整视图” 。

2. 导航到运行评估选项卡。

   

该列表显示了每次评估运行的以下详细信息：

• 名称- 评估运行的名称。
• 版本- 在运行中评估的模型版本。与当前节点定义匹配的运行显示“匹配当前定义标签”。
• 状态- 运行的状态：已完成、已取消、正在运行或失败。
• F1 分数- 所有字段的平均 F1 分数。
• 文档错误率- 已批注文档的平均错误率。
• 文档- 评估的文档数。
• “开始” - 运行开始的时间。
• 持续时间- 运行所花费的时长。

要按状态筛选列表，请选择筛选器图标，然后选择以下一个或多个选项： “正在运行”、 “已完成” 、 “失败”或“已取消” 。

要显示或隐藏列，请选择列图标，然后选择要显示的列。

要开始新的评估，请选择运行评估。有关详细信息，请查看“运行评估” 。

文档错误率

您可以在“评估运行”选项卡的“文档错误率”列中查看每次评估运行的文档错误率。

文档错误率是指模型对文档出现的错误与该文档批注总数的比率，即模型的预测与用户批注的不同程度。错误率仅适用于已批注的文档。

“评估运行”选项卡的“文档错误率”列中的值按每个已完全批注的文档的错误率的简单平均值计算。它提供了一个快速指标，用于衡量评估的模型版本处理文档时文档出错的比率，有助于评估部署准备情况。

备注：

文档错误率可能超过 100％，因为其计算公式如下：

• 文档错误率 = 错误数量 / 注释总数

错误不仅包括被错误批注和提取的字段，还包括模型做出的任何没有相应批注的额外预测。例如，模型预测了审核者未标记的其他行。

由于这些额外的预测被视为错误，但不会添加到批注总数中，因此错误数量可能超过批注数量，从而导致错误率高于 100％。

管理评估运行

要管理评估运行，请按照以下步骤操作：

1. 在“流程提取”节点中，导航到“评估运行”选项卡。

2. 选择运行的“操作”列中的省略号，然后选择以下选项之一：

   • 查看详细信息- 打开运行的详细信息。或者，选择运行所在的行。
   • 重新运行- 再次运行评估。
   • 导出为 JSON-将运行导出为 JSON 文件。
   • 导出为 CSV - 将运行导出为 CSV 文件。
   • 导出评估运行结果- 导出运行结果。
   • 删除- 删除运行。

   

您可以从评估运行中导出数据，用于离线分析、自定义筛选或与利益相关者共享结果。

您还可以在评估运行选项卡中将提取节点恢复到之前的模型版本。

评估运行详情

评估运行的详细信息可帮助您在部署模型版本之前评估模型版本在已批注文档上的性能。

要打开评估运行的详细信息，请按照以下步骤操作：

1. 将鼠标悬停在“流程提取”节点上，然后选择“打开完整视图” 。

2. 在评估运行选项卡中，选择评估运行所在的行。打开的运行详细信息，包括其“文档性能”表格。该页面显示运行的以下详细信息：

   • 延迟，即提取延迟。将鼠标悬停在值上，可查看各个文档的延迟百分比。
   • 运行分数，是所有字段 F1 分数的平均值。

   

3. 选择以下视图之一：

   • By document - Shows the Document performance table, with one row per document. By default, the table shows the following columns: F1 score, Doc error rate, Total errors, Total annotations, and Annotated values.
   • “按字段” - 显示“字段性能”表格。

“字段性能”表格

评估运行的“按字段”视图中的“评估运行”选项卡中提供了字段性能表，是分析模型性能的主要方式。每个字段或字段组显示一行，此外还显示为已批注文档计算的性能和错误指标。计算指标时，该表格不会考虑未批注和部分批注的文档。

该表格有助于回答以下问题：

• 哪些字段限制了模型整体性能？
• 错误集中在少数字段或广泛分布？
• 模型最近一次更改后，特定字段有所改进还是有所退化？

下表包含多个类别的指标，可帮助您从不同角度分析模型性能。每个类别都回答一个特定的诊断问题，说明您的模型在各个字段和文档中表现如何。

默认情况下，该表格显示以下列：

• F1 分数
• 错误率
• 错误总数
• 批注总数
• 批注值
• 包含错误的文档
• 已批注的文档

每个字段和字段组的 F1 分数都使用与节点运行状况分数相同的范围进行颜色编码：

• 绿色- 该字段运行良好。
• Yellow - The performance of the field is less than satisfactory.
• 红色- 该字段性能较差。

要显示或隐藏指标，请选择“列” ，然后从每个类别中选择指标。

要查找特定字段组或字段，请使用“搜索字段”框。

筛选和排序

要筛选表格中的行，请在“评估运行”选项卡中选择一个或多个可用的快速筛选器。每个快速筛选器都显示它匹配的行数：

• 批注值 <10
• 字段 F1 分数 < 50
• 字段 F1 分数在 50–70 之间

您还可以按表格中的任何指标对表格进行排序。应用排序时，会在各个值所属的字段组中对其进行排序。例如，按 F1 分数对表格进行排序会对每个字段组内的字段进行相对排序。

绩效指标

性能指标的作用是评估每个字段或字段组的整体提取质量。

性能指标如下所示：

• F1 分数- 精度与召回率的调和平均数：F1 = 2 ×（精度 × 召回率）/（精度 + 召回率）。只有在精度和召回率都很高时，F1 分数才会保持较高水平。在实践中，对于注重避免不正确值和遗漏值的提取任务而言，F1 是一个强有力的整体质量指标。因此，F1 是第一个需要查看的有用指标，可用于分析模型版本之间的字段性能变化。
• 精度- 度量预测值正确的频率：精度 = 真正例/（真正例 + 假正例）。真正例是与批注值相匹配的预测，不包括被批注为缺失的值。
• 召回率- 衡量模型找到值（如存在）的频率：召回率 = 真正例/（真正例 + 假负例）。假负例是模型未预测的批注值，不包括被批注为缺失的值。
• 错误率- 错误总数/批注总数。标记为缺失的值包含在错误和批注计数中。
• 错误率（不包括缺失值）/（错误总数 – 多余的预测）/批注值。不包括标记为缺失的批注值。

预测和错误

预测和错误指标的作用是了解导致性能较差的错误数量和组成。

这些指标如下所示：

• 错误总数- 某个字段在所有错误类别下的错误总数：错误总数 = 不正确的值 + 缺失的预测 + 多余的预测。
• 预测总数- 一个字段的预测值总数：预测总数 = 正确值 + 正确的缺失值 + 不正确的值。
• 值不正确- 提取值与批注不匹配的预测数量。不包括标记为缺失的预测和批注值。
• 缺失的预测- 模型无法提取的批注值数量。
• 多余的预测- 模型不应提取、没有相应批注或批注标记为缺失的预测值数量。
• 正确值- 与批注完全匹配的预测值数量。
• 正确的缺失值- 模型正确预测值缺失的实例数量。

批注

批注指标的作用是提供上下文，说明为每个指标提供支持的标记数据量以及性能分数的可靠程度。

这些指标如下所示：

• 批注总数- 批注总数，包括标记为缺失的值：批注总数 = 批注值 + 标记为缺失的批注值。
• 批注值- 批注字段值的总数，不包括标记为缺失的值。
• 批注为缺失- 一个字段被明确标记为缺失的总次数。

文档指标

文档指标的作用是了解错误在文档之间的分布情况，而非仅仅是预测之间的分布情况。

这些指标如下所示：

• 包含错误的文档- 字段至少包含一个错误的文档总数。
• 已批注的文档- 字段至少有一个批注字段值的文档总数。
• 包含错误的文档百分比- 至少包含一个字段错误的已批注文档的百分比：包含错误的文档/已批注的文档。

比较模型版本

可运行多次评估时，您可以将本次运行的性能与前一次运行进行比较。这样您就可以更好地了解字段指令更改、批注更改或模型配置更新所产生的影响。

默认情况下，该表格会将选定的运行与先前的运行进行比较。分数差异显示在每个值的旁边，并带有箭头指示值是增加还是减少。

要与不同的运行进行比较，请按以下步骤继续操作：

1. 在评估运行的“按字段”视图中，选择“比较对象”下拉列表。

   

2. 选择以下选项之一：

   • 先前的运行，按运行编号、数据集、日期和模型版本列出。
   • 无比较- 隐藏分数差异。

   

示例场景

场景 1：低 F1 + 低精度，中高召回率

您发现的现象

F1 和精度较低，召回率处于中高水平。

通常意味着什么

• 模型正在提取一个字段的值，但预测值多于预期数量。
• 常见根本原因：
  • 字段指令过于宽泛或模糊。例如，字段指令是“捕获数量”，但未指定什么数量。
  • 文档中有相似值，可能会相互混淆，例如小计与总计、收货地址与账单地址。

下一步操作

比较不正确的值和多余的预测，以确定问题与提取了错误值 (非零不正确值计数) 有关，还是根本不应提取该值 (非零多余预测计数)。

通过消歧工具（如标签、关键字和格式约束），明确字段指令。

场景 2：高缺失预测（召回率低），中高精度

您发现的现象

• 召回率较低，精度处于中高水平（F1 通常处于中低水平）。
• 缺失预测较高，通常高于不正确值或多余预测。

通常意味着什么

• 模型无法提取存在的值。
• 常见根本原因：
  • 字段指令范围过窄，这意味着示例约束过大或标签要求太具体。
  • 值以多种格式显示，如日期和 ID，且指令不涵盖变体。

下一步操作

• 使用“缺失预测 + 批注值”来确认此问题与召回率相关，即值存在但未找到。检查“批注值”，以确认该字段具有合理数量的批注数据点，并检查“缺失预测”，以确认模型正在尝试找到值，而不是错误地预测值。
• 扩展指令，在其中包含可接受的变体：替代标签或同义词、多种格式化模式、位置提示（例如，申请人详细信息附近或借用人部分下方）。

场景 3：错误率高，但包含错误的文档数量低（错误集中在少数文档中）

您发现的现象

• 错误率高或错误总数高。
• 相对于已批注文档，包含错误的文档数量较低。
• 通常情况下，一个字段看起来性能不佳，但实际上只有一小部分文档存在问题。

通常意味着什么

• 错误是由异常文档引起的，而非字段的整体表现。
• 常见根本原因：
  • 特定文档或格式的表现与其他文档或格式不同。
  • 少数文档中的 OCR 或质量问题，如模糊扫描、偏差和手写体叠加。
  • 字段存在于大多数文档中，但只有在少数文档中出现格式异常，例如多行与单行。

下一步操作

• 比较包含错误的文档和已批注文档，还可以选择性地比较包含错误的文档百分比，以确认问题集中在哪里。
• 切换到评估运行的“按文档”视图，按分数对文档进行排序，并检查分数最低的文档，以确定该字段在特定子集上的性能是否较差。

场景 4：版本之间性能波动较大，批注数量较少

您发现的现象

• 各模型版本（向上或向下）之间的 F1 或错误率差异较大，但批注值数量较低，已批注文档数量较低，或两者都较低。

通常意味着什么

• 由于样本量小，字段指标尚不稳定。
• 常见根本原因：
  • 示例过少至多 1–2 个文档，比率可能会发生显着变化。
  • 包含该字段的文档很少，即缺失用例很多，真实值很少。
  • 少数难度较高的文档影响了指标。

下一步操作

• 检查批注值、已批注文档和批注为缺失的次数，以验证覆盖范围是否较小。
• 在覆盖范围扩大之前，将指标视为定向性指标，而非确定性指标。
• 专门为该字段添加更多标记数据：对包含该字段的文档进行优先级排序，并包含一组多样化的样本或变体。
• 仅在覆盖范围足够大时才使用版本比较，以减少变异性带来的干扰。