概述

UiPath Maestro™ Flow 提取节点中 IXP 模型版本的评估流程，包括将模型部署到生产环境之前所需的性能评估和准确性检查。

在将模型部署到生产环境之前，评估模型性能对于确保模型的准确性和可靠性而言具有重要意义。

模型评估流程

先决条件：标注文档。您需要一组具有代表性的文档的基本事实，以便与模型的预测结果进行比较。

1. 对一组选定的文档集运行评估。
2. 通过查看评估运行的字段级和文档级结果来分析模型性能。两者都可以帮助您识别限制模型准确性的因素。
3. 根据发现采取行动：尝试不同的模型配置，对分类中的字段说明进行迭代或更正批注。
4. 对同一文档集或您要测试的特定子集重新运行评估。
5. 比较运行两次评估的性能。比较模型版本时，我们建议使用相同的数据集。
6. 重复此流程，直到模型满足在生产中成功所需的性能目标。

在哪里查看模型性能

产品的以下部分显示模型的指标和分数：

• 运行状况分数- 在“流程提取”节点的两个位置显示：属性窗格和沉浸式接管中的“定义”选项卡。它还显示分数来自哪个模型版本以及使用的提取模型。
• 评估运行历史记录- 列出节点的每次评估运行，以及每次运行的 F1 分数和文档错误率。选择运行以查看其详细信息。
• 字段性能表格- 在运行的“按字段”视图中可用。每个字段或字段组显示一行，并为已批注文档计算性能和错误指标。
• Document performance table - Available in the By document view of a run. Shows one row per document, with its F1 score, document error rate, total errors, total annotations, and annotated values.

有关每个指标的详细信息，请查看评估模型性能。

最佳实践

• 在尽可能多的唯一文档（理想情况下为 10 个）中，为分类中的每个字段至少标注 10 个值，以获得有意义的模型和字段分数。