评估管道

评估管道用于评估经过训练的 ML 模型。

评估经过训练的模型

按如下方式配置评估管道：

• 在“管道类型”字段中，选择“评估运行”。
• 在“选择包主要版本”字段中，选择包的主要版本。
• 在“选择包次要版本”字段中，选择要评估的次要版本。
• 在“选择评估数据集”字段中，选择一个具有代表性的评估数据集。有关数据集结构的更多信息，请查看数据集格式部分。
• 在“输入参数”部分中，您可以使用一个与评估管道相关的环境变量：
• eval.redo_ocr，如果设置为 true，则允许您在运行管道时重新运行 OCR 以评估 OCR 对提取准确性的影响。这假设创建 ML 包时已配置 OCR 引擎。
• “启用 GPU”滑块选项默认禁用，在这种情况下，管道在 CPU 上运行。我们强烈建议评估管道仅在 CPU 上运行。

• 请选择管道应何时运行：“立即运行”、“基于时间”或“循环”。

  
  

  

  
  
• 配置所有字段后，单击“创建”。已创建管道。

工件

对于评估管道，“输出”窗格还包括“artifacts”/“eval_metrics”文件夹，其中包含两个文件：

• evaluation_default.xlsx 是包含三个不同工作表的 Excel 电子表格：
• 第一个工作表列出了每个字段（“常规”、“列”和“分类”）的总体分数和每批分数的摘要。还提供了每批文档和整个文档的提取文档的百分比。
• 第二张工作表并排显示常规字段的颜色编码比较，以提高文档准确性。最不准确的文档会显示在顶部，以便于诊断和故障排除。
• 第三个工作表并排显示列字段的颜色编码比较。
• Excel 文件中显示的所有分数均表示准确性分数。
• evaluation_metrics_default.txt 包含预测字段的 F1 分数。