评估管道

评估管道用于评估经过训练的 ML 模型。

评估经过训练的模型

按如下方式配置评估管道：

• 在“管道类型”字段中，选择“评估运行”。
• 在“选择包”字段中，选择要评估的包。
• 在“选择包主要版本”字段中，选择包的主要版本。
• 在“选择包次要版本”字段中，选择要评估的次要版本。
• 在“选择评估数据集”字段中，选择一个具有代表性的评估数据集。
• 在“输入参数”部分中，您可以使用一个与评估管道相关的环境变量：
• eval.redo_ocr，如果设置为 true，则允许您在运行管道时重新运行 OCR，以评估 OCR 对提取准确性的影响。这假设创建 ML 包时已配置 OCR 引擎。
• “启用 GPU”滑块选项默认禁用，在这种情况下，管道在 CPU 上运行。我们强烈建议评估管道仅在 CPU 上运行。

• 请选择管道应何时运行：“立即运行”、“基于时间”或“循环”。

  
  

  

  
  
• 配置所有字段后，单击“创建”。已创建管道。

工件

对于评估管道，“输出”窗格还包括“artifacts”/“eval_metrics”文件夹，其中包含两个文件：

• evaluation_default.xlsx 是一个 Excel 电子表格，其中包含模型预测的每个字段的真实值与预测值的比较，以及文档准确性指标（按准确性升序排序）。因此，最不准确的文档会显示在顶部，以便于诊断和故障排除。
• evaluation_metrics_default.txt 包含预测的字段的 F1 分数。
• 对于行项目，将获取所有列的全局分数。