评估管道

评估管道用于评估经过训练的 ML 模型。

评估经过训练的模型

按如下方式配置评估管道：

• 在“管道类型”字段中，选择“评估运行”。

• In the Choose package field, select the package you want to evaluate.

• In the Choose package major version field, select a major version for your package.

• In the Choose package minor version field, select a minor version you want to evaluate.

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• In the Enter parameters section, there is one environment variable is relevant for Evaluation pipelines you could use:

• eval.redo_ocr，如果设置为 true，则允许您在运行管道时重新运行 OCR，以评估 OCR 对提取准确性的影响。这假设创建 ML 包时已配置 OCR 引擎。

• The Enable GPU slider is disabled by default, in which case the pipeline is runs on CPU. We strongly recommend that Evaluation pipelines run only on CPU.

• Select one of the options when the pipeline should run: Run now, Time based or Recurring.

  

After you configure all the fields, select Create. The pipeline is created.

工件

对于评估管道，“输出”窗格还包括“artifacts”/“eval_metrics”文件夹，其中包含两个文件：

• evaluation_default.xlsx 是包含三个不同工作表的 Excel 电子表格：
• 第一个工作表列出了每个字段（“常规”、“列”和“分类”）的总体分数和每批分数的摘要。还提供了每批文档和整个文档的提取文档的百分比。
• 第二张工作表并排显示常规字段的颜色编码比较，以提高文档准确性。最不准确的文档会显示在顶部，以便于诊断和故障排除。
• The third sheet presents a side by side color, coded comparison of the Column Fields. All scores presented in the Excel file represent accuracy scores.
• evaluation_metrics_default.txt 包含预测字段的 F1 分数。