Procesos de evaluación

Un proceso de evaluación se utiliza para evaluar un modelo ML entrenado.

Evaluar un modelo entrenado

Configura el proceso de evaluación de la siguiente manera:

• En el campo Tipo de proceso, selecciona Ejecución de evaluación.

• In the Choose package field, select the package you want to evaluate.

• In the Choose package major version field, select a major version for your package.

• In the Choose package minor version field, select a minor version you want to evaluate.

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• In the Enter parameters section, there is one environment variable is relevant for Evaluation pipelines you could use:

• eval.redo_ocr que, si se establece en Verdadero, te permite volver a ejecutar el OCR al ejecutar el proceso para evaluar el impacto del OCR en la precisión de la extracción. Esto presupone que se ha configurado un motor OCR cuando se ha creado el paquete ML.

• The Enable GPU slider is disabled by default, in which case the pipeline is runs on CPU. We strongly recommend that Evaluation pipelines run only on CPU.

• Select one of the options when the pipeline should run: Run now, Time based or Recurring.

  

After you configure all the fields, select Create. The pipeline is created.

Artefactos

En el caso de un proceso de evaluación, el panel de resultados también incluye una carpeta artifacts / eval_metrics que contiene dos archivos:

• evaluation_default.xlsx es una hoja de cálculo de Excel con tres hojas diferentes:
• La primera hoja presenta un resumen de las puntuaciones globales y de las puntuaciones por lote, para cada campo: Regular, Columna y Clasificación. También se proporciona un porcentaje de los documentos correctamente extraídos, tanto para cada lote como para el conjunto de los documentos.
• La segunda hoja presenta una comparación paralela, codificada por colores, de los Campos regulares, para aumentar la precisión de los documentos. Los documentos más inexactos se presentan en la parte superior para facilitar el diagnóstico y la resolución de problemas.
• The third sheet presents a side by side color, coded comparison of the Column Fields. All scores presented in the Excel file represent accuracy scores.
• evaluation_metrics_default.txt contiene las puntuaciones de F1 de los campos predichos.