Procesos de evaluación

Un proceso de evaluación se utiliza para evaluar un modelo ML entrenado.

Evaluar un modelo entrenado

Configura el proceso de evaluación de la siguiente manera:

• En el campo Tipo de proceso, selecciona Ejecución de evaluación.
• En el campo Elegir paquete, selecciona el paquete que deseas evaluar.
• En el campo Elegir la versión principal del paquete, selecciona una versión principal para tu paquete.
• En el campo Elegir la versión secundaria del paquete, selecciona la versión secundaria que deseas evaluar.
• En el campo Elegir conjunto de datos de evaluación, selecciona un conjunto de datos de evaluación representativo.
• En la sección Introducir parámetros, existe una variable de entorno, relevante para los procesos de evaluación, que puedes utilizar:
• eval.redo_ocr que, si se establece en Verdadero, te permite volver a ejecutar el OCR al ejecutar el proceso para evaluar el impacto del OCR en la precisión de la extracción. Esto presupone que se ha configurado un motor OCR cuando se ha creado el paquete ML.
• El control deslizante de Habilitar GPU está desactivado de manera predeterminada, en cuyo caso el proceso se ejecuta en la CPU. Se recomienda encarecidamente que los procesos de evaluación se ejecuten únicamente en la CPU.

• Selecciona una de las opciones de cuando debe ejecutarse el proceso: Ejecutar ahora, Basado en tiempo o Recurrente.

  
  

  

  
  
• Tras configurar todos los campos, haz clic en Crear. El proceso se creará.

Artefactos

En el caso de un proceso de evaluación, el panel de resultados también incluye una carpeta artifacts / eval_metrics que contiene dos archivos:

• evaluation_default.xlsx es una hoja de cálculo de Excel con una comparación paralela de datos reales frente al valor predicho para cada campo predicho por el modelo, así como una métrica de precisión por documento, en orden de precisión ascendente. Por lo tanto, los documentos más inexactos se presentan en la parte superior para facilitar el diagnóstico y la resolución de problemas.
• evaluation_metrics_default.txt contiene las puntuaciones F1 de los campos que se predijeron.
• En el caso de los elementos de línea, se obtiene una puntuación global para el conjunto de todas las columnas.