Procesos completos

Un proceso completo ejecuta conjuntamente un proceso de entrenamiento y un proceso de evaluación.

Importante:

Minimal dataset size For successfully running a Training pipeline, we strongly recommend minimum 10 documents and at least 5 samples from each labeled field in your dataset. Otherwise, the pipeline throws the following error: Dataset Creation Failed. Training on GPU vs CPU

• Para conjuntos de datos más grandes, debes entrenar con GPU. Además, usar una GPU para el entrenamiento es al menos 10 veces más rápido que una CPU.
• El entrenamiento en la CPU solo es compatible con conjuntos de datos de hasta 5000 páginas para paquetes ML v21.10.x y de hasta 1000 páginas para otras versiones de paquetes ML.
• El entrenamiento en la CPU estaba limitado a 500 páginas antes de la versión 2021.10, ascendió a 5000 páginas para la 2021.10, y con la 2022.4 regresó a un máximo de 1000 páginas.

Entrenar y evaluar un modelo al mismo tiempo

Configura el proceso de entrenamiento como sigue:

• En el campo Tipo de proceso, selecciona Ejecución de proceso completo.

• En el campo Elegir paquete, selecciona el paquete que deseas entrenar y evaluar.

• En el campo Elegir la versión principal del paquete, selecciona una versión principal para tu paquete.

• En el campo Elegir la versión secundaria del paquete, selecciona una versión secundaria para tu paquete. Se recomienda encarecidamente usar siempre la versión menor 0 (cero).

• In the Choose input dataset field, select a representative training dataset.

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• En la sección Introducir parámetros, escribe cualquier variable de entorno definida y utilizada por tu proceso, si la hubiera. Para la mayoría de los casos de uso, no es necesario especificar ningún parámetro; el modelo usa técnicas avanzadas para encontrar una configuración eficaz. Sin embargo, aquí hay algunas variables de entorno que podrías usar:

• auto_retraining which allows you to complete the Auto-retraining Loop; if the variable is set to True, then the input dataset needs to be the export folder associated with the labeling session where the data is tagged; if the variable remains set to False, then the input dataset needs to correspond to the dataset format.

• model.epochs que personaliza el número de epochs para el proceso de entrenamiento (el valor predeterminado es 100).

• Selecciona si quieres entrenar el proceso en la GPU o en la CPU. El control deslizante Habilitar GPU está deshabilitado de forma predeterminada, en cuyo caso el proceso se entrena en la CPU. Usar una GPU para el entrenamiento es al menos 10 veces más rápido que usar una CPU. Además, el entrenamiento en la CPU solo es posible para conjuntos de datos de hasta 1000 imágenes. Para conjuntos de datos más grandes, es necesario entrenar con la GPU.

• Selecciona una de las opciones sobre cuándo debe ejecutarse el proceso: Ejecutar ahora, Basado en el tiempo o Recurrente. Si estás usando la variable auto_retraining, selecciona Recurrente.

  

• Tras configurar todos los campos, haz clic en Crear. El proceso se creará.

Artefactos

Para procesos completos, el panel de resultados también incluye una carpeta artifacts / eval_metrics que contiene dos archivos:

• evaluation_default.xlsx es una hoja de cálculo de Excel con una comparación paralela de datos reales frente al valor predicho para cada campo predicho por el modelo, así como una métrica de precisión por documento, en orden de precisión ascendente. Por lo tanto, los documentos más inexactos se presentan en la parte superior para facilitar el diagnóstico y la resolución de problemas.
• evaluation_metrics_default.txt contains the F1 scores of the fields which were predicted. For line items, a global score is obtained for all columns taken together.