Procesos de entrenamiento

Importante:

Tamaño mínimo del conjunto de datos

Para ejecutar con éxito un proceso de entrenamiento, recomendamos encarecidamente al menos 25 documentos y al menos 10 muestras de cada campo etiquetado en tu conjunto de datos. En caso contrario, el proceso genera el siguiente error: Dataset Creation Failed.

Entrenamiento en la GPU frente a la CPU

Para conjuntos de datos más grandes, es necesario entrenar con la GPU. Sin embargo, utilizar una GPU (AI Robot Pro) para el entrenamiento es como mínimo cinco veces más lento que utilizar una CPU (AI Robot).

El entrenamiento en CPU solo se admite para conjuntos de datos de hasta 5000 páginas de tamaño para Paquetes ML v21.10.x y de hasta 1000 páginas para otras versiones de Paquetes ML. El entrenamiento en la CPU en lugar de en la GPU también puede dar lugar a un modelo menos preciso (entre un 0 y un 5 %).

El entrenamiento de la CPU estaba limitado a 500 páginas antes de 2021.10, ascendió a 5000 páginas para 2021.10, y con 2022.4 volverá a descender a 1000 páginas como máximo.

Hay dos maneras de entrenar un modelo ML:

• entrenar un modelo desde cero
• reentrenamiento de un modelo listo para usar

El entrenamiento de un modelo desde cero puede hacerse con el paquete ML DocumentUnderstanding, que lo hace sobre el conjunto de datos proporcionado como entrada.

El reentrenamiento puede realizarse con paquetes ML listos para usar, como Facturas, Recibos, Órdenes de compra, Facturas de servicios públicos, Facturas de India, Facturas de Australia, etc. Básicamente, cualquier otro paquete ML de extracción de datos, excepto DocumentUnderstanding. El entrenamiento con uno de estos paquetes tiene una entrada adicional: un modelo base. Lo llamamos reentrenamiento porque no se parte de cero, sino de un modelo base. Este enfoque usa una técnica llamada Aprendizaje de transferencia, en la que el modelo aprovecha la información codificada en otro modelo: el preexistente. El modelo conserva parte de los conocimientos previos, pero también aprende de los nuevos datos. Sin embargo, a medida que aumenta el tamaño del conjunto de datos de entrenamiento, el modelo base preentrenado importa cada vez menos. Es relevante sobre todo para conjuntos de datos de entrenamiento de tamaño pequeño o medio (hasta 500-800 páginas).

Configura el proceso de reentrenamiento de la siguiente manera:

• En el campo Tipo de proceso, selecciona Ejecución de entrenamiento.

• In the Choose package field, select the package you created based on an out-of-the-box ML package.

• En el campo Elegir la versión principal del paquete, selecciona una versión principal para tu paquete.

• En el campo Elegir versión secundaria del paquete, selecciona una versión secundaria para tu paquete. Se recomienda encarecidamente usar siempre la versión menor 0 (cero).

• In the Choose input dataset field, select a representative training dataset.

• In the Enter parameters section, enter any environment variables defined and used by your pipeline, if any. For most use cases, no parameter needs to be specified; the model is using advanced techniques to find a performant configuration. However, here are some environment variables you could use:

• auto_retraining which allows you to complete the Auto-retraining Loop; if the variable is set to True, then the input dataset needs to be the export folder associated with the labeling session where the data is tagged; if the variable remains set to False, then the input dataset needs to correspond to the following dataset format.

• model.epochs que personaliza el número de epochs para el proceso de entrenamiento (el valor predeterminado es 100).

• Selecciona si quieres entrenar el proceso en la GPU o en la CPU. El control deslizante Habilitar GPU está deshabilitado de forma predeterminada, en cuyo caso el proceso se entrena en la CPU.

• Select one of the options when the pipeline should run: Run now,Time based or Recurring. In case you are using the auto_retraining variable, select Recurring.

  

After you configure all the fields, click Create. The pipeline is created.