Pipelines d'entraînement

Important :

Taille minimale de l'ensemble de données

Pour exécuter avec succès un pipeline d'entraînement, nous recommandons fortement au moins 25 documents et au moins 10 échantillons de chaque champ étiqueté dans votre ensemble de données. Sinon, le pipeline renvoie l'erreur suivante : Dataset Creation Failed.

Formation sur GPU vs formation sur CPU

Pour les ensembles de données plus volumineux, vous devrez effectuer l'entraînement à l'aide du GPU. De plus, l'utilisation d'un GPU (AI Robot Pro) pour l'entraînement est au moins 10 fois plus rapide que l'utilisation d'un CPU (AI Robot).

La formation sur le processeur est uniquement prise en charge pour les ensembles de données d’une taille maximale de 5000 pages pour les paquets ML v21.10.x et jusqu’à 1000 pages pour les autres versions des paquets ML. L’entraînement sur le processeur au lieu du processeur graphique pourrait également conduire à un modèle moins précis (entre 0 et 5 %).

La formation CPU était limitée à 500 pages avant 2021.10, elle est montée à 5000 pages pour 2021.10 et avec 2022.4 elle redescendra à 1000 pages max.

Il existe deux manières d'entraîner un modèle de ML :

• entraînement d'un modèle à partir de zéro
• réentraînement d'un modèle prêt à l'emploi

L'entraînement d'un modèle à partir de zéro peut être effectué à l'aide du paquet ML DocumentUnderstanding, réalisant le processus selon l'ensemble de données fourni en entrée.

Le réentraînement peut être réalisé à l'aide de paquets ML prêts à l'emploi tels que Invoices, Receipts, Purchase Orders, Utility Bills, Invoices India, Invoices Australia, etc. En résumé, tout autre paquet ML d'extraction de données - à l'exception de DocumentUnderstanding. L'entraînement effectué à l'aide de l'un de ces packages a une entrée supplémentaire : un modèle de base. Nous appelons cela le réentraînement parce que vous ne partez pas de zéro mais à partir d'un modèle de base. Cette approche utilise une technique appelée l'apprentissage par transfert où le modèle tire parti des informations codées dans un autre modèle préexistant. Le modèle conserve certaines des connaissances prêtes à l'emploi, mais il apprend également des nouvelles données. Cependant, à mesure que la taille de votre ensemble de données d'entraînement augmente, le modèle de base pré-entraîné est de moins en moins important. Sa pertinence s'adresse principalement aux ensembles de données d'entraînement de petite à moyenne taille (jusqu'à 500-800 pages).

Configurez le pipeline de réentraînement comme suit :

• Dans le champ Type de pipeline (Pipeline type), sélectionnez Exécution de pipeline d'entraînement (Training run).

• In the Choose package field, select the package you created based on an out-of-the-box ML package.

• Dans le champ Choisir la version majeure du package (Choose package major version), sélectionnez une version majeure pour votre package.

• Dans le champ Choisir une version mineure du package, sélectionnez une version mineure de votre package.Il est fortement recommandé de toujours utiliser la version mineure 0 (zéro).

• In the Choose input dataset field, select a representative training dataset.

• In the Enter parameters section, enter any environment variables defined and used by your pipeline, if any. For most use cases, no parameter needs to be specified; the model is using advanced techniques to find a performant configuration. However, here are some environment variables you could use:

• auto_retraining which allows you to complete the Auto-retraining Loop; if the variable is set to True, then the input dataset needs to be the export folder associated with the labeling session where the data is tagged; if the variable remains set to False, then the input dataset needs to correspond to the following dataset format.

• model.epochs permet de personnaliser le nombre d'époques pour le pipeline d'entraînement (la valeur par défaut est de 100).

• Indiquez si vous souhaitez entraîner le pipeline sur GPU ou sur CPU. Le curseur Activer le GPU (Enable GPU) est désactivé par défaut, auquel cas le pipeline est entraîné sur CPU.

• Select one of the options when the pipeline should run: Run now,Time based or Recurring. In case you are using the auto_retraining variable, select Recurring.

  

After you configure all the fields, click Create. The pipeline is created.