Pipelines d'entraînement

Important :

Taille minimale de l'ensemble de données

Pour exécuter avec succès un pipeline d'entraînement, nous recommandons fortement au moins 10 documents et au moins 5 échantillons de chaque champ étiqueté dans votre ensemble de données. Sinon, le pipeline renvoie l'erreur suivante :

Dataset Creation
                  Failed

Formation sur GPU vs formation sur CPU

Pour les ensembles de données plus volumineux, vous devrez effectuer l'entraînement à l'aide du GPU. De plus, l'utilisation d'un GPU pour l'entraînement est au moins 10 fois plus rapide que l'utilisation d'un CPU.
La formation sur le processeur est uniquement prise en charge pour les ensembles de données d'une taille maximale de 5000 pages pour les paquets ML v21.10.x et jusqu'à 1000 pages pour les autres versions des paquets ML.
La formation CPU était limitée à 500 pages avant 2021.10, elle est montée à 5 000 pages pour 2021.10 et avec 2022.4 elle redescendra à 1000 pages max.

Il existe deux manières d'entraîner un modèle de ML :

entraînement d'un modèle à partir de zéro
réentraînement d'un modèle prêt à l'emploi

L'entraînement d'un modèle à partir de zéro peut être effectué à l'aide du paquet ML DocumentUnderstanding, réalisant le processus selon l'ensemble de données fourni en entrée.

Le réentraînement peut être réalisé à l'aide de paquets ML prêts à l'emploi tels que Invoices, Receipts, Purchase Orders, Utility Bills, Invoices India, Invoices Australia, etc. En résumé, tout autre paquet ML d'extraction de données - à l'exception de DocumentUnderstanding. L'entraînement effectué à l'aide de l'un de ces packages a une entrée supplémentaire : un modèle de base. Nous appelons cela le réentraînement parce que vous ne partez pas de zéro mais à partir d'un modèle de base. Cette approche utilise une technique appelée l'apprentissage par transfert où le modèle tire parti des informations codées dans un autre modèle préexistant. Le modèle conserve certaines des connaissances prêtes à l'emploi, mais il apprend également des nouvelles données. Cependant, à mesure que la taille de votre ensemble de données d'entraînement augmente, le modèle de base pré-entraîné est de moins en moins important. Sa pertinence s'adresse principalement aux ensembles de données d'entraînement de petite à moyenne taille (jusqu'à 500-800 pages).

Configurez le pipeline d'entraînement comme suit :

Dans le champ Type de pipeline (Pipeline type), sélectionnez Exécution de pipeline d'entraînement (Training run).
Dans le champ Choisir le package (Choose package), sélectionnez le package que vous avez créé en fonction du paquet ML DocumentUnderstanding.
Dans le champ Choisir la version majeure du package (Choose package major version), sélectionnez une version majeure pour votre package.
Dans le champ Choisir la version mineure du package (Choose package minor version), sélectionnez une version mineure pour votre package. Il est fortement recommandé de toujours utiliser la version mineure 0 (zéro).
Dans le champ Choisir un ensemble de données d’entrée (Choose input dataset), sélectionnez un ensemble de données, comme indiqué dans la vidéo ci-dessous sur cette page. Pour créer des ensembles de données d’entraînement de haute qualité, vous pouvez consulter ce tutoriel.
Dans la section Entrer les paramètres (Enter parameters), entrez toutes les variables d'environnement définies et utilisées par votre pipeline, le cas échéant. Pour la plupart des cas d'utilisation, aucun paramètre n'a besoin d'être spécifié ; le modèle utilise des techniques avancées pour trouver une configuration performante. Cependant, voici quelques variables d'environnement que vous pouvez utiliser :
auto_retraining qui permet de boucler la boucle de réentraînement automatique (Auto-retraining Loop) ; si la variable est définie sur True, l'ensemble de données d'entrée doit être le dossier d'exportation associé à la session de labellisation où les données sont labellisées ; si la variable reste définie sur False, l'ensemble de données d'entrée doit correspondre au format de l'ensemble de données.
model.epochs permet de personnaliser le nombre d'époques pour le pipeline d'entraînement (la valeur par défaut est de 100). Optional.
Pour les paquets ML v23.4 ou versions ultérieures, l'entraînement sur des ensembles de données de moins de 400 pages utilise une approche appelée Frozen Backone pour accélérer l'entraînement et améliorer les performances. Cependant, vous avez la possibilité de remplacer ce comportement et de forcer l'entraînement complet même pour les ensembles de données plus petits, ou, inversement, de forcer l'entraînement Frozen Backbone même pour les ensembles de données plus volumineux (jusqu'à un maximum de 3 000 pages). Vous pouvez utiliser les variables d'environnement suivantes, à la condition de les combiner lors de leur utilisation, soit utiliser la première et la seconde, soit la première et la troisième variables ensemble. Optional.
- model.override_finetune_freeze_backbone_mode=True : incluez cette variable d'environnement afin de remplacer le comportement par défaut. Ceci est requis dans les deux situations ci-dessous.
- model.finetune_freeze_backbone_mode=True : incluez cette variable d'environnement afin de forcer le modèle à utiliser Frozen Backone même pour les ensembles de données plus volumineux.
- model.finetune_freeze_backbone_mode=False : incluez cette variable d'environnement afin de forcer le modèle à utiliser l'entraînement complet même pour les ensembles de données plus petits.
Indiquez si vous souhaitez entraîner le pipeline sur GPU ou sur CPU. Le curseur Activer le GPU (Enable GPU) est désactivé par défaut, auquel cas le pipeline est entraîné sur CPU.
Sélectionnez l'une des options d'exécution du pipeline : Exécuter maintenant (Run now), Basé sur l'heure (Time based) ou Récurrent (Recurring). Si vous utilisez la variable auto_retraining, sélectionnez Récurrent.
Après avoir configuré tous les champs, cliquez sur Créer (Create). Le pipeline est créé.