Pipelines complets

Un pipeline complet exécute ensemble un pipeline d'entraînement et un pipeline d'évaluation.

Important :

Minimal dataset size For successfully running a Training pipeline, we strongly recommend minimum 10 documents and at least 5 samples from each labeled field in your dataset. Otherwise, the pipeline throws the following error: Dataset Creation Failed. Training on GPU vs CPU

• Pour les ensembles de données plus volumineux, vous devrez effectuer l'entraînement à l'aide du GPU. De plus, l'utilisation d'un GPU pour l'entraînement est au moins 10 fois plus rapide que l'utilisation d'un CPU.
• La formation sur le processeur est uniquement prise en charge pour les ensembles de données d'une taille maximale de 5000 pages pour les paquets ML v21.10.x et jusqu'à 1000 pages pour les autres versions des paquets ML.
• La formation CPU était limitée à 500 pages avant 2021.10, elle est montée à 5 000 pages pour 2021.10 et avec 2022.4 elle redescendra à 1000 pages max.

Former et évaluer un modèle en même temps

Configurez le pipeline d'entraînement comme suit :

• Dans le champ Type de pipeline (Pipeline type), sélectionnez Exécution de pipeline complet (Full Pipeline run).

• Dans le champ Choisir un package (Choose package), sélectionnez le package que vous souhaitez entraîner et évaluer.

• Dans le champ Choisir la version majeure du package (Choose package major version), sélectionnez une version majeure pour votre package.

• Dans le champ Choisir la version mineure du package (Choose package minor version), sélectionnez une version mineure pour votre package. Il est fortement recommandé de toujours utiliser la version mineure 0 (zéro).

• In the Choose input dataset field, select a representative training dataset.

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• Dans la section Entrer les paramètres (Enter parameters), entrez toutes les variables d'environnement définies et utilisées par votre pipeline, le cas échéant. Pour la plupart des cas d'utilisation, aucun paramètre n'a besoin d'être spécifié ; le modèle utilise des techniques avancées pour trouver une configuration performante. Cependant, voici quelques variables d'environnement que vous pouvez utiliser :

• auto_retraining which allows you to complete the Auto-retraining Loop; if the variable is set to True, then the input dataset needs to be the export folder associated with the labeling session where the data is tagged; if the variable remains set to False, then the input dataset needs to correspond to the dataset format.

• model.epochs permet de personnaliser le nombre d'époques pour le pipeline d'entraînement (la valeur par défaut est de 100).

• Indiquez si vous souhaitez entraîner le pipeline sur GPU ou sur CPU. Le curseur Activer le GPU (Enable GPU) est désactivé par défaut, auquel cas le pipeline est entraîné sur CPU. L'utilisation d'un GPU pour l'entraînement est au moins 10 fois plus rapide que l'utilisation d'un CPU. De plus, l'entraînement sur processeur est pris en charge pour les ensembles de données jusqu'à 1 000 images uniquement. Pour les ensembles de données plus volumineux, vous devrez effectuer l'entraînement à l'aide du GPU.

• Sélectionnez l'une des options d'exécution du pipeline : Exécuter maintenant (Run now), Basé sur l'heure (Time based) ou Récurrent (Recurring). Si vous utilisez la variable auto_retraining, sélectionnez Récurrent.

  

• Après avoir configuré tous les champs, cliquez sur Créer (Create). Le pipeline est créé.

Artefacts

Pour un Pipeline complet, le volet Sorties (Outputs) comprend également un dossier artifacts/eval_metrics qui contient deux fichiers :

• evaluation_default.xlsx est une feuille de calcul Excel avec une comparaison juxtaposée de la vérité terrain par rapport à la valeur prédite pour chaque champ prédit par le modèle, ainsi qu'une métrique de précision par document, afin d'augmenter la précision. Par conséquent, les documents les plus inexacts sont présentés en haut pour faciliter le diagnostic et le dépannage.
• evaluation_metrics_default.txt contains the F1 scores of the fields which were predicted. For line items, a global score is obtained for all columns taken together.