Pipelines complets

Un pipeline complet exécute ensemble un pipeline d'entraînement et un pipeline d'évaluation.

Important :

Minimal dataset size For successfully running a Training pipeline, we strongly recommend at least 25 documents and at least 10 samples from each labeled field in your dataset. Otherwise, the pipeline throws the following error: Dataset Creation Failed. **

Training on GPU vs CPU**

• Pour les ensembles de données plus volumineux, vous devrez effectuer l'entraînement à l'aide du GPU. De plus, l'utilisation d'un GPU (AI Robot Pro) pour l'entraînement est au moins 10 fois plus rapide que l'utilisation d'un CPU (AI Robot).
• La formation sur le processeur est uniquement prise en charge pour les ensembles de données d'une taille maximale de 5000 pages pour les paquets ML v21.10.x et jusqu'à 1000 pages pour les autres versions des paquets ML.
• La formation CPU était limitée à 500 pages avant 2021.10, elle est montée à 5 000 pages pour 2021.10 et avec 2022.4 elle redescendra à 1000 pages max.

Former et évaluer un modèle en même temps

Configurez le pipeline d'entraînement comme suit :

• Dans le champ Type de pipeline (Pipeline type), sélectionnez Exécution de pipeline complet (Full Pipeline run).

• In the Choose package field, select the package you want to train and evaluate.

• In the Choose package major version field, select a major version for your package.

• In the Choose package minor version field, select a minor version for your package. It is strongly recommended to always use minor version 0 (zero).

• In the Choose input dataset field, select a representative training dataset.

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• In the Enter parameters section, enter any environment variables defined, and used by your pipeline, if any. For most use cases, no parameter needs to be specified; the model is using advanced techniques to find a performant configuration. However, here are some environment variables you could use:

• model.epochs permet de personnaliser le nombre d'époques pour le pipeline d'entraînement (la valeur par défaut est de 100).

• Select whether to train the pipeline on GPU or on CPU. The Enable GPU slider is disabled by default, in which case the pipeline is trained on CPU. Using a GPU (AI Robot Pro) for training is at least 10 times faster than using a CPU (AI Robot). Moreover, training on CPU is supported for datasets up to 1000 images in size only. For larger datasets, you need to train using GPU.

• Select one of the options when the pipeline should run: Run now, Time based or Recurring. In case you are using the auto_retraining variable, select Recurring.

  

After you configure all the fields, select Create. The pipeline is created.

Artefacts

Pour un Pipeline d'évaluation, le volet Sorties (Outputs) comprend également un dossier artefacts (artifacts) / eval_metrics qui contient deux fichiers :

• evaluation_default.xlsx est une feuille de calcul Excel avec une comparaison juxtaposée de la vérité terrain par rapport à la valeur prédite pour chaque champ prédit par le modèle, ainsi qu'une métrique de précision par document, afin d'augmenter la précision. Par conséquent, les documents les plus inexacts sont présentés en haut pour faciliter le diagnostic et le dépannage.

• evaluation_metrics_default.txt contient les scores F1 des champs qui ont été prédits.

  Notez que pour les éléments de ligne, seul un score global est obtenu pour l'ensemble des colonnes.