Pipelines complets

Un pipeline complet exécute ensemble un pipeline d'entraînement et un pipeline d'évaluation.

Important :

Taille minimale de l'ensemble de données

Pour exécuter avec succès un pipeline d'entraînement, nous recommandons fortement au moins 25 documents et au moins 10 échantillons de chaque champ étiqueté dans votre ensemble de données. Sinon, le pipeline renvoie l'erreur suivante : Dataset Creation Failed.

Formation sur GPU vs formation sur CPU

• Pour les ensembles de données plus volumineux, vous devrez effectuer l'entraînement à l'aide du GPU. De plus, l'utilisation d'un GPU (AI Robot Pro) pour l'entraînement est au moins 10 fois plus rapide que l'utilisation d'un CPU (AI Robot).
• La formation sur le processeur est uniquement prise en charge pour les ensembles de données d’une taille maximale de 5000 pages pour les paquets ML v21.10.x et jusqu’à 1000 pages pour les autres versions des paquets ML. L’entraînement sur le processeur au lieu du processeur graphique pourrait également conduire à un modèle moins précis (entre 0 et 5 %).
• La formation CPU était limitée à 500 pages avant 2021.10, elle est montée à 5000 pages pour 2021.10 et avec 2022.4 elle redescendra à 1000 pages max.

Entraîner et évaluer un modèle en même temps

Configurez le pipeline d'entraînement comme suit :

• Dans le champ Type de pipeline (Pipeline type), sélectionnez Exécution de pipeline complet (Full Pipeline run).

• Dans le champ Choisir un paquet (Choose package), sélectionnez le paquet que vous souhaitez entraîner et évaluer.

• Dans le champ Choisir la version majeure du package (Choose package major version), sélectionnez une version majeure pour votre package.

• Dans le champ Choisir une version mineure du package, sélectionnez une version mineure de votre package.Il est fortement recommandé de toujours utiliser la version mineure 0 (zéro).

• In the Choose input dataset field, select a representative training dataset.

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• Dans la section Entrer les paramètres (Enter parameters), entrez toutes les variables d'environnement définies et utilisées par votre pipeline, le cas échéant. Pour la plupart des cas d'utilisation, aucun paramètre n'a besoin d'être spécifié ; le modèle utilise des techniques avancées pour trouver une configuration performante. Cependant, voici quelques variables d'environnement que vous pouvez utiliser :

• auto_retraining which allows you to complete the Auto-retraining Loop; if the variable is set to True, then the input dataset needs to be the export folder associated with the labeling session where the data is tagged; if the variable remains set to False, then the input dataset needs to correspond to the following dataset format.

• model.epochs permet de personnaliser le nombre d'époques pour le pipeline d'entraînement (la valeur par défaut est de 100).

• Indiquez si vous souhaitez entraîner le pipeline sur GPU ou sur CPU. Le curseur Activer le GPU (Enable GPU) est désactivé par défaut, auquel cas le pipeline est entraîné sur CPU.

• Select one of the options when the pipeline should run: Run now,Time based or Recurring. In case you are using the auto_retraining variable, select Recurring.

  

After you configure all the fields, click Create. The pipeline is created.

Artefacts

Pour un Pipeline d'évaluation, le volet Sorties (Outputs) comprend également un dossier artefacts (artifacts) / eval_metrics qui contient deux fichiers :

• evaluation_default.xlsx est une feuille de calcul Excel avec une comparaison juxtaposée de la vérité terrain par rapport à la valeur prédite pour chaque champ prédit par le modèle, ainsi qu'une métrique de précision par document, afin d'augmenter la précision. Par conséquent, les documents les plus inexacts sont présentés en haut pour faciliter le diagnostic et le dépannage.

• evaluation_metrics_default.txt contient les scores F1 des champs qui ont été prédits.

  Notez que pour les éléments de ligne, seul un score global est obtenu pour l'ensemble des colonnes.