À propos des pipelines

Astuce :

The ability to train extractors and classifiers is now more convenient be leveraging the One Click Extraction and the One Click Classification features.

Les paquets ML Document Understanding peuvent exécuter les trois types de pipelines :

• Pipelines d'entraînement
• Pipelines d'évaluation
• Pipelines complets

Une fois terminée, l'exécution de pipeline dispose de sorties et des journaux associés. Pour voir ces informations, dans l'onglet Pipelines de la barre latérale gauche, cliquez sur un pipeline pour ouvrir la vue Pipeline (Pipeline view) qui se compose de :

• the Pipeline details such as type, ML Package name and version, dataset, GPU usage, parameters, and execution time
• the Outputs pane; this always includes a _results.json file containing a summary of the Pipeline details
• the Logs page; the logs can also be obtained in the ML Logs tab from the left sidebar

Tous les pipelines renvoient les scores dans trois fichiers différents :

• evaluation_scores_<package name>.txt : ce fichier contient les scores de précision pour tous les champs.
• evaluation_<package name>.xlsx - Ce fichier contient une répartition détaillée de la précision par champ et par lot, ainsi qu'une comparaison côte à côte pour chaque champ, avec une surbrillance en couleur pour les champs manqués (rouge) ou partiellement correspondants (jaune).
• evaluation_F1_scores.txt : ce fichier contient les scores F1 pour tous les champs.

La précision est obtenue en divisant le nombre de correspondances par le nombre total de prédictions. Une correspondance a une pondération de 1, tandis qu'une correspondance partielle a une pondération correspondant à la distance de Levenshtein entre la prédiction et la valeur réelle.

Les correspondances partielles utilisant la distance de Levenshtein sont la méthode de notation par défaut sur les champs avec le Type de contenu (Content Type) : Chaîne. Tous les autres types de contenu (Dates, Nombres, Numéros d'identification, Numéros de téléphone) utilisent uniquement le score de correspondance exacte.

Pour les champs Chaîne (String), vous pouvez modifier ce paramètre dans l'onglet Avancé (Advanced) de la boîte de dialogue Paramètres du champ (Field Settings) dans la vue Type de document (Document Type) de Document Understanding.

Par exemple, si un ensemble de données d'évaluation contient 100 documents et qu'un champ, disons Numéro de bon de commande (Purchase Order Number) apparaît sur la moitié des documents, si le modèle a prédit correctement 40 d'entre eux et 10 d'entre eux les corrigent partiellement avec une distance de Levenshtein de 0,8, alors le la précision serait de (40 + 10 x 0,8 + 50)/100 = 98 %.

Notez que les 50 documents où le champ est manquant et où le modèle n'a rien prédit sont également comptés comme des prédictions réussies.

Sur les pipelines d'entraînement, les scores sont calculés sur l'ensemble de données de validation. L'ensemble de données de validation est un sous-ensemble sélectionné de manière aléatoire de 20 % de l'ensemble de données d'entraînement soumis dans le pipeline d'entraînement.

Les pipelines d'entraînement ou les pipelines complets peuvent également être utilisés pour :

• Fine-tune ML models with data from Validation Station
• Auto-Fine-tune an ML model
  Remarque :

  Training Pipelines and Full Pipelines support training sets of maximum 18.000 labelled pages.