À propos des pipelines

Les paquets ML Document Understanding peuvent exécuter les trois types de pipelines :

Une fois terminée, l'exécution de pipeline dispose de sorties et des journaux associés. Pour voir ces informations, dans l'onglet Pipelines de la barre latérale gauche, cliquez sur un pipeline pour ouvrir la vue Pipeline (Pipeline view) qui se compose de :

les détails du pipeline tels que le type, le nom et la version du paquet ML, l'ensemble de données, l'utilisation du GPU, les paramètres et le temps d'exécution
le volet Sorties (Outputs) ; cela inclut toujours un fichier _results.json contenant un résumé des détails du Pipeline
la page Journaux (Logs) ; les journaux peuvent également être obtenus dans l'onglet ML Logs de la barre latérale gauche

Tous les pipelines renvoient les scores dans trois fichiers différents :

evaluation_scores_<package name>.txt : ce fichier contient les scores de précision pour tous les champs.
evaluation_<package name>.xlsx - Ce fichier contient une répartition détaillée de la précision par champ et par lot, ainsi qu'une comparaison côte à côte pour chaque champ, avec une surbrillance en couleur pour les champs manqués (rouge) ou partiellement correspondants (jaune).
evaluation_F1_scores.txt : ce fichier contient les scores F1 pour tous les champs.

La précision est obtenue en divisant le nombre de correspondances par le nombre total de prédictions. Une correspondance a une pondération de 1, tandis qu'une correspondance partielle a une pondération correspondant à la distance de Levenshtein entre la prédiction et la valeur réelle.

Remarque :

Les correspondances partielles utilisant la distance de Levenshtein sont la méthode de notation par défaut sur les champs avec le Type de contenu (Content Type) : Chaîne. Tous les autres types de contenu (Dates, Nombres, Numéros d'identification, Numéros de téléphone) utilisent uniquement le score de correspondance exacte.

Pour les champs Chaîne (String), vous pouvez modifier ce paramètre dans l'onglet Avancé (Advanced) de la boîte de dialogue Paramètres du champ (Field Settings) dans la vue Type de document (Document Type) de Document Understanding.

Par exemple, si un ensemble de données d'évaluation contient 100 documents et qu'un champ, disons Numéro de bon de commande (Purchase Order Number) apparaît sur la moitié des documents, si le modèle a prédit correctement 40 d'entre eux et 10 d'entre eux les corrigent partiellement avec une distance de Levenshtein de 0,8, alors le la précision serait de (40 + 10 x 0,8 + 50)/100 = 98 %.

Remarque :

Notez que les 50 documents où le champ est manquant et où le modèle n'a rien prédit sont également comptés comme des prédictions réussies.

Sur les pipelines d'entraînement, les scores sont calculés sur l'ensemble de données de validation. L'ensemble de données de validation est un sous-ensemble sélectionné de manière aléatoire de 20 % de l'ensemble de données d'entraînement soumis dans le pipeline d'entraînement.

Les pipelines d'entraînement ou les pipelines complets peuvent également être utilisés pour :