Pipelines d'évaluation

Un Pipeline d'évaluation (Evaluation Pipeline) est utilisé pour évaluer un modèle ML entraîné.

Évaluer un modèle entraîné

Configurez le Pipeline d'évaluation comme suit :

• Dans le champ Type de pipeline (Pipeline type), sélectionnez Exécution de pipeline d'évaluation (Evaluation run).
• Dans le champ Choisir un package (Choose package), sélectionnez le package que vous souhaitez évaluer.
• Dans le champ Choisir la version majeure du package (Choose package major version), sélectionnez une version majeure pour votre package.
• Dans le champ Choisir la version mineure du package, sélectionnez une version mineure que vous souhaitez évaluer.
• Dans le champ Choisir un ensemble de données d'évaluation (Choose evaluation dataset), sélectionnez un ensemble de données d'évaluation représentatif.
• Dans la section Saisir les paramètres (Enter parameters), vous pouvez utiliser une variable d'environnement pertinente pour les Pipelines d'évaluation :
• eval.redo_ocr qui, s'il est défini sur vrai (true), vous permet de réexécuter l'OCR lors de l'exécution du pipeline pour évaluer l'impact de l'OCR sur la précision de l'extraction. Cela suppose qu'un moteur OCR a été configuré lors de la création du paquet ML.

Le curseur Activer le GPU (Enable GPU) est désactivé par défaut, auquel cas le pipeline est exécuté sur le processeur. Nous recommandons vivement que les Pipelines d'évaluation soient uniquement exécutés sur le processeur.

• Sélectionnez l'une des options d'exécution du pipeline : Exécuter maintenant (Run now), Basé sur l'heure (Time based) ou Récurrent (Recurring).

• Après avoir configuré tous les champs, cliquez sur Créer (Create). Le pipeline est créé.

Artefacts

Pour un Pipeline d'évaluation, le volet Sorties (Outputs) comprend également un dossier artefacts (artifacts) / eval_metrics qui contient deux fichiers :

• evaluation_default.xlsx est une feuille de calcul Excel avec une comparaison juxtaposée de la vérité terrain par rapport à la valeur prédite pour chaque champ prédit par le modèle, ainsi qu'une métrique de précision par document, afin d'augmenter la précision. Par conséquent, les documents les plus inexacts sont présentés en haut pour faciliter le diagnostic et le dépannage.
• evaluation_metrics_default.txt contient les scores F1 des champs qui ont été prédits.

  Notez que pour les éléments de ligne, seul un score global est obtenu pour l'ensemble des colonnes.