Pipelines d'évaluation

Un Pipeline d'évaluation (Evaluation Pipeline) est utilisé pour évaluer un modèle ML entraîné.

Évaluer un modèle entraîné

Configurez le Pipeline d'évaluation comme suit :

• Dans le champ Type de pipeline (Pipeline type), sélectionnez Exécution de pipeline d'évaluation (Evaluation run).
• Dans le champ Choisir la version majeure du package (Choose package major version), sélectionnez une version majeure pour votre package.
• Dans le champ Choisir la version mineure du package, sélectionnez une version mineure que vous souhaitez évaluer.
• Dans le champ Choisir un ensemble de données d'évaluation (Choose evaluation dataset), sélectionnez un ensemble de données d'évaluation représentatif. Pour plus d'informations sur la structure des ensembles de données, consultez la section Format de l'ensemble de données (Dataset Format).
• Dans la section Saisir les paramètres (Enter parameters), vous pouvez utiliser une variable d'environnement pertinente pour les Pipelines d'évaluation :
• eval.redo_ocr qui, s'il est défini sur vrai (true), vous permet de réexécuter l'OCR lors de l'exécution du pipeline pour évaluer l'impact de l'OCR sur la précision de l'extraction Cela suppose qu'un moteur OCR a été configuré lors de la création du paquet ML.
• Le curseur Activer le GPU (Enable GPU) est désactivé par défaut, auquel cas le pipeline est exécuté sur le processeur. Nous recommandons vivement que les Pipelines d'évaluation soient uniquement exécutés sur le processeur.

• Sélectionnez l'une des options d'exécution du pipeline : Exécuter maintenant (Run now), Basé sur l'heure (Time based) ou Récurrent (Recurring).

  
  

  

  
  
• Après avoir configuré tous les champs, cliquez sur Créer (Create). Le pipeline est créé.

Artefacts

Pour un Pipeline d'évaluation, le volet Sorties (Outputs) comprend également un dossier artefacts (artifacts) / eval_metrics qui contient deux fichiers :

• evaluation_default.xlsx est une feuille de calcul Excel avec trois feuilles différentes :
• La première feuille présente un récapitulatif des scores globaux et des scores par lot, pour chaque champ, Régulier (Regular), Colonne (Column) et Classification. Un pourcentage des documents parfaitement extraits est également fourni pour les documents par lot et pour l'ensemble des documents.
• La deuxième feuille présente une comparaison côte à côte, codée par couleur, des Champs réguliers (Regular Fields), pour augmenter la précision du document. Les documents les plus inexacts sont présentés en haut pour faciliter le diagnostic et le dépannage.
• La troisième feuille présente une comparaison côte à côte, codée par couleur des Champs de colonnes (Column Fields).
• Tous les scores présentés dans le fichier Excel représentent des scores de précision.
• evaluation_metrics_default.txt contient les scores F1 des champs prévus.