Pipelines d'évaluation

Un Pipeline d'évaluation (Evaluation Pipeline) est utilisé pour évaluer un modèle ML entraîné.

Évaluer un modèle entraîné

Configurez le Pipeline d'évaluation comme suit :

• Dans le champ Type de pipeline (Pipeline type), sélectionnez Exécution de pipeline d'évaluation (Evaluation run).

• In the Choose package field, select the package you want to evaluate.

• In the Choose package major version field, select a major version for your package.

• In the Choose package minor version field, select a minor version you want to evaluate.

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• In the Enter parameters section, there is one environment variable is relevant for Evaluation pipelines you could use:

• eval.redo_ocr qui, s'il est défini sur vrai (true), vous permet de réexécuter l'OCR lors de l'exécution du pipeline pour évaluer l'impact de l'OCR sur la précision de l'extraction. Cela suppose qu'un moteur OCR a été configuré lors de la création du paquet ML.

• The Enable GPU slider is disabled by default, in which case the pipeline is runs on CPU. We strongly recommend that Evaluation pipelines run only on CPU.

• Select one of the options when the pipeline should run: Run now, Time based or Recurring.

  

After you configure all the fields, select Create. The pipeline is created.

Artefacts

Pour un Pipeline d'évaluation, le volet Sorties (Outputs) comprend également un dossier artefacts (artifacts) / eval_metrics qui contient deux fichiers :

• evaluation_default.xlsx est une feuille de calcul Excel avec trois feuilles différentes :
• La première feuille présente un récapitulatif des scores globaux et des scores par lot, pour chaque champ, Régulier (Regular), Colonne (Column) et Classification. Un pourcentage des documents parfaitement extraits est également fourni pour les documents par lot et pour l'ensemble des documents.
• La deuxième feuille présente une comparaison côte à côte, codée par couleur, des Champs réguliers (Regular Fields), pour augmenter la précision du document. Les documents les plus inexacts sont présentés en haut pour faciliter le diagnostic et le dépannage.
• The third sheet presents a side by side color, coded comparison of the Column Fields. All scores presented in the Excel file represent accuracy scores.
• evaluation_metrics_default.txt contient les scores F1 des champs prévus.