Auswertungspipelines

Eine Auswertungspipeline wird für die Auswertung eines trainierten ML-Modells verwendet.

Auswerten eines trainierten Modells

Konfigurieren Sie die Auswertungspipeline wie folgt:

• Wählen Sie im Feld Pipelinetyp die Option Auswertungsausführung aus.

• In the Choose package field, select the package you want to evaluate.

• In the Choose package major version field, select a major version for your package.

• In the Choose package minor version field, select a minor version you want to evaluate.

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• In the Enter parameters section, there is one environment variable is relevant for Evaluation pipelines you could use:

• eval.redo_ocr – wenn dies auf true gesetzt ist, können Sie bei der Ausführung der Pipeline OCR erneut ausführen, um die Auswirkungen von OCR auf die Extraktionsgenauigkeit zu bewerten. Dies geht davon aus, dass ein OCR-Modul bei der Erstellung des ML-Pakets konfiguriert wurde.

• The Enable GPU slider is disabled by default, in which case the pipeline is runs on CPU. We strongly recommend that Evaluation pipelines run only on CPU.

• Select one of the options when the pipeline should run: Run now, Time based or Recurring.

  

After you configure all the fields, select Create. The pipeline is created.

Artefakte

Bei einer Auswertungspipeline umfasst der Bereich Ausgaben auch einen Ordner namens artifacts/eval_metrics, der zwei Dateien enthält:

• evaluation_default.xlsx ist eine Excel-Tabelle mit drei verschiedenen Blättern:
• Das erste Blatt zeigt eine Zusammenfassung der Gesamtpunktzahlen und der Punktzahlen pro Batch für jedes Feld – „Regulär“, „Spalte“ und „Klassifizierung“. Ein Prozentsatz der fehlerfrei extrahierten Dokumente wird auch für jedes Batch sowie das Gesamtdokument angegeben.
• Das zweite Blatt zeigt einen Direktvergleich der regulären Felder anhand von Farben zur Erhöhung der Dokumentgenauigkeit. Dabei werden oben die ungenausten Dokumente angezeigt, um die Diagnose und Fehlerbehebung zu erleichtern.
• The third sheet presents a side by side color, coded comparison of the Column Fields. All scores presented in the Excel file represent accuracy scores.
• evaluation_metrics_default.txt enthält die F1-Punktzahl der vorhergesagten Felder.