Auswertungspipelines

Eine Auswertungspipeline wird für die Auswertung eines trainierten ML-Modells verwendet.

Auswerten eines trainierten Modells

Konfigurieren Sie die Auswertungspipeline wie folgt:

• Wählen Sie im Feld Pipelinetyp die Option Auswertungsausführung aus.
• Wählen Sie im Feld Paket wählen das Paket aus, das Sie auswerten möchten.
• Wählen Sie im Feld Hauptversion des Pakets wählen eine Hauptversion für Ihr Paket aus.
• Wählen Sie im Feld Nebenversion des Pakets wählen eine Nebenversion aus, die Sie auswerten möchten.
• Wählen Sie im Feld Auswertungs-Dataset wählen ein repräsentatives Auswertungs-Dataset aus.
• Im Abschnitt Parameter eingeben gibt es eine Umgebungsvariable, die für Auswertungspipelines relevant ist, die Sie verwenden könnten:
• eval.redo_ocr – wenn dies auf true gesetzt ist, können Sie bei der Ausführung der Pipeline OCR erneut ausführen, um die Auswirkungen von OCR auf die Extraktionsgenauigkeit zu bewerten. Dies geht davon aus, dass ein OCR-Modul bei der Erstellung des ML-Pakets konfiguriert wurde.

Der Schieberegler GPU aktivieren ist standardmäßig deaktiviert. In diesem Fall wird die Pipeline auf der CPU ausgeführt. Es wird dringend empfohlen, dass Auswertungspipelines nur auf der CPU ausgeführt werden.

• Wählen Sie eine der Optionen aus, wann die Pipeline ausgeführt werden soll: „Jetzt ausführen“, „Zeitbasiert“ oder „Wiederkehrend“.

• Nachdem Sie alle Felder konfiguriert haben, klicken Sie auf „Erstellen“. Die Pipeline wird erstellt.

Artefakte

Bei einer Auswertungspipeline umfasst der Bereich Ausgaben auch einen Ordner namens artifacts/eval_metrics, der zwei Dateien enthält:

• evaluation_default.xlsx ist eine Excel-Tabelle mit einem nebeneinanderstehenden Vergleich der Ground Truth mit dem vorhergesagten Wert für jedes vom Modell vorhergesagte Feld sowie einer Genauigkeitsmetrik pro Dokument, um die Genauigkeit zu erhöhen. Daher werden oben die ungenausten Dokumente gezeigt, um die Diagnose und Fehlerbehebung zu erleichtern.
• evaluation_metrics_default.txt enthält die F1-Punktzahl der vorhergesagten Felder.

  Für Zeilenelemente wird eine globale Punktzahl aller Spalten zusammen ermittelt.