Auswertungspipelines

Eine Auswertungspipeline wird für die Auswertung eines trainierten ML-Modells verwendet.

Auswerten eines trainierten Modells

Konfigurieren Sie die Auswertungspipeline wie folgt:

Wählen Sie im Feld „Pipelinetyp“ die Option „Auswertungsausführung“ aus.
Wählen Sie im Feld „Hauptversion des Pakets wählen“ eine Hauptversion für Ihr Paket aus.
Wählen Sie im Feld „Nebenversion des Pakets wählen“ eine Nebenversion aus, die Sie auswerten möchten.
Wählen Sie im Feld „Auswertungs-Dataset wählen“ ein repräsentatives Auswertungs-Dataset aus. Weitere Informationen zur Dataset-Struktur finden Sie im Abschnitt Dataset-Format.
Im Abschnitt „Parameter eingeben“ gibt es eine Umgebungsvariable, die für Auswertungspipelines relevant ist, die Sie verwenden könnten:
Wenn eval.redo_ocr auf „true“ gesetzt ist, können Sie OCR bei der Ausführung der Pipeline erneut ausführen, um die Auswirkungen von OCR auf die Extraktionsgenauigkeit zu bewerten. Dies geht davon aus, dass ein OCR-Modul bei der Erstellung des ML-Pakets konfiguriert wurde.
Der Schieberegler „GPU aktivieren“ ist standardmäßig deaktiviert. In diesem Fall wird die Pipeline auf der CPU ausgeführt. Es wird dringend empfohlen, dass Auswertungspipelines nur auf der CPU ausgeführt werden.
Wählen Sie eine der Optionen aus, wann die Pipeline ausgeführt werden soll: „Jetzt ausführen“, „Zeitbasiert“ oder „Wiederkehrend“.
Nachdem Sie alle Felder konfiguriert haben, klicken Sie auf „Erstellen“. Die Pipeline wird erstellt.

Bei einer Auswertungspipeline umfasst der Bereich „Ausgaben“ auch einen Ordner namens „artifacts“/„eval_metrics“, der zwei Dateien enthält:

evaluation_default.xlsx ist eine Excel-Tabelle mit drei verschiedenen Blättern:
Das erste Blatt zeigt eine Zusammenfassung der Gesamtpunktzahlen und der Punktzahlen pro Batch für jedes Feld – „Regulär“, „Spalte“ und „Klassifizierung“. Ein Prozentsatz der fehlerfrei extrahierten Dokumente wird auch für jedes Batch sowie das Gesamtdokument angegeben.
Das zweite Blatt zeigt einen Direktvergleich der regulären Felder anhand von Farben zur Erhöhung der Dokumentgenauigkeit. Dabei werden oben die ungenausten Dokumente angezeigt, um die Diagnose und Fehlerbehebung zu erleichtern.
Das dritte Blatt zeigt einen Vergleich der Spaltenfelder anhand von Farben.
Alle in der Excel-Datei angezeigten Punktzahlen stellen die Punktzahlen für die Genauigkeit dar.
evaluation_metrics_default.txt enthält die F1-Punktzahl der vorhergesagten Felder.