Auswertungspipelines

Eine Auswertungspipeline wird für die Auswertung eines trainierten ML-Modells verwendet.

Auswerten eines trainierten Modells

Konfigurieren Sie die Auswertungspipeline wie folgt:

• Wählen Sie im Feld Pipelinetyp die Option Auswertungsausführung aus.
• Wählen Sie im Feld Paket wählen das Paket aus, das Sie auswerten möchten.
• Wählen Sie im Feld Hauptversion des Pakets wählen eine Hauptversion für Ihr Paket aus.
• Wählen Sie im Feld Nebenversion des Pakets wählen eine Nebenversion aus, die Sie auswerten möchten.
• Wählen Sie im Feld „Auswertungs-Dataset wählen“ ein repräsentatives Auswertungs-Dataset aus.
• Im Abschnitt Parameter eingeben gibt es eine Umgebungsvariable, die für Auswertungspipelines relevant ist, die Sie verwenden könnten:
• eval.redo_ocr – wenn dies auf true gesetzt ist, können Sie bei der Ausführung der Pipeline OCR erneut ausführen, um die Auswirkungen von OCR auf die Extraktionsgenauigkeit zu bewerten. Dies geht davon aus, dass ein OCR-Modul bei der Erstellung des ML-Pakets konfiguriert wurde.
• Der Schieberegler GPU aktivieren ist standardmäßig deaktiviert. In diesem Fall wird die Pipeline auf der CPU ausgeführt. Es wird dringend empfohlen, dass Auswertungspipelines nur auf der CPU ausgeführt werden.

• Wählen Sie eine der Optionen aus, wann die Pipeline ausgeführt werden soll: Jetzt ausführen, Zeitbasiert oder Wiederkehrend.

  
  

  

  
  

Nachdem Sie alle Felder konfiguriert haben, klicken Sie auf Erstellen. Die Pipeline wird erstellt.

Artefakte

Bei einer Auswertungspipeline umfasst der Bereich Ausgaben auch einen Ordner namens artifacts/eval_metrics, der zwei Dateien enthält:

• evaluation_default.xlsx ist eine Excel-Tabelle mit drei verschiedenen Blättern:
• Das erste Blatt zeigt eine Zusammenfassung der Gesamtpunktzahlen und der Punktzahlen pro Batch für jedes Feld – „Regulär“, „Spalte“ und „Klassifizierung“. Ein Prozentsatz der fehlerfrei extrahierten Dokumente wird auch für jedes Batch sowie das Gesamtdokument angegeben.
• Das zweite Blatt zeigt einen Direktvergleich der regulären Felder anhand von Farben zur Erhöhung der Dokumentgenauigkeit. Dabei werden oben die ungenausten Dokumente angezeigt, um die Diagnose und Fehlerbehebung zu erleichtern.

• Das dritte Blatt zeigt einen Vergleich der Spaltenfelder anhand von Farben.

  Alle in der Excel-Datei angezeigten Punktzahlen stellen die Punktzahlen für die Genauigkeit dar.

• evaluation_metrics_default.txt enthält die F1-Punktzahl der vorhergesagten Felder.