Messung

Sie können den Gesamtstatus Ihres Projekts überprüfen und die Bereiche mit Verbesserungspotenzial im Abschnitt Messen überprüfen.

Projektmessung

Die Hauptmetrik auf der Seite ist die gesamte Projektpunktzahl.

Diese Messung berücksichtigt die Klassifizierer- und Extraktorpunkzahlen für alle Dokumenttypen. Die Punktzahl jedes Faktors entspricht der Modellbewertung und kann unter Klassifizierungsmaßnahme bzw. Extraktionsmessung angezeigt werden.

Die Modellpunktzahl ist eine Funktion, mit der Sie die Leistung eines Klassifizierungsmodells visualisieren können. Sie wird als Modellpunktzahl von 0 bis 100 wie folgt ausgedrückt:

• Schlecht (0–49)
• Durchschnitt (50–69)
• Gut (70–89)
• Ausgezeichnet (90–100)

Unabhängig von der Punktzahl des Modells müssen Sie je nach Projektbedarf entscheiden, wann Sie das Training beenden. Auch wenn ein Modell als exzellent eingestuft wird, bedeutet das nicht, dass es allen geschäftlichen Anforderungen gerecht wird.

Klassifizierungsmessung

Die Klassifizierungspunktzahl berücksichtigt die Leistung des Modells sowie die Größe und Qualität des Datasets.

Hinweis: Die Klassifizierungspunktzahl ist nur verfügbar, wenn Sie mehr als einen Dokumenttyp erstellt haben.

Wenn Sie Klassifizierung wählen, werden zwei Registerkarten auf der rechten Seite angezeigt:

• Faktoren: Gibt Empfehlungen zur Verbesserung der Leistung Ihres Modells an. Sie können Empfehlungen zur Dataset-Größe oder zur Leistung des trainierten Modells für jeden Dokumenttyp erhalten.
• Metriken: Liefert nützliche Metriken, wie die Anzahl der Trainings- und Testdokumente, Präzision, Genauigkeit, Rückrufe und F1-Punktzahl für jeden Dokumenttyp.

Extraktionsmessung

Die Extraktionspunktzahl berücksichtigt die Gesamtleistung des Modells sowie die Größe und Qualität des Datasets. Diese Ansicht ist in Dokumenttypen unterteilt. Sie können auch direkt zur Ansicht Anmerkung hinzufügen jedes Dokumenttyps wechseln, indem Sie Anmerkung hinzufügen auswählen.

Wenn Sie einen der verfügbaren Dokumenttypen in der Extraktionsansicht wählen, werden drei Registerkarten auf der rechten Seite angezeigt:

• Faktoren: Gibt Empfehlungen zur Verbesserung der Leistung Ihres Modells an. Sie können Empfehlungen zur Dataset-Größe (Anzahl der hochgeladenen Dokumente, Anzahl der mit Anmerkungen versehenen Dokumente) oder zur Leistung des trainierten Modells (Feldgenauigkeit) für den ausgewählten Dokumenttyp erhalten.
• Dataset: Enthält Informationen zu den Dokumenten, die zum Trainieren des Modells verwendet werden, die Gesamtzahl der importierten Seiten und die Gesamtzahl der beschrifteten Seiten.
• Metriken: Stellt nützliche Informationen und Metriken bereit, z. B. den Feldnamen, die Nummer des Trainingsstatus und die Genauigkeit für den ausgewählten Dokumenttyp. Sie können auch auf erweiterte Metriken für Ihre Extraktionsmodelle zugreifen, indem Sie die Schaltfläche Erweiterte Metriken herunterladen verwenden. Mit dieser Funktion können Sie eine Excel-Datei mit detaillierten Metriken und Modellergebnissen pro Batch herunterladen.

Dataset-Diagnose

Die Registerkarte Dataset hilft Ihnen beim Erstellen effektiver Datasets, indem es Ihnen Feedback und Empfehlungen zu den Schritten gibt, die erforderlich sind, um eine hohe Genauigkeit des trainierten Modells zu erreichen.

In der Verwaltungsleiste sind drei Dataset-Statusebenen verfügbar:

• Rot – Weitere beschriftete Trainingsdaten erforderlich.
• Orange – Weitere beschriftete Trainingsdaten werden empfohlen.
• Hellgrün – Beschriftete Trainingsdaten liegen innerhalb der Empfehlungen.
• Dunkelgrün – Beschriftete Trainingsdaten liegen innerhalb der Empfehlungen. Für leistungsschwache Felder werden jedoch möglicherweise mehr Daten benötigt.

Wenn in der Sitzung keine Felder erstellt werden, ist die Statusebene des Datasets grau.

Vergleich von Modellen

Sie können die Leistung zweier Versionen eines Klassifizierungs- oder Extraktionsmodells im Abschnitt Messen vergleichen.

Vergleich von Klassifizierungsmodellen

Um die Leistung zweier Versionen eines Klassifizierungsmodells zu vergleichen, gehen Sie zuerst zum Abschnitt Messen.Wählen Sie dann Modelle vergleichen für das Klassifizierungsmodell, das Sie interessiert.

Sie können die Versionen, die Sie vergleichen möchten, in der Auswahlliste in jeder Spalte oben auswählen.Standardmäßig wird links die aktuelle Version, die die neueste verfügbare Version darstellt, und rechts die zuletzt veröffentlichte Version ausgewählt.

Abbildung 1. Vergleich von Klassifizierungsmodellen

Der Vergleich von Klassifizierungsmodellen basiert auf vier Schlüsselkennzahlen:

• Präzision: Das Verhältnis zwischen korrekt vorhergesagten positiven Instanzen und der Gesamtanzahl an der als positiv vorhergesagten Instanzen. Ein Modell mit hoher Präzision verursacht weniger Falsch-Positive.
• Genauigkeit: Das Verhältnis der korrekten Vorhersagen (einschließlich sowohl Richtig-Positiven als auch Richtig-Negativen) zu der Gesamtanzahl an Instanzen.
• Abruf: Der Anteil der tatsächlichen positiven Fälle, die richtig identifiziert wurden.
• F1-Score: Das geometrische Mittel von Präzision und Relevanz, um ein Gleichgewicht zwischen diesen beiden Metriken zu erreichen. Dies dient als Kompromiss zwischen falsch-positiven und falsch-negativen.

Die Reihenfolge der angezeigten Dokumententypen entspricht der in der neuesten Vergleichsversion verwendeten Reihenfolge.Ist ein Dokumententyp in einer der verglichenen Versionen nicht verfügbar, werden die Werte für jede Kennzahl durch N/A ersetzt.

Hinweis: Wenn ein Feld in der aktuellen Version entfernt wurde, aber in der älteren Version verfügbar war, bevor die Modellvergleichsfunktion verfügbar war, wird der Name durch Unbekannt ersetzt.

Vergleich von Extraktionsmodellen

Um die Leistung zweier Versionen eines Extraktionsmodells zu vergleichen, gehen Sie zunächst zum Abschnitt Messen. Wählen Sie dann Modelle vergleichen für das für Sie relevante Extraktionsmodell.

Sie können die Versionen, die Sie vergleichen möchten, in der Auswahlliste in jeder Spalte oben auswählen.Standardmäßig wird links die aktuelle Version, die die neueste verfügbare Version darstellt, und rechts die zuletzt veröffentlichte Version ausgewählt.

Abbildung 2. Vergleich von Extraktionsmodellen

Der Vergleich von Extraktionsmodellen basiert auf folgenden Hauptkennzahlen:

• Feldname: Der Name des Anmerkungsfelds.
• Inhaltstyp: Der Inhaltstyp des Felds:
  • String
  • Nummer
  • Datum
  • Telefon
  • Identifikationsnummer
• Bewertung: Die Modellbewertung soll Ihnen helfen, die Leistung des extrahierten Felds zu visualisieren.
• Genauigkeit: Der Bruchteil der Gesamtzahl der vom Modell getroffenen, richtigen Vorhersagen.

Die Reihenfolge der angezeigten Feldnamen entspricht der in der neuesten Vergleichsversion verwendeten Reihenfolge. Ist ein Feldname in einer der verglichenen Versionen nicht verfügbar, werden die Werte für jede Kennzahl durch N/A ersetzt.

Hinweis: Wenn ein Feld in der aktuellen Version entfernt wurde, aber in der älteren Version verfügbar war, bevor die Modellvergleichsfunktion verfügbar war, wird der Name durch Unbekannt ersetzt.

Sie können im Abschnitt Tabelle auch die Feldpunktzahl für Tabellen vergleichen.

Sie können über die Taste Erweiterte Kennzahlen herunterladen für jede Version die Datei mit erweiterten Kennzahlen von der Vergleichsseite herunterladen.