Messung

Sie können den Gesamtstatus Ihres Projekts überprüfen und die Bereiche mit Verbesserungspotenzial im Abschnitt Messen überprüfen.

Projektmessung

Die Hauptmetrik auf der Seite ist die gesamte Projektpunktzahl.

Diese Messung berücksichtigt die Klassifizierer- und Extraktorpunkzahlen für alle Dokumenttypen. Die Punktzahl jedes Faktors entspricht der Modellbewertung und kann unter Klassifizierungsmaßnahme bzw. Extraktionsmessung angezeigt werden.

Die Modellpunktzahl ist eine Funktion, mit der Sie die Leistung eines Klassifizierungsmodells visualisieren können. Sie wird als Modellpunktzahl von 0 bis 100 wie folgt ausgedrückt:

• Schlecht (0–49)
• Durchschnitt (50–69)
• Gut (70–89)
• Ausgezeichnet (90–100)

Unabhängig von der Punktzahl des Modells müssen Sie je nach Projektbedarf entscheiden, wann Sie das Training beenden. Auch wenn ein Modell als exzellent eingestuft wird, bedeutet das nicht, dass es allen geschäftlichen Anforderungen gerecht wird.

Klassifizierungsmessung

Die Klassifizierungspunktzahl berücksichtigt die Leistung des Modells sowie die Größe und Qualität des Datasets.

Hinweis: Die Klassifizierungspunktzahl ist nur verfügbar, wenn Sie mehr als einen Dokumenttyp erstellt haben.

Wenn Sie auf Klassifizierung klicken, werden auf der rechten Seite zwei Registerkarten angezeigt:

• Faktoren: Gibt Empfehlungen zur Verbesserung der Leistung Ihres Modells an. Sie können Empfehlungen zur Dataset-Größe oder zur Leistung des trainierten Modells für jeden Dokumenttyp erhalten.
• Metriken: Liefert nützliche Metriken, wie die Anzahl der Trainings- und Testdokumente, Präzision, Genauigkeit, Rückrufe und F1-Punktzahl für jeden Dokumenttyp.

Extraktionsmessung

Die Extraktionspunktzahl berücksichtigt die Gesamtleistung des Modells sowie die Größe und Qualität des Datasets. Diese Ansicht ist in Dokumenttypen unterteilt. Sie können auch direkt zur Ansicht Anmerkung hinzufügen jedes Dokumenttyps wechseln, indem Sie auf Anmerkung hinzufügen klicken.

Wenn Sie in der Ansicht Extraktion auf einen der verfügbaren Dokumenttypen klicken, werden auf der rechten Seite drei Registerkarten angezeigt:

• Faktoren: Gibt Empfehlungen zur Verbesserung der Leistung Ihres Modells an. Sie können Empfehlungen zur Dataset-Größe (Anzahl der hochgeladenen Dokumente, Anzahl der mit Anmerkungen versehenen Dokumente) oder zur Leistung des trainierten Modells (Feldgenauigkeit) für den ausgewählten Dokumenttyp erhalten.
• Dataset: Enthält Informationen zu den Dokumenten, die zum Trainieren des Modells verwendet werden, die Gesamtzahl der importierten Seiten und die Gesamtzahl der beschrifteten Seiten.
• Metriken: Stellt nützliche Informationen und Metriken bereit, z. B. den Feldnamen, die Nummer des Trainingsstatus und die Genauigkeit für den ausgewählten Dokumenttyp. Sie können auch auf erweiterte Metriken für Ihre Extraktionsmodelle zugreifen, indem Sie die Schaltfläche Erweiterte Metriken herunterladen verwenden. Mit dieser Funktion können Sie eine Excel-Datei mit detaillierten Metriken und Modellergebnissen pro Batch herunterladen.

Dataset-Diagnose

Die Registerkarte Dataset hilft Ihnen beim Erstellen effektiver Datasets, indem es Ihnen Feedback und Empfehlungen zu den Schritten gibt, die erforderlich sind, um eine hohe Genauigkeit des trainierten Modells zu erreichen.

In der Verwaltungsleiste sind drei Dataset-Statusebenen verfügbar:

• Rot – Weitere beschriftete Trainingsdaten erforderlich.
• Orange – Weitere beschriftete Trainingsdaten werden empfohlen.
• Hellgrün – Beschriftete Trainingsdaten befinden sich innerhalb der Empfehlungen.
• Dunkelgrün – Beschriftete Trainingsdaten befinden sich innerhalb der Empfehlungen. Es können jedoch mehr Daten für Felder mit unzureichender Leistung benötigt werden.

Wenn in der Sitzung keine Felder erstellt werden, ist die Statusebene des Datasets grau.

Modell vergleichen

Sie können die Leistung von zwei Versionen eines Klassifizierungs- oder Extraktionsmodells aus dem Abschnitt Messen vergleichen.

Vergleich des Klassifizierungsmodells

Um die Leistung von zwei Versionen eines Klassifizierungsmodells zu vergleichen, navigieren Sie zuerst zum Abschnitt Messen . Wählen Sie dann Modell vergleichen für das gewünschte Klassifizierungsmodell aus.

Sie können die Versionen, die Sie vergleichen möchten, aus der Dropdownliste oben in jeder Spalte auswählen. Standardmäßig wird die aktuelle Version, die die neueste verfügbare Version angibt, links und die neueste veröffentlichte Version rechts ausgewählt.

Abbildung 1. Vergleich des Klassifizierungsmodells

Der Vergleich von Klassifizierungsmodellen basiert auf vier Schlüsselmetriken:

• Genauigkeit: Das Verhältnis der korrekt vorhergesagten positiven Instanzen zu den Gesamtinstanzen, die positiv vorhergesagt wurden. Ein Modell mit einer hohen Genauigkeit zeigt weniger falsch positive Ergebnisse an.
• Genauigkeit: Das Verhältnis der richtigen Vorhersagen (einschließlich true positiver und true negativer Ergebnisse) aus den Gesamtinstanzen.
• Erinnerung: Der Anteil der tatsächlich positiven Fälle, die korrekt identifiziert wurden.
• F1-Punktzahl: das grafische Mittel aus Genauigkeit und Erinnerung, mit dem Ziel, ein ausgewogenes Verhältnis zwischen diesen beiden Metriken zu erreichen. Dies dient als Konflikt zwischen falsch positiven und falsch negativen Ergebnissen.

Die Reihenfolge der angezeigten Dokumenttypen ist diejenige, die in der neuesten Version aus dem Vergleich verwendet wird. Wenn ein Dokumenttyp in einer der verglichenen Versionen nicht verfügbar ist, werden die Werte für jedes Measure durch Nicht zutreffend ersetzt.

Hinweis: Wenn ein Feld in der aktuellen Version entfernt wurde, aber in der älteren Version verfügbar war, bevor die Funktion Modell vergleichen verfügbar war, wird der Name durch Unbekannt ersetzt.

Vergleich des Extraktionsmodells

Um die Leistung von zwei Versionen eines Extraktionsmodells zu vergleichen, navigieren Sie zuerst zum Abschnitt Messen . Wählen Sie dann Modell vergleichen für das gewünschte Extraktionsmodell aus.

Sie können die Versionen, die Sie vergleichen möchten, aus der Dropdownliste oben in jeder Spalte auswählen. Standardmäßig wird die aktuelle Version, die die neueste verfügbare Version angibt, links und die neueste veröffentlichte Version rechts ausgewählt.

Abbildung 2. Vergleich des Extraktionsmodells

Der Vergleich von Extraktionsmodellen basiert auf den folgenden wichtigen Metriken:

• Feldname: Der Name des Anmerkungsfelds.
• Inhaltstyp: Der Inhaltstyp des Felds:
  • String
  • Nummer
  • Datum
  • Telefon
  • Identifikationsnummer
• Bewertung: Modellpunktzahl, die Ihnen helfen soll, die Leistung des extrahierten Felds zu visualisieren.
• Genauigkeit: Der Anteil der Gesamtzahl der Vorhersagen, die das Modell macht und die richtig sind.

Die Reihenfolge der angezeigten Feldnamen ist diejenige, die in der neuesten Version aus dem Vergleich verwendet wird. Wenn ein Feldname in einer der verglichenen Versionen nicht verfügbar ist, werden die Werte für jedes Measure durch Nicht zutreffend ersetzt.

Hinweis: Wenn ein Feld in der aktuellen Version entfernt wurde, aber in der älteren Version verfügbar war, bevor die Funktion Modell vergleichen verfügbar war, wird der Name durch Unbekannt ersetzt.

Sie können auch die Feldbewertung für Tabellen aus dem Abschnitt Tabelle vergleichen.

Sie können die Datei mit den erweiterten Metriken für jede Version von der Vergleichsseite über die Schaltfläche Erweiterte Metriken herunterladen herunterladen.