Messung

You can check the overall status of your project and check the areas with improvement potential from the Measure section.

Projektmessung

The main measurement on the page is the overall Project score.

This measurement factors in the classifier and extractor scores for all document types. The score of each factor corresponds to the model rating and can be viewed in Classification Measure and Extraction Measure respectively.

Die Modellpunktzahl ist eine Funktion, mit der Sie die Leistung eines Klassifizierungsmodells visualisieren können. Sie wird als Modellpunktzahl von 0 bis 100 wie folgt ausgedrückt:

• Schlecht (0–49)
• Durchschnitt (50–69)
• Gut (70–89)
• Ausgezeichnet (90–100)

Unabhängig von der Punktzahl des Modells müssen Sie je nach Projektbedarf entscheiden, wann Sie das Training beenden. Auch wenn ein Modell als exzellent eingestuft wird, bedeutet das nicht, dass es allen geschäftlichen Anforderungen gerecht wird.

Klassifizierungsmessung

Die Klassifizierungspunktzahl berücksichtigt die Leistung des Modells sowie die Größe und Qualität des Datasets.

Hinweis:

The Classification score is only available if you have more than one document type created.

If you select Classification, two tabs are displayed on the right side:

• Factors: Provides recommendations on how to improve the performance of your model. You can get recommendations on dataset size or trained model performance for each document type.
• Metrics: Provides useful metrics, such as the number of train and test documents, precision, accuracy, recall, and F1 score for each document type.

Extraktionsmessung

The Extraction score factors in the overall performance of the model as well as the size and quality of the dataset. This view is split into document types. You can also go straight to the Annotate view of each document type by selecting Annotate.

If you select any of the available document types from the Extraction view, three tabs are displayed on the right side:

• Factors: Provides recommendations on how to improve the performance of your model. You can get recommendations on dataset size (number of uploaded documents, number of annotated documents) or trained model performance (fields accuracy) for the selected document type.
• Dataset: Provides information about the documents used for training the model, the total number of imported pages, and the total number of labelled pages.
• Metrics: Provides useful information and metrics, such as the field name, the number of training status, and accuracy for the selected document type. You can also access advanced metrics for your extraction models using the Download advanced metrics button. This feature allows you to download an Excel file with detailed metrics and model results per batch.

Dataset-Diagnose

The Dataset tab helps you build effective datasets by providing feedback and recommendations of the steps needed to achieve good accuracy for the trained model.

In der Verwaltungsleiste sind drei Dataset-Statusebenen verfügbar:

• Red - More labelled training data is required.
• Orange - More labelled training data is recommended.
• Green - The needed level of labelled training data is achieved.

Wenn in der Sitzung keine Felder erstellt werden, ist die Statusebene des Datasets grau.

Vergleich von Modellen

You can compare the performance of two versions of a classification or extraction model from the Measure section.

Vergleich von Klassifizierungsmodellen

To compare the performance of two versions of a classification model, first navigate to the Measure section. Then, select Compare model for the classification model you are interested in.

Sie können die Versionen, die Sie vergleichen möchten, in der Auswahlliste in jeder Spalte oben auswählen.Standardmäßig wird links die aktuelle Version, die die neueste verfügbare Version darstellt, und rechts die zuletzt veröffentlichte Version ausgewählt.

Figure 1. Classification model comparison

Der Vergleich von Klassifizierungsmodellen basiert auf vier Schlüsselkennzahlen:

• Präzision: Das Verhältnis zwischen korrekt vorhergesagten positiven Instanzen und der Gesamtanzahl an der als positiv vorhergesagten Instanzen. Ein Modell mit hoher Präzision verursacht weniger Falsch-Positive.
• Genauigkeit: Das Verhältnis der korrekten Vorhersagen (einschließlich sowohl Richtig-Positiven als auch Richtig-Negativen) zu der Gesamtanzahl an Instanzen.
• Abruf: Der Anteil der tatsächlichen positiven Fälle, die richtig identifiziert wurden.
• F1-Score: Das geometrische Mittel von Präzision und Relevanz, um ein Gleichgewicht zwischen diesen beiden Metriken zu erreichen. Dies dient als Kompromiss zwischen falsch-positiven und falsch-negativen.

The order of document types displayed is the one used in the latest version from the comparison. If a document type is not available in one of the compared versions, the values for each measure are replaced with N/A.

Hinweis:

If a field was removed in the current version but it was available in the older version before the Compare model feature was available, the name is replaced with Unknown.

Vergleich von Extraktionsmodellen

To compare the performance of two versions of an extraction model, first navigate to the Measure section. Then, select Compare model for the extraction model you are interested in.

Sie können die Versionen, die Sie vergleichen möchten, in der Auswahlliste in jeder Spalte oben auswählen.Standardmäßig wird links die aktuelle Version, die die neueste verfügbare Version darstellt, und rechts die zuletzt veröffentlichte Version ausgewählt.

Figure 2. Extraction model comparison

Der Vergleich von Extraktionsmodellen basiert auf folgenden Hauptkennzahlen:

• Feldname: Der Name des Anmerkungsfelds.
• Inhaltstyp: Der Inhaltstyp des Felds:
  • String
  • Nummer
  • Datum
  • Telefon
  • Identifikationsnummer
• Bewertung: Die Modellbewertung soll Ihnen helfen, die Leistung des extrahierten Felds zu visualisieren.
• Genauigkeit: Der Bruchteil der Gesamtzahl der vom Modell getroffenen, richtigen Vorhersagen.

The order of field names displayed is the one used in the latest version from the comparison. If a field name is not available in one of the compared versions, the values for each measure are replaced with N/A.

Hinweis:

If a field was removed in the current version but it was available in the older version before the Compare model feature was available, the name is replaced with Unknown.

You can also compare the field score for tables from the Table section.

You can download the advanced metrics file for each version from the comparison page from the Download advanced metrics button.