Überblick

In diesem Abschnitt wird der Prozess beschrieben, der die Validierung der Leistung von Modellversionen in einem Projekt umfasst. Die Validierung der Modellleistung ist kritisch, um die Genauigkeit und Zuverlässigkeit des Modells zu gewährleisten, bevor es in einer Produktionsumgebung bereitgestellt wird.

Der Prozess zur Modellvalidierung

1. Evaluieren Sie die Modellleistung durch den Vergleich verschiedener Modellversionen.
2. Erfassen Sie Validierungsstatistiken.
3. Verfeinern Sie das Modell wie folgt, bis es die für Ihren Anwendungsfall geeignete Leistungsstufe erreicht:
   • Überprüfen Sie Modellvorhersagen.
   • Überarbeiten Sie das Extraktionsschema.

Benutzeroberfläche

Das Dashboard auf der Registerkarte Messen enthält folgende Details:

• Die Leistung vollständiger Extraktionen für eine bestimmte Feldgruppe und alle Felder einer Feldgruppe.
• Die durchschnittliche Leistung aller Felder in einer bestimmten Feldgruppe.
• Die individuelle Leistung auf Feldebene.

Die folgende Liste enthält eine Beschreibung aller Feldleistungsindikatoren:

• Rotes Rad – Ein rotes Feldleistungsrad zeigt an, dass nicht genügend Beispiele mit Anmerkungen bereitgestellt wurden.
• Gelber Kreis – Ein gelber Leistungsindikator wird angezeigt, wenn die Leistung eines Felds weniger als zufriedenstellend ist.
• Roter Kreis – Ein roter Leistungsindikator wird angezeigt, wenn ein Feld eine schlechte Leistung aufweist.
• Trefferquote – Wie viele von den wahren Extraktionen das Modell tatsächlich vorhergesagt hat.
• Genauigkeit – Wie viele der vom Modell durchgeführten Extraktionen waren tatsächlich korrekt?
• F1-Score – Harmonisches Mittel zwischen Genauigkeit und Trefferquote.

Wenn Sie die Leistung auf Feldebene und die Auswirkungen von Änderungen an Feldanweisungen verstehen, können Sie anhand dieser Informationen bestimmen, ob das Modell produktionsbereit ist.

Best Practices

• Fügen Sie mindestens 10 Dokumenten und 10 Feldern Anmerkungen hinzu, um eine aussagekräftige Projekt- und Feldbewertung zu erhalten.
• Sie sollten basierend auf Ihren spezifischen Geschäftsanforderungen und Zielsetzungen entscheiden, wann Sie das Training des Modells anhalten, Dies bedeutet, dass bestimmte Felder möglicherweise eine höhere Genauigkeit und Trefferquote haben als andere.

Hinweis: Modelle mit hoher Genauigkeit minimieren falsch-positive Ergebnisse, während Modelle mit hoher Trefferquote falsch-negative Ergebnisse reduzieren.