Evaluierung der Modellleistung

Bewerten Sie die IXP-Modellleistung im Extraktionsknoten von UiPath Maestro™ Flow mithilfe der Auswertungszusammenfassung und der Feld- und Dokumentenmetriken jeder Auswertungsausführung.

Überblick

Sie können die Leistung des Modells eines Flow Extraction- Knotens an folgenden Stellen bewerten:

• Registerkarte Definition – Zeigt eine Zusammenfassung der letzten Bewertung, einschließlich des F1-Scores.
• Registerkarte Evaluierungsausführungen – Listet alle Evaluierungsläufe auf, einschließlich der Dokumentfehlerquote jedes Laufs, und zeigt die Leistung auf Feldgruppen-, Feld- und Dokumentebene jedes Laufs an.

Bewertung des Knotenzustands

Die Knotenzustandsbewertung fasst zusammen, wie gut die aktuelle Modellversion eines Flow Extract- Knotens funktioniert. Sie wird an folgenden Stellen angezeigt:

• Der Eigenschaftenbereich des Flow Extraction- Knotens.
• Die Registerkarte Definition . Um es zu öffnen, zeigen Sie mit dem Mauszeiger auf den Knoten Flow Extractor und wählen Sie Vollständige Ansicht öffnen aus.

Die Zustandsbewertung zeigt Folgendes an:

• F1-Score – Der Durchschnitt der F1-Scores aller Felder in der Taxonomie.
• Rating - Good, Fair, or Poor.
• Dokumente mit Anmerkungen – Die Anzahl der Dokumente mit Anmerkungen.
• Die Modellversion, aus der die Punktzahl stammt, und das von dieser Version verwendete Extraktionsmodell.

Die F1-Punktzahl ist wie folgt farbcodiert:

Farbe	F1-Ergebnis
Grün	80% or higher
Gelb	40% to 79%
Rot	Below 40%

Die Zustandsbewertung wird aus Auswertungsausführungen generiert, die alle mit Anmerkungen versehenen Dokumente im Dataset des Knotens enthalten. Bewertungsläufe für eine Teilmenge von Dokumenten wirken sich nicht auf die Zustandsbewertung aus.

Um die Evaluierungsläufe hinter der Punktzahl zu sehen, wählen Sie den Modellnamen aus, z. B. Gemini 2.5 Flash. Die Ausführungen werden auf der Registerkarte Bewertungsausführungen geöffnet.

Hinweis:

Gesunde Modelle haben eine gute Punktzahl und keine Warnung zur Feldleistung.

Auswertung auf der Registerkarte Evaluierungsausführungen

Each evaluation run outputs the performance of a model version tested on a selection of the annotated documents in the dataset of the node. A new model version is created when you run an evaluation that includes changes not yet evaluated, such as changes to your taxonomy, including instructions, or to the model configuration. Making these changes does not create a model version by itself. For details, check Changes not evaluated.

Anzeigen von Bewertungsläufen

Um die Bewertungsausführungen eines Knotens anzuzeigen, gehen Sie wie folgt vor:

1. Zeigen Sie mit der Maus auf den Knoten Flow- Extraktion und wählen Sie Vollständige Ansicht öffnen aus.

2. Navigieren Sie zur Registerkarte Evaluierungsausführungen .

   

Die Liste zeigt für jede Bewertungsausführung folgende Details an:

• Name – Der Name des Testlaufs.
• Version – Die während der Ausführung ausgewertete Modellversion. Bei Ausführungen, die der aktuellen Knotendefinition entsprechen, wird die Kennzeichnung Entspricht der aktuellen Definition angezeigt.
• Status – Der Status der Ausführung: Abgeschlossen, Abgebrochen, Wird ausgeführt oder Fehlgeschlagen.
• F1-Score – Der durchschnittliche F1-Score für alle Felder.
• Dokumentfehlerquote – Der Durchschnitt der Fehlerquoten der mit Anmerkungen versehenen Dokumente.
• Dokumente – Die Anzahl der ausgewerteten Dokumente.
• Gestartet – Wenn die Ausführung gestartet wurde.
• Dauer – So lange hat die Ausführung gedauert.

Um die Liste nach Status zu filtern, wählen Sie das Filtersymbol und dann eine oder mehrere der folgenden Optionen aus: Wird ausgeführt, Abgeschlossen, Fehlgeschlagen oder Abgebrochen.

Um Spalten ein- oder auszublenden, wählen Sie das Spaltensymbol und dann die anzuzeigenden Spalten aus.

Um eine neue Auswertung zu starten, wählen Sie Auswertung ausführen aus. Weitere Informationen finden Sie unter Ausführen einer Auswertung.

Dokumentfehlerquote

Sie können die Dokumentfehlerquote jeder Auswertungsausführung in der Spalte Dokumentfehlerquote der Registerkarte Bewertungsausführungen sehen.

Die Dokumentfehlerquote ist das Verhältnis zwischen den Fehlern, die das Modell für ein Dokument gemacht hat, und den Gesamtanmerkungen zu diesem Dokument, d. h. wie weit die Vorhersagen des Modells von den Benutzeranmerkungen abweichen. Fehlerquoten sind nur für Dokumente mit Anmerkungen verfügbar.

Der Wert in der Spalte Dokumentfehlerquote der Registerkarte Bewertungsausführungen wird als einfacher Durchschnitt der Fehlerquote jedes vollständig mit Anmerkungen versehenen Dokuments berechnet. Es liefert einen schnellen Anhaltspunkt dafür, wie fehleranfällig Dokumente sind, wenn sie von der ausgewerteten Modellversion verarbeitet werden, was bei der Bewertung der Bereitstellungsreife hilft.

Hinweis:

Die Dokumentfehlerquote kann 100 % überschreiten, da sie wie folgt berechnet wird:

• Dokumentfehlerquote = Anzahl der Fehler × Gesamtanzahl der Anmerkungen

Fehler umfassen nicht nur Felder, die falsch mit Anmerkungen versehen und extrahiert wurden, sondern auch alle zusätzlichen Vorhersagen des Modells, die keine entsprechende Anmerkung haben. Zum Beispiel eine zusätzliche Zeile, die das Modell vorhergesagt hat, die ein Prüfer nicht beschriftet hat.

Da diese zusätzlichen Vorhersagen als Fehler gelten, aber nicht zur Gesamtanzahl der Anmerkungen hinzugefügt werden, kann die Anzahl der Fehler die Anzahl der Anmerkungen übersteigen, was zu einer Fehlerquote von über 100 % führt.

Verwalten von Bewertungsläufen

Um eine Bewertungsausführung zu verwalten, gehen Sie wie folgt vor:

1. Navigieren Sie im Knoten Flow Extract zur Registerkarte Evaluierungsausführungen .

2. Wählen Sie die Auslassungspunkte in der Spalte Aktionen der Ausführung und wählen Sie eine der folgenden Optionen:

   • Details anzeigen – Öffnet die Details der Ausführung. Alternativ können Sie die Zeile der Ausführung auswählen.
   • Erneut ausführen – Führt die Bewertung erneut aus.
   • Als JSON-Objekt exportieren – Exportiert die Ausführung als JSON-Datei.
   • Als CSV exportieren – Exportiert die Ausführung als CSV-Datei.
   • Ergebnisse der Evaluierungsausführung exportieren – Exportiert die Ergebnisse der Ausführung.
   • Löschen – Löscht die Ausführung.

   

Sie können Daten aus Auswertungsläufen für die Offline-Analyse, die benutzerdefinierte Filterung oder die Weitergabe der Ergebnisse an Stakeholder exportieren.

Sie können den Extraktionsknoten auch über die Registerkarte Evaluierungsausführungen auf eine frühere Modellversion zurücksetzen.

Details zur Auswertungsausführung

Die Details einer Evaluierungsausführung helfen Ihnen zu bewerten, wie gut eine Modellversion bei mit Anmerkungen versehenen Dokumenten abschneidet, bevor Sie sie bereitstellen.

Um die Details einer Evaluierungsausführung zu öffnen, gehen Sie wie folgt vor:

1. Zeigen Sie mit der Maus auf den Knoten Flow- Extraktion und wählen Sie Vollständige Ansicht öffnen aus.

2. Wählen Sie auf der Registerkarte Evaluierungsausführungen die Zeile einer Evaluierungsausführung aus. Die Details der Ausführung, einschließlich der Tabelle zur Dokumentleistung , werden geöffnet. Auf der Seite sehen Sie folgende Einzelheiten zur Ausführung:

   • Latenz, die die Extraktionslatenz ist. Zeigen Sie mit der Maus auf den Wert, um die Latenz-Perzentile über Dokumente hinweg anzuzeigen.
   • Der Ausführungswert, der der Durchschnitt der F1-Scores aller Felder ist.

   

3. Wählen Sie eine der folgenden Ansichten aus:

   • By document - Shows the Document performance table, with one row per document. By default, the table shows the following columns: F1 score, Doc error rate, Total errors, Total annotations, and Annotated values.
   • Nach Feld – Zeigt die Tabelle der Feldleistung an.

Tabelle der Feldleistung

Die Feldleistungstabelle, die auf der Registerkarte Evaluierungsausführungen in der Ansicht Nach Feld einer Evaluierungsausführung verfügbar ist, ist die primäre Methode zur Analyse der Modellleistung. Sie zeigt pro Feld oder Feldgruppe eine Zeile an, zusammen mit Leistungs- und Fehlermetriken, die für alle mit Anmerkungen versehenen Dokumente berechnet wurden. Bei der Berechnung von Metriken berücksichtigt die Tabelle keine nicht mit Anmerkungen versehenen und nur teilweise mit Anmerkungen versehenen Dokumente.

Die Tabelle hilft bei der Beantwortung von Fragen wie:

• Welche Felder beeinflussen die Gesamtleistung des Modells?
• Konzentrieren sich die Fehler auf wenige Felder oder sind sie breit gestreut?
• Hat eine kürzlich vorgenommene Modelländerung bestimmte Felder verbessert oder verschlechtert?

Die Tabelle enthält mehrere Kategorien von Metriken, mit denen Sie die Modellleistung aus verschiedenen Perspektiven analysieren können. Jede Kategorie gibt Aufschluss über eine bestimmte diagnostische Frage dazu, wie sich Ihr Modell über verschiedene Felder und Dokumente hinweg verhält.

Standardmäßig zeigt die Tabelle die folgenden Spalten:

• F1-Ergebnis
• Fehlerquote
• Fehler insgesamt
• Anmerkungen insgesamt
• Werte mit Anmerkungen
• Dokumente mit Fehlern
• Dokumente mit Anmerkungen

Die F1-Punktzahl jedes Felds und jeder Feldgruppe ist farbcodiert und verwendet dieselben Bereiche wie die Knotenzustandsbewertung:

• Grün – Das Feld ist gut.
• Yellow - The performance of the field is less than satisfactory.
• Rot – Das Feld hat eine schlechte Leistung.

Um Metriken anzuzeigen oder auszublenden, wählen Sie Spalten und dann die Metriken aus jeder Kategorie aus.

Um eine bestimmte Feldgruppe oder ein bestimmtes Feld zu finden, verwenden Sie das Feld Felder suchen .

Filtern und Sortieren

Um Zeilen in der Tabelle zu filtern, wählen Sie einen oder mehrere der verfügbaren Schnellfilter auf der Registerkarte Bewertungsausführungen aus. Jeder Schnellfilter zeigt die Anzahl der Zeilen an, mit denen er übereinstimmt:

• Mit Anmerkungen versehene Werte <10
• Feld-F1-Score < 50
• Feld-F1-Score innerhalb von 50–70

Sie können die Tabelle auch nach einer beliebigen Metrik in der Tabelle sortieren. Wenn eine Sortierung angewendet wird, werden Werte innerhalb ihrer jeweiligen Feldgruppe sortiert. Beim Sortieren der Tabelle nach F1-Score werden beispielsweise die Felder innerhalb jeder Feldgruppe relativ zueinander sortiert.

Leistungsmetriken

Der Zweck der Leistungsmetriken besteht darin, die Gesamtqualität der Extraktion für jedes Feld oder jede Feldgruppe zu bewerten.

Die Leistungsmetriken werden wie folgt beschrieben

• F1-Score – Der harmonische Mittelwert aus Präzision und Recall: F1 = 2 × (Präzision × Recall) / (Präzision + Recall). Der F1-Score bleibt nur dann hoch, wenn sowohl Präzision als auch Recall hoch sind. In der Praxis macht dies F1 zu einem starken Gesamtqualitätsindikator für Extraktionsaufgaben, bei denen es darauf ankommt, falsche Werte und fehlende Werte zu vermeiden. Daher ist F1 eine nützliche erste Metrik zur Überprüfung, um Änderungen der Feldleistung über verschiedene Modellversionen hinweg zu analysieren.
• Präzision – Misst, wie häufig vorhergesagte Werte korrekt sind: Präzision = Wahr-Positive / (Wahr-Positive + Falsch-Positive). Wahr-Positive sind Vorhersagen, die mit dem mit Anmerkungen versehenen Wert übereinstimmen, wobei Werte, die als fehlend gekennzeichnet sind, ausgeschlossen werden.
• Recall - Misst, wie oft das Modell einen Wert findet, wenn dieser vorhanden ist: Recall = Wahr-Positive / (Wahr-Positive + Falsch-Negative). Falsch-Negative sind mit Anmerkungen versehene Werte, die das Modell nicht vorhergesagt hat, wobei als fehlend gekennzeichnete Werte ausgenommen sind.
• Fehlerquote – Gesamtzahl der Fehler / Gesamtzahl der Anmerkungen. Als fehlend markierte Werte werden in die Zählung der Fehler und Anmerkungen aufgenommen.
• Fehlerquote ohne fehlende Werte – (Gesamtzahl der Fehler – Zusätzliche Vorhersagen)/Mit Anmerkungen versehene Werte. Als fehlend markierte mit Anmerkungen versehene Werte werden nicht berücksichtigt.

Vorhersagen und Fehler

Der Zweck der Metriken zu Vorhersagen und Fehler besteht darin, Umfang und Zusammensetzung der Fehler zu erfassen, die zu einer schlechten Leistung beitragen.

Die Metriken werden wie folgt beschrieben:

• Gesamtzahl Fehler – Gesamtzahl der Fehler für ein Feld über alle Fehlerklassen hinweg: Gesamtzahl Fehler = Falsche Werte + Fehlende Vorhersagen + Zusätzliche Vorhersagen.
• Gesamtzahl Vorhersagen – Gesamtzahl der vorhergesagten Werte für ein Feld: Gesamtzahl Vorhersagen = Korrekte Werte + Korrekt als fehlend erkannte Werte + Falsche Werte.
• Falsche Werte – Anzahl der Vorhersagen, bei denen der extrahierte Wert nicht mit der Anmerkung übereinstimmt. Vorhersagen und mit Anmerkungen versehene Werte, die als fehlend markiert sind, sind ausgeschlossen.
• Fehlende Vorhersagen – Anzahl der mit Anmerkungen versehenen Werte, die das Modell nicht extrahieren konnte.
• Zusätzliche Vorhersagen – Anzahl der vorhergesagten Werte, die das Modell nicht hätte extrahieren dürfen oder für die es keine entsprechende Anmerkung oder keine als fehlend markierte Anmerkung gab.
• Korrekte Werte – Anzahl der vorhergesagten Werte, die genau der Anmerkung entsprechen.
• Korrekt als fehlend erkannt – Anzahl der Instanzen, bei denen das Modell korrekt vorhergesagt hat, dass ein Wert fehlt.

Anmerkungen

Der Zweck der Anmerkungsmetriken besteht darin, Aufschluss darüber zu geben, inwieweit die einzelnen Metriken durch gekennzeichnete Daten gestützt werden und wie zuverlässig die Leistungswerte sind.

Die Metriken werden wie folgt beschrieben:

• Gesamtzahl der Anmerkungen – Gesamtzahl der Anmerkungen, einschließlich Werte, die als fehlend gekennzeichnet sind: Gesamtanzahl der Anmerkungen = Mit Anmerkungen versehene Werte + Anmerkungen, die als fehlend gekennzeichnet sind.
• Mit Anmerkungen versehene Werte – Gesamtzahl der mit Anmerkungen versehenen Feldwerte, ausgenommen derer, die als fehlend markiert sind.
• Als fehlend gekennzeichnet – Gesamtzahl der Fälle, in denen ein Feld explizit als fehlend gekennzeichnet wurde.

Dokumentmetriken

Der Zweck von Dokumentmetriken besteht darin, zu verstehen, wie sich Fehler über die Dokumente verteilen, und nicht nur über die Vorhersagen.

Die Metriken werden wie folgt beschrieben:

• Dokumente mit Fehlern – Gesamtzahl der Dokumente, in denen das Feld mindestens einen Fehler aufweist.
• Mit Anmerkungen versehene Dokumente – Gesamtzahl der Dokumente, in denen das Feld mindestens einen mit Anmerkungen versehenen Feldwert aufweist.
• % Dokumente mit Fehlern – Prozentsatz der mit Anmerkungen versehenen Dokumente, die mindestens einen Fehler für das Feld enthalten: Dokumente mit Fehlern / Mit Anmerkungen versehene Dokumente.

Vergleich von Modellversionen

Wenn mehrere Evaluierungsläufe verfügbar sind, können Sie die Leistung einer Ausführung mit der einer vorherigen Ausführung vergleichen. Auf diese Weise können Sie die Auswirkungen von Änderungen an Feldanweisungen, Änderungen in Anmerkungen oder Aktualisierungen der Modellkonfiguration besser verstehen.

Standardmäßig vergleicht die Tabelle die ausgewählte Ausführung mit der vorherigen Ausführung. Score-Differenzen werden neben jedem Wert mit einem Pfeil angezeigt, der angibt, ob der Wert erhöht oder verringert wurde.

Um sie mit einer anderen Ausführung zu vergleichen, gehen Sie wie folgt vor:

1. Wählen Sie in der Feldansicht „Nach“ einer Bewertungsausführung die Dropdownliste Vergleichen mit aus.

   

2. Wählen Sie eine der folgenden Optionen aus:

   • Eine vorherige Ausführung, aufgeführt nach Ausführungsnummer, Dataset, Datum und Modellversion.
   • Kein Vergleich – Blendet Score-Differenzen aus.

   

Beispielszenarien

Szenario 1: Niedrige F1 + Niedrige Präzision, aber moderater oder hoher Recall

Was Sie beobachten

F1 ist niedrig, Präzision ist niedrig und Recall ist moderat oder hoch.

Was das normalerweise bedeutet

• Das Modell extrahiert Werte für ein Feld, aber es werden mehr Werte vorhergesagt, als Sie erwarten.
• Häufige Ursachen:
  • Die Feldanweisung ist entweder zu allgemein oder unklar. Die Feldanweisung lautet beispielsweise: Den Betrag erfassen, gibt jedoch nicht an, welcher Betrag gemeint ist.
  • Das Dokument enthält ähnliche Werte, die miteinander verwechselt werden können, z. B. Teilsumme versus Gesamtsumme, Versandadresse versus Rechnungsadresse.

Nächste Schritte

Vergleichen Sie die falschen Werte und zusätzlichen Vorhersagen, um festzustellen, ob das Problem an die Extrahierung des falschen Werts gebunden ist (Anzahl der falschen Werte anders als Null) oder der Wert überhaupt nicht extrahiert werden sollte (Anzahl der zusätzlichen Vorhersagen anders als Null).

Präzisieren Sie Ihre Feldanweisungen mit Bezeichnungen, Schlüsselwörtern und Formatierungsbeschränkungen.

Szenario 2: Hohe Anzahl Fehlender Vorhersagen (Recall ist niedrig), Präzision ist moderat oder hoch

Was Sie beobachten

• Der Recall ist niedrig und die Präzision ist moderat oder hoch (F1 ist in der Regel niedrig oder moderat).
• Die Anzahl fehlender Vorhersagen ist hoch, mitunter höher als die Anzahl falscher Werte oder zusätzlicher Vorhersagen.

Was das normalerweise bedeutet

• Das Modell kann vorhandene Werte nicht extrahieren.
• Häufige Ursachen:
  • Die Feldanweisung ist zu eng gefasst, was zu übermäßig eingeschränkten Beispielen oder zu spezifischen Anforderungen an die Kennzeichnung führt.
  • Der Wert wird in mehreren Formaten angezeigt, z. B. Daten und IDs, und die Anweisung deckt keine Varianten ab.

Nächste Schritte

• Verwenden Sie Fehlende Vorhersagen + Mit Anmerkungen versehene Werte, um zu bestätigen, dass es sich um ein Recall-Problem handelt, das heißt, dass die Werte zwar vorhanden sind, aber nicht gefunden werden. Üperprüfen Sie mit Anmerkungen versehene Werte, um sicherzustellen, dass eine angemessene Anzahl von annotierten Datenpunkten für das Feld vorhanden ist, und Fehlende Vorhersagen, um zu bestätigen, dass das Modell Schwierigkeiten hat, Werte zu finden, anstatt sie falsch vorherzusagen.
• Erweitern Sie die Anweisungen, um akzeptable Varianten aufzunehmen: alternative Bezeichnungen oder Synonyme, mehrere Formatierungsmuster, Standorthinweise (z. B. in der Nähe von Antragsdetails oder unter dem Abschnitt „Kreditnehmer“).

Szenario 3: Hohe Fehlerquote, aber Niedrige Dokumente mit Fehlern (Fehler konzentrieren sich auf wenige Dokumente)

Was Sie beobachten

• Die Fehlerquote ist hoch oder die Gesamtzahl der Fehler ist hoch.
• Dokumente mit Fehlern sind im Vergleich zu mit Anmerkungen versehenen Dokumenten niedrig.
• Oft sieht ein Feld schlecht aus, schlägt aber nur bei einer kleinen Teilmenge von Dokumenten fehl.

Was das normalerweise bedeutet

• Fehler werden durch Ausreißerdokumente und nicht durch systemisches Feldverhalten verursacht.
• Häufige Ursachen:
  • Ein bestimmtes Dokument oder Format verhält sich anders als der Rest.
  • OCR- oder Qualitätsprobleme in einer kleinen Anzahl von Dokumenten, wie verschwommene Scans, verzerrte Scans und handschriftliche Überlagerungen.
  • Das Feld ist in den meisten Dokumenten vorhanden, wird jedoch ungewöhnlich formatiert, z. B. mehrzeilige statt einzelne Zeile.

Nächste Schritte

• Vergleichen Sie Dokumente mit Fehlern und mit Anmerkungen versehene Dokumente und optional % Dokumente mit Fehlern, um die Konzentration zu bestätigen.
• Wechseln Sie zur Ansicht Nach Dokument der Bewertungsausführung, sortieren Sie Dokumente nach Punktzahl und überprüfen Sie die Dokumente mit der niedrigsten Punktzahl, um festzustellen, ob das Feld in einer bestimmten Teilmenge schlecht funktioniert.

Szenario 4: Große Leistungsschwankungen zwischen Versionen mit wenigen Anmerkungen

Was Sie beobachten

• Große Unterschiede in F1 oder Fehlerquote zwischen Modellversionen (oben oder unten), aber mit Anmerkungen versehene Werte sind niedrig, mit Anmerkungen versehene Dokumente sind niedrig oder beides.

Was das normalerweise bedeutet

• Die Feldmetriken sind aufgrund der kleinen Beispielgröße noch nicht stabil.
• Häufige Ursachen:
  • Zu wenige Beispiele – 1–2 Dokumente können die Raten erheblich ändern.
  • Das Feld ist selten vorhanden, das heißt, viele fehlende Fälle und wenige wahre Werte.
  • Eine Handvoll schwieriger Dokumente dominieren die Metrik.

Nächste Schritte

• Überprüfen Sie Mit Anmerkungen versehene Werte, Mit Anmerkungen versehene Dokumente und als fehlend annotierte Werte, um eine geringe Abdeckung zu validieren.
• Behandeln Sie die Metriken als richtungsweisend und nicht endgültig, bis die Abdeckung zunimmt.
• Fügen Sie weitere beschriftete Daten speziell für dieses Feld hinzu: Priorisieren Sie Dokumente, in denen das Feld vorhanden ist, und fügen Sie eine Vielzahl von Beispielen oder Varianten ein.
• Verwenden Sie Versionsvergleiche nur, nachdem die Abdeckung ausreicht, um variabilitätsbedingtes Rauschen zu reduzieren.