Überblick

Der Bewertungsprozess für IXP-Modellversionen im Extraktionsknoten von UiPath Maestro™ Flow, der die Leistungsbewertung und Genauigkeitsprüfungen abdeckt, die vor der Bereitstellung eines Modells in der Produktion erforderlich sind.

Die Bewertung der Modellleistung ist kritisch, um die Genauigkeit und Zuverlässigkeit des Modells zu gewährleisten, bevor es in einer Produktionsumgebung bereitgestellt wird.

Der Prozess der Modellauswertung

Voraussetzung: Erstellen Sie Anmerkungen für Dokumente. Sie benötigen Ground Truth für einen repräsentativen Satz von Dokumenten, mit denen die Vorhersagen des Modells verglichen werden können.

1. Ausführen einer Auswertung für einen ausgewählten Satz von Dokumenten.
2. Analysieren Sie die Modellleistung, indem Sie die Ergebnisse der Auswertungsausführung auf Feld- und Dokumentebene überprüfen. Beide helfen Ihnen, die Faktoren zu identifizieren, die die Genauigkeit Ihres Modells einschränken.
3. Die Ergebnisse reagieren: Versuchen Sie es mit einer anderen Modellkonfiguration, überprüfen Sie die Feldanweisungen in Ihrer Taxonomie oder korrigieren Sie Anmerkungen.
4. Führen Sie eine Auswertung erneut aus, entweder für denselben Satz von Dokumenten oder für eine bestimmte Teilmenge, die Sie testen möchten.
5. Vergleichen Sie die Leistung der beiden Bewertungsläufe. Beim Vergleichen von Modellversionen empfehlen wir die Verwendung desselben Datasets.
6. Wiederholen Sie diesen Prozess, bis das Modell die Leistungsziele erfüllt, die es für eine erfolgreiche Produktion benötigt.

Wo die Modellleistung angezeigt wird

Die folgenden Teile des Produkts zeigen die Metriken und Punktzahlen Ihres Modells an:

• Zustandsbewertung – Wird auf dem Flow Extract- Knoten an zwei Stellen angezeigt: im Eigenschaftenbereich und auf der Registerkarte Definition in der immersiven Übernahme. Es zeigt auch, aus welcher Modellversion die Punktzahl stammt und welches Extraktionsmodell verwendet wurde.
• Verlauf der Evaluierungsausführungen – Listet jede Evaluierungsausführung für den Knoten mit der F1-Punktzahl und der Dokumentfehlerquote jeder Ausführung auf. Wählen Sie eine Ausführung aus, um die Details anzuzeigen.
• Feldleistungstabelle – Verfügbar in der Ansicht „Nach Feld“ einer Ausführung. Zeigt pro Feld oder Feldgruppe eine Zeile mit Leistungs- und Fehlermetriken an, die für alle mit Anmerkungen versehenen Dokumente berechnet werden.
• Document performance table - Available in the By document view of a run. Shows one row per document, with its F1 score, document error rate, total errors, total annotations, and annotated values.

Weitere Informationen zu jeder Metrik finden Sie unter Bewertung der Modellleistung.

Best Practices

• Fügen Sie mindestens 10 Werten für jedes Feld in der Taxonomie und so vielen eindeutigen Dokumenten wie möglich (idealerweise 10) Anmerkungen hinzu, um eine aussagekräftige Modell- und Feldbewertung zu erhalten.