Validierung von vorhergesagten Werten

Validieren Sie IXP-Modellvorhersagen im Extraktionsknoten von UiPath Maestro™ Flow, um nach der Optimierung von Prompt-Anweisungen Referenzdaten zu ermitteln, ohne das Modell direkt aus Anmerkungen zu trainieren.

Überblick

Das Modell lernt derzeit nicht direkt aus Benutzeranmerkungen. Um die Leistung des Modells zu verbessern, ändern Sie Ihre Prompt-Anweisungen oder die Modellkonfiguration.

Sobald Sie mit Ihren Prompt-Anweisungen zufrieden sind, können Sie mit der Validierung der Vorhersagen des Modells beginnen, um die Referenzdaten für die Leistungsbewertung zu ermitteln. Bevor Sie dies tun, ist es wichtig, die Unterschiede zwischen Vorhersagen und Verweise zu verstehen.

Vorhersagen und Verweise

Vorhersagen sind die vorhergesagten Werte, die mit der Ground Truth verglichen werden.

Hinweis:

Falsche oder fehlende Vorhersagen wirken sich auf die Modellpunktzahl und die Leistungsmetriken auf der Registerkarte Evaluierungsausführungen aus.

Referenzen sind die übereinstimmenden Verweise zu den vorhergesagten Werten, die im Dokument gefunden wurden. Referenzen sollen den Benutzern helfen, den richtigen Teil des Dokuments zu finden.

Hinweis:

Falsche oder fehlende Verweise wirken sich nicht auf die Modellpunktzahl oder die Leistungsmetriken aus. Es kann jedoch hilfreich sein, Verweise hinzuzufügen oder zu korrigieren, um die Validierung durch Menschen zu verbessern.

Es gibt bekannte Einschränkungen bei Verweisen und hervorgehobenen Spannen, was aber dringend verbessert werden soll.

Möglicherweise tritt eines der folgenden Szenarien ein:

• Korrekte Vorhersage und korrekter Verweis, aber es wird ein falscher Bereich hervorgehoben. Normalerweise die erste Übereinstimmung, die gefunden wurde.
• Korrekte Vorhersage, aber es fehlt ein Verweis und ein hervorgehobener Bereich. In diesen Szenarien geben wir eine Seitennummer als Fallback an.

Hinweis:

Vorhersagen und Referenzen sind unabhängig. Das bedeutet, dass sich fehlende oder falsche Verweise nicht auf die vorhergesagten Werte auswirken.

Validierung von vorhergesagten Werten

In der Anmerkungsansicht wird jeder extrahierte Wert im Dokument mit der Farbe seines Felds hervorgehoben, wie neben dem Feldnamen im Anmerkungsbereich angezeigt. Extrahierte Werte werden wie folgt hervorgehoben:

• Gefüllt – Extrahierte Werte. Die Füllung ist für bestätigte und unbestätigte Werte gleich. Um zu überprüfen, ob ein Wert bestätigt wurde, verwenden Sie sein Kontrollkästchen im Anmerkungsbereich: Das Kontrollkästchen ist für bestätigte Werte aktiviert und für unbestätigte Werte deaktiviert.

  

• Durchgängiger Rahmen – Der ausgewählte Wert. Wenn Sie einen Wert im Anmerkungsbereich auswählen, erhält seine Hervorhebung im Dokument einen durchgehenden Rahmen.

  

Führen Sie die folgenden Schritte aus, um die vorhergesagten Werte zu validieren:

1. Zeigen Sie mit der Maus auf den Knoten Flow- Extraktion und wählen Sie Vollständige Ansicht öffnen aus.

2. Wählen Sie auf der Registerkarte Dataset die Option Anmerkung hinzufügen für das Dokument, das Sie validieren möchten. Das Modell hebt den relevanten Textbereich im Dokument hervor und zeigt die generierten Vorhersagen im Anmerkungsbereich an. Werte, die für mehrere Instanzen einer Feldgruppe gelten, wie z. B. die Kontonummer, haben Pfeiltasten, über die Sie zu den relevanten Abschnitten gehen können. Die Schaltflächen werden angezeigt, wenn Sie auf die Werte zeigen.

   

3. Überprüfen Sie die Vorhersagen und bestätigen Sie die extrahierten Werte auf eine der folgenden Arten:

   • Um einen einzelnen Wert zu bestätigen, aktivieren Sie sein Kontrollkästchen.
   • Um eine gesamte Feldgruppenzeile zu bestätigen, aktivieren Sie das Kontrollkästchen Zeile.
   Hinweis:

   Alle Änderungen, die Sie vornehmen, aber nicht einreichen, werden als Entwurf gespeichert, zu dem Sie später zurückkehren und ihn aktualisieren können. Weitere Informationen finden Sie unter Entwurf von Anmerkungen.

4. Wählen Sie Einreichen , um Ihre Anmerkungen zu übermitteln.

Sie können zusätzliche Felder in Ihrem Extraktionsschema jederzeit über die Registerkarte Definition konfigurieren.

Beispiel für die Validierung von vorhergesagten Werten im Action Center

Die Validierung wird angehalten

Es wird empfohlen, mindestens 10 Beispiele für jedes Feld zu validieren, damit das Modell aussagekräftige Validierungsstatistiken liefern kann.

Bestätigte und unbestätigte Verweise und Werte

Der Validierungsprozess beinhaltet Folgendes:

• Bestätigung der extrahierten Werte, wenn sie korrekt sind.
• Versehen der erwarteten Werte mit Anmerkungen, wenn die vorhergesagten Werte falsch sind.
• Markieren von Feldern als fehlend, wenn sie im Dokument nicht vorhanden sind.
• Konfigurieren Sie alle zusätzlichen Felder in Ihrem Extraktionsschema.

In diesem Abschnitt wird gezeigt, wie Werte und Verweise im bestätigten (validiert) und unbestätigten (nicht validiert) Status aussehen.

Hinweis:

Alle Änderungen, die Sie vornehmen, aber nicht einreichen, werden als Entwurf gespeichert, zu dem Sie später zurückkehren und ihn aktualisieren können. Weitere Informationen finden Sie unter Entwurf von Anmerkungen.

Vorhergesagte Werte

Unbestätigte Werte

Es sind keine Werte als bestätigt markiert:

Abbildung 1. Unbestätigte Werte

Bestätigt

Verweise werden mit einem durchgehenden Rahmen hervorgehoben:

Abbildung 2. Bestätigter Verweis

Werte sind als bestätigt markiert:

Abbildung 3. Bestätigte Werte

Validierte Werte

Dieser Abschnitt enthält Beispielszenarien, in denen die Vorhersagen des Modells mit den Anmerkungen des Benutzers übereinstimmen oder nicht übereinstimmen.

Wenn die Anmerkung der Vorhersage entspricht, sieht der Wert wie folgt aus:

Abbildung 4. Korrekte Vorhersage

Wenn die Anmerkung nicht der Vorhersage entspricht, sieht der Wert wie folgt aus:

Abbildung 5. Falsche Vorhersage

Hinweis:

Vorhersagen werden mit Anmerkungen verglichen, nicht mit den Referenzen. Verweise können fehlen oder falsch sein, aber dies wird nicht als Abweichung gekennzeichnet.

Versehen des erwarteten Werts mit Anmerkungen

Wenn ein vorhergesagter Wert falsch ist, beschriften Sie den erwarteten Wert. Die Anmerkung legt die Ground Truth fest, den wahren erwarteten Wert, mit dem Auswertungsausführungen die Vorhersagen des Modells vergleichen. Das Modell oder seine zukünftigen Vorhersagen werden dadurch nicht geändert.

Um den erwarteten Wert mit einer Anmerkung zu versehen, gehen Sie wie folgt vor:

1. Wählen Sie im Anmerkungsbereich die Auslassungspunkte neben dem Feld und dann Extrahierten Wert ändern. Wählen Sie für ein Feld ohne Wert, das Fehlend anzeigt, das Plus-Symbol aus.

2. Markieren Sie den korrekten Wert im Dokument.

   Hinweis:

   Alle Änderungen, die Sie vornehmen, aber nicht einreichen, werden als Entwurf gespeichert, zu dem Sie später zurückkehren und ihn aktualisieren können. Weitere Informationen finden Sie unter Entwurf von Anmerkungen.

   

Bearbeiten von Werten

Bearbeiten Sie in der Anmerkungsansicht des Knotens Flow Extract die Werte wie folgt:

1. Wählen Sie Wert hinzufügen aus, um einen neuen Wert ohne Referenz im Dokument zu erstellen.

2. Wählen Sie die Auslassungspunkte neben einem Feld, um eine der folgenden Optionen zu verwenden:

   • Extrahierten Wert ändern
   • Auf vorherigen Wert zurücksetzen
   • Als fehlend markieren

3. Wählen Sie die Auslassungspunkte neben einer Feldgruppenzeile, um eine der folgenden Optionen zu verwenden:

   • Zeile markieren
   • Zeile löschen

4. Bestätigen Sie die Werte, indem Sie das Kontrollkästchen jeder Wert- oder Feldgruppenzeile aktivieren.

   Hinweis:

   Alle Änderungen, die Sie vornehmen, aber nicht einreichen, werden als Entwurf gespeichert, zu dem Sie später zurückkehren und ihn aktualisieren können. Weitere Informationen finden Sie unter Entwurf von Anmerkungen.

   

Um jede Instanz einer Feldgruppe als Zeile in einer Tabelle anstelle einer Liste im Anmerkungsbereich anzuzeigen, wechseln Sie zur Registerkarte Definition , wählen Sie die Auslassungspunkte für die Feldgruppe aus und aktivieren Sie Als Tabelle anzeigen.

Entwurfsanmerkungen

Alle Änderungen, die Sie an Werten und Verweisen in einem Dokument vornehmen, werden als Entwurfsanmerkungen gespeichert, bis Sie sie als Anmerkungen an das Modell senden. Infolgedessen wird der Dokumentstatus als In Bearbeitung oder als Mit Anmerkungen (Bearbeitung) für ein Dokument angezeigt, das bereits mit Anmerkungen versehen wurde. Um den Entwurf zu verwerfen, wählen Sie Entwurf verwerfen aus.

Alle zuvor genannten Aktionen, wie z. B. die Validierung, das Hinzufügen von Anmerkungen und das Bearbeiten von Werten und das anschließende Senden der Anmerkungen, werden im Entwurf beibehalten, wenn Sie Änderungen vornehmen.

Wenn Sie Vorhersagen aktualisieren, während sich ein Dokument im Entwurfsstatus befindet, behält das System die Entwurfsanmerkungen bei, während es neue Vorhersagen übernimmt und die neuen Vorhersagen aus dem Modell mit den Entwurfsanmerkungen abgleicht.