Validieren von Extraktionsvorhersagen

Das Modell lernt derzeit nicht direkt aus Benutzeranmerkungen. Um die Leistung des Modells zu verbessern, ändern Sie Ihre Prompt-Anweisungen oder die Modellkonfiguration.

Sobald Sie mit Ihren Prompt-Anweisungen zufrieden sind, können Sie mit der Validierung der Vorhersagen des Modells beginnen, um die Referenzdaten für die Leistungsbewertung zu ermitteln. Bevor Sie dies tun, ist es wichtig, die Unterschiede zwischen Vorhersagen und Verweise zu verstehen.

Vorhersagen und Verweise

Vorhersagen sind die vorhergesagten Werte, die mit der Ground Truth verglichen werden.

Hinweis:

Falsche oder fehlende Vorhersagen wirken sich auf die Modellpunktzahl und die Leistungsmetriken auf der Registerkarte Messen aus.

Referenzen sind die übereinstimmenden Verweise zu den vorhergesagten Werten, die im Dokument gefunden wurden. Referenzen sollen den Benutzern helfen, den richtigen Teil des Dokuments zu finden.

Hinweis:

Falsche oder fehlende Verweise wirken sich nicht auf die Modellpunktzahl oder die Leistungsmetriken aus. Es kann jedoch hilfreich sein, Verweise hinzuzufügen oder zu korrigieren, um die Validierung durch Menschen zu verbessern.

Es gibt bekannte Einschränkungen bei Verweisen und hervorgehobenen Spannen, was aber dringend verbessert werden soll.

Möglicherweise tritt eines der folgenden Szenarien ein:

• Korrekte Vorhersage und korrekter Verweis, aber es wird ein falscher Bereich hervorgehoben. Normalerweise die erste Übereinstimmung, die gefunden wurde.

• Korrekte Vorhersage, aber es fehlt ein Verweis und ein hervorgehobener Bereich. In diesen Szenarien geben wir eine Seitennummer als Fallback an.

  

Hinweis:

Vorhersagen und Referenzen sind unabhängig. Das bedeutet, dass sich fehlende oder falsche Verweise nicht auf die vorhergesagten Werte auswirken.

Validieren von Extraktionen

Extraktionen werden bei der Vorhersage wie folgt hervorgehoben:

• Unterstrichen – Vorhergesagte Werte.

  

• Gefüllt – Bestätigte Werte.

  

• Gestrichelter Rahmen – Nicht bestätigte Werte.

  

Führen Sie folgende Schritte aus, um Extraktionen zu validieren:

1. Gehen Sie zur Registerkarte Erstellen und wählen Sie Vorhersagen validieren oder ein beliebiges hochgeladenes Dokument, um mit dem Validierungsprozess zu beginnen. Das Modell hebt den relevanten Textbereich im Dokument hervor und zeigt die generierten Vorhersagen im Seitenbereich an. Werte, die für mehrere Extraktionen gelten, wie z. B. die Kontonummer, haben Pfeiltasten, über die Sie zu den relevanten Abschnitten gehen können. Die Taste erscheinen, wenn Sie mit dem Mauszeiger darüberfahren.

Auf folgender Abbildung sehen Sie, wie Extraktionen in ihrem vorhergesagten Zustand aussehen. Vorhergesagte Werte sind immer unterstrichen.

2. Überprüfen Sie die Vorhersagen und bestätigen Sie die Extraktionen entweder einzeln oder massenweise, indem Sie die gesamte Feldgruppe bestätigen. Es wird nicht empfohlen, die Schaltfläche Alle bestätigen und weiter auszuwählen, ohne jede Extraktion sorgfältig zu überprüfen. Folgende Abbildung zeigt:

• In der ersten Tabellenzeile sehen Sie, wie Extraktionen in ihrem unbestätigten Status aussehen, d. h. Werte, die einmal bestätigt wurden, aber jetzt unbestätigt sind. Unbestätigte Werte haben einen gestrichelten Rahmen.
• In der zweiten und dritten Tabellenzeile sehen Sie, wie Extraktionen im bestätigten Status aussehen, d. h. die Werte, die Sie bestätigt oder korrigiert haben. Bestätigte Werte sind immer gefüllt.

Hinweis:

Alle Änderungen, die Sie vornehmen, aber nicht einreichen, werden als Entwurf gespeichert, zu dem Sie später zurückkehren und ihn aktualisieren können. Weitere Informationen finden Sie unter Entwurf von Anmerkungen.

3. Sie können zusätzliche Felder in Ihrem Extraktionsschema jederzeit über Taxonomie verwalten oder die Registerkarte Erstellen konfigurieren.

Beispiel für die Validierung von Extraktionen aus dem Action Center

Extraktionsvalidierung anhalten

Es wird empfohlen, mindestens 10 Beispiele für jedes Feld zu validieren, damit das Modell aussagekräftige Validierungsstatistiken liefern kann.

Bestätigte und unbestätigte Verweise und Extraktionen

Der Validierungsprozess beinhaltet Folgendes:

• Bestätigung der Extraktionen, wenn sie korrekt sind.
• Korrektur der Extraktionen, wenn sie falsch sind.
• Markieren von Feldern als fehlend, wenn sie im Dokument nicht vorhanden sind.
• Konfigurieren Sie alle zusätzlichen Felder in Ihrem Extraktionsschema.

In diesem Abschnitt wird gezeigt, wie Extraktionen und Verweise im bestätigten (validiert) und unbestätigten (nicht validiert) Status aussehen.

Hinweis:

Alle Änderungen, die Sie vornehmen, aber nicht einreichen, werden als Entwurf gespeichert, zu dem Sie später zurückkehren und ihn aktualisieren können. Weitere Informationen finden Sie unter Entwurf von Anmerkungen.

Vorhergesagte Werte

Unbestätigte Werte

Verweise im Dokument werden mit einem gestrichelten Rahmen hervorgehoben:

Abbildung 1. Unbestätigter Verweis

Es sind keine Extraktionen als bestätigt markiert:

Abbildung 2. Unbestätigte Extraktionen.

Bestätigt

Verweise werden mit einem durchgehenden Rahmen hervorgehoben:

Abbildung 3. Bestätigter Verweis

Extraktionen werden als bestätigt markiert:

Abbildung 4. Bestätigte Extraktionen

Validierte Extraktionen

Dieser Abschnitt enthält Beispielszenarien, in denen die Vorhersagen des Modells mit den Anmerkungen des Benutzers übereinstimmen oder nicht übereinstimmen.

Wenn die Anmerkung mit der Vorhersage übereinstimmt, sieht die Extraktion wie folgt aus:

Abbildung 5. Korrekte Vorhersage

Wenn die Anmerkung nicht der Vorhersage entspricht, sieht die Extraktion wie folgt aus:

Abbildung 6. Falsche Vorhersage

Wenn eine Anmerkung, aber keine Vorhersage vorhanden ist, sehen die Extraktionen wie folgt aus:

Abbildung 7. Fehlende Vorhersage

Hinweis:

Vorhersagen werden mit Anmerkungen verglichen, nicht mit den Referenzen. Verweise können fehlen oder falsch sein, aber dies wird nicht als Abweichung gekennzeichnet.

Korrigieren von Extraktionen

Um eine Extraktion zu korrigieren, gehen Sie wie folgt vor:

1. Ziehen Sie den Mauszeiger über die Extraktion und wählen Sie das Bleistiftsymbol, um den vorhergesagten Wert zu bearbeiten.

2. Geben Sie den korrekten Wert ein.

3. Wählen Sie das Symbol +, um den vorhergesagten Wert oder den Verweis zu aktualisieren.

4. Markieren Sie den korrekten Wert im Dokument.

   Hinweis:

   Alle Änderungen, die Sie vornehmen, aber nicht einreichen, werden als Entwurf gespeichert, zu dem Sie später zurückkehren und ihn aktualisieren können. Weitere Informationen finden Sie unter Entwurf von Anmerkungen.

   

Bearbeiten von Extraktionen

Bearbeiten Sie auf der Seite Vorhersagen validieren auf der Registerkarte Erstellen die Extraktionen wie folgt:

1. Wählen Sie das Plussymbol, um eine fehlende Extraktion hinzuzufügen.

2. Wählen Sie das Tabellensymbol aus, um die Tabellenansicht zu öffnen.

3. Bestätigen Sie die Extraktionen entweder im Seitenbereich oder in der Tabellenansicht.

4. Ziehen Sie den Mauszeiger über die Extraktion und korrigieren Sie mithilfe der Bleistift- und Plussymbole die Extraktionen einzeln:

   • Mit dem Bleistiftsymbol können Sie den vorhergesagten Wert bearbeiten und den korrekten Wert eingeben.
   • Mit dem Plussymbol können Sie den vorhergesehenen Wert oder den Verweis aktualisieren und den korrekten Wert im Dokument hervorheben.

5. Wählen Sie Feldgruppe hinzufügen, um eine fehlende Feldgruppe hinzuzufügen.

   Hinweis:

   Alle Änderungen, die Sie vornehmen, aber nicht einreichen, werden als Entwurf gespeichert, zu dem Sie später zurückkehren und ihn aktualisieren können. Weitere Informationen finden Sie unter Entwurf von Anmerkungen.

   

   

Entwurfsanmerkungen

Alle Änderungen, die Sie an Werten und Verweisen in einem Dokument vornehmen, werden als Entwurfsanmerkungen gespeichert, bis Sie sie als Anmerkungen an das Modell senden. Infolgedessen werden die Dokumentstatus als In Bearbeitung angezeigt.

Alle zuvor genannten Aktionen, wie z. B. die Validierung, Korrektur und Bearbeitung von Extraktionen und das anschließende Senden der Anmerkungen, werden im Entwurf beibehalten, wenn Sie Änderungen vornehmen.

Wenn Sie neue Vorhersagen anfordern, während sich ein Dokument im Entwurfsstatus befindet, behält das System die Entwurfsanmerkungen bei, während es neue Vorhersagen übernimmt und die neuen Vorhersagen aus dem Modell mit den Entwurfsanmerkungen abgleicht.