Generativer Extraktor – Bewährte Methoden

Hinweis: Für eine verbesserte Stabilität sollten Sie die Anzahl der Eingabeaufforderungen auf höchstens 30 pro Aufruf begrenzen.

Präzise Sprache verwenden

Stellen Sie sich vor, Sie stellen vier oder fünf verschiedenen Personen die Frage, die Sie die generative Aufforderung stellen möchten. Wenn Sie sich vorstellen können, dass diese Personen leicht unterschiedliche Antworten geben, dann ist Ihre Sprache zu doppeldeutig und Sie müssen sie genauer formulieren.

Ausgabeformat angeben

Ihre Frage zu präzisieren, bitten Sie den Extraktor, die Antwort in einem standardisierten Format zurückzugeben. Dies reduziert Mehrdeutigkeiten, erhöht die Antwortgenauigkeit und vereinfacht die Weiterverarbeitung.

Wenn Sie beispielsweise die generative Eingabeaufforderung fragen, um ein Datum zu erhalten, geben Sie an, wie das Datum zurückgegeben werden soll: return date in yyyy-mm-dd format. Wenn Sie nur das Jahr benötigen, geben Sie Folgendes an: return the year, as a four digit number.

Sie können diesen Ansatz auch für Zahlen verwenden. Sie können z. B. Folgendes angeben: return numbers which appear in parentheses as negative oder return number in ##,###.## format, um das Dezimaltrennzeichen und das Tausendertrennzeichen für eine einfachere Weiterverarbeitung zu standardisieren.

Erwartete Optionen angeben

Ein Sonderfall der Formatierung ist, wenn die Antwort zu einer bekannten Reihe möglicher Antworten gehört.

In einem Antragsformular könnten Sie zum Beispiel fragen: What is the applicant’s marital status? Possible answers: Married, Unmarried, Separated, Divorced, Widowed, Other.

Dies vereinfacht nicht nur die Weiterverarbeitung, sondern erhöht auch die Antwortgenauigkeit.

Schritt für Schritt

Teilen Sie komplexe Fragen in einfache Schritte auf, um die Genauigkeit zu maximieren. Anstatt zu fragen What is the termination date of this contract?, sollten Sie fragen: First find termination section of contract, then determine termination date, then return date in yyyy-mm-dd format.

Es gibt viele Möglichkeiten, dies aufzuschlüsseln. Sie können Ihre Anfrage sogar als kleines Computerprogramm schreiben:

Execute the following program:

1: Find termination section or clause

2: Find termination date

3: Return termination date in yyyy-mm-dd format

4: Stop

Wenn Sie Ihre Wünsche in einem Programmierstil definieren, möglicherweise sogar unter Verwendung der JSON- oder XML-Syntax, ist das generative Modell gezwungen, seine Programmierkenntnisse einzusetzen, was die Präzision beim Befolgen von Anweisungen erhöht.

Vermeiden Sie arithmetische oder logische Probleme

Bitten Sie den Extraktor nicht, Summen, Multiplikationen, Subtraktionen, Vergleiche oder andere arithmetische Operationen durchzuführen, da er grundlegende Fehler macht und außerdem sehr langsam und kostspielig ist – im Gegensatz zu einem einfachen Roboter-Workflow, der nie einen Fehler macht und viel schneller und billiger ist.

Lassen Sie ihn keine komplexe if-then-else-Logik ausführen – aus demselben Grund wie oben. Der Roboter-Workflow ist bei dieser Art von Vorgängen viel genauer und effizienter.

Tabellen

Das Extrahieren von Daten aus Tabellen ist eine Herausforderung für den generativen Extraktor, da die generative KI-Technologie mit linearen Textzeichenfolgen arbeitet und visuelle zweidimensionale Informationen in Bildern nicht versteht. Sie können jedoch weiterhin Daten aus Tabellen extrahieren und dabei aus mindestens zwei verschiedenen Ansätzen wählen.

• Eine Möglichkeit besteht darin, den generativen Extraktor zu bitten, die Spalten separat zurückzugeben, und dann die Zeilen selbst in einem Workflow zusammenzustellen. In diesem Fall könnten Sie fragen: Please return the Unit Prices on this invoice, as a list from top to bottom, as a list in the format [<UnitPrice1>, <UnitPrice2>,…].
• Ein anderer Ansatz ist die Rückgabe jeder Zeile separat als JSON-Objekt. In diesem Fall könnten Sie fragen: Please return the line items of this invoice as an JSON array of JSON objects, each object in format: {"description”: <description>, “quantity”:<quantity>, “unit_price”:<unit price>, “amount”:<amount>}.

Konfidenzniveau

Generative KI-Modelle bieten keine Konfidenzniveaus für die Vorhersagen. Das Ziel ist jedoch, Fehler zu erkennen, und Konfidenzniveaus sind nur eine mögliche Möglichkeit, dieses Ziel zu erreichen – und nicht die beste. Eine viel bessere und zuverlässigere Möglichkeit, Fehler zu erkennen, besteht darin, dieselbe Frage auf mehrere Arten zu stellen. Je unterschiedlicher die Fragestellung, desto besser. Wenn alle Antworten zu einem gemeinsamen Ergebnis führen, ist die Wahrscheinlichkeit eines Fehlers sehr niedrig. Stimmen die Antworten nicht überein, ist die Fehlerwahrscheinlichkeit hoch.

Für beste Ergebnisse empfehlen wir, dieselbe Frage fünfmal zu stellen und die oben genannten Empfehlungen auf unterschiedliche Weise zu kombinieren. Wenn alle fünf Antworten identisch sind, ist eine menschliche Überprüfung möglicherweise nicht erforderlich. Wenn eine Antwort unterschiedlich ist, besteht möglicherweise immer noch eine hohe Wahrscheinlichkeit, dass die anderen vier Antworten richtig sind. Wenn jedoch zwei oder mehr Antworten unterschiedlich sind, ist eine menschliche manuelle Überprüfung im Action Center erforderlich.