Grundlegendes zur Validierung von Extraktionen und Extraktionsleistung

Die Seite Validierung zeigt eine Übersicht über die Extraktionsleistung an und hilft Ihnen, die individuelle Leistung jeder Extraktion zu überprüfen.

Sie können auf die Validierungsdetails auf der Registerkarte Extraktionen unter Validierung zugreifen. Die Registerkarte Extraktionen ist nur verfügbar, wenn Extraktionsfelder in Ihrem Dataset definiert sind​

Übersicht über die Leistung

Die Standardseite der Registerkarte Extraktionen der Validierung ist eine Übersicht mit dem Filter Alle . Diese Seite enthält die folgenden zusammenfassenden Statistiken über die Gesamtleistung der Extraktionen im Dataset:

• Mittlere F1-Punktzahl der Extraktionen
• Mittlere Extraktionsgenauigkeit
• Mittlere Extraktionserinnerung

Hinweis: Eine niedrige F1-Punktzahl für das Extraktionsverfahren ist ein Zeichen für eine schlechte Extraktionsleistung​.

Einzelne Extraktionen

Wählen Sie einzelne Beschriftungen aus, um die Leistung einzelner Extraktionen anzuzeigen, d. h. die Beschriftung und die zugehörigen Extraktionsfelder.

Bei jeder Extraktion können Sie die folgenden Werte feststellen:

• F1-Ergebnis
• Präzision
• Rückruf

Bei allen Extraktionsfeldern für die Beschriftung können Sie die folgenden Werte bemerken:

• Durchschnittliche F1-Punktzahl
• Durchschnittliche Genauigkeit
• Durchschnittliche Erinnerung

Bei den einzelnen Extraktionsfeldern können Sie die folgenden Werte bemerken:

• F1-Ergebnis
• Präzision
• Rückruf

Konfidenzniveaus und LLMs

Die Funktionsweise der Konfidenzniveaus hängt vom zugrunde liegenden LLM-Modell ab, das Sie verwenden.

Wenn Sie das CommPath-LLM verwenden,

Wenn Sie das CommPath-LLM verwenden, weist das Modell für jede Vorhersage einen Satz von Konfidenzbewertungen zu (%).

CommPath berechnet und gibt Folgendes zurück:

• Vorkommenskonfidenz: Die Wahrscheinlichkeit, dass das erkannte Vorkommen der zugewiesenen Beschriftung entspricht.

• Extraktionskonfidenz: Die Konfidenz in die Richtigkeit des extrahierten Inhalts.

Diese Konfidenzwerte ermöglichen es nachgelagerten Automatisierungen, Extraktionen mit Konfidenzniveaus unter einem festgelegten Beschriftungsschwellenwert herauszufiltern. Wenn Sie einen geeigneten Schwellenwert festlegen, können Sie sicherstellen, dass nur Vorhersagen, die ein gewünschtes Konfidenzniveau erfüllen, in Workflows verwendet werden.

Wenn Sie das Vorschau-LLM verwenden

Die Preview LLM für die generative Extraktion bietet für jede Extraktion einen Konfidenzwert für das Vorkommen einer Beschriftung, der sowohl die Vorkommenskonfidenz als auch die Extraktionskonfidenz ersetzt. Dieser Ansatz unterscheidet sich von CommPath, das für jede Extraktion separate Konfidenzwerte zurückgibt.

Hinweis:

Die Rückgabe der Beschriftungskonfidenz hilft bei Bedarf beim Herausfiltern von Extraktionen, sodass Benutzer die Genauigkeit einiger Ergebnisse verbessern können.

Automatisieren mit generativer Extraktion

Hinweis: Wenn Sie zuvor Automatisierungen mit allgemeinen Feldern erstellt haben und planen, Automatisierungen mit generativer Extraktion zu erstellen, unterscheiden sich der API-Endpunkt und die erforderlichen Aktivitäten von denen, die Sie zuvor verwendet haben.​

Dieser Abschnitt beschreibt die Ausgaben der Aktivität Get Stream Results . Weitere Informationen finden Sie unter Communications Mining™ Dispatcher-Framework.auf​

Um mit generativer Extraktion zu automatisieren, müssen Sie zuerst den Inhalt der Ausgaben Ihrer Extraktionen verstehen.​

Die Vorkommenskonfidenz bezieht sich darauf, wie zuversichtlich das Modell in Bezug auf die Anzahl der Instanzen ist, die eine Anforderung für eine Nachricht auftreten kann, d. h., wie oft eine Extraktion vorkommen kann. ​

Um beispielsweise einen Kontoauszug in ein nachgelagertes System zu verarbeiten, benötigen Sie immer eine Konto-ID, eine Auftragsnummer, den Zahlungsbetrag und das Fälligkeitsdatum.

Überprüfen Sie das Beispiel für die Vorkommenskonfidenz in der folgenden Abbildung. Es zeigt, wie das Modell zuversichtlich identifizieren kann, dass es zwei mögliche Vorkommnisse gibt, bei denen Sie diesen nachgelagerten Prozess erleichtern müssen.

Extraktionskonfidenz

Die Extraktionskonfidenz ist die Konfidenz des Modells in Bezug auf seine Vorhersagen. Dazu gehört, wie genau er meint, bei der Vorhersage der Instanz einer Beschriftung und deren zugehörigen Feldern zu sein. Dazu gehört auch die Konfidenz des Modells bei der korrekten Vorhersage, ob ein Feld fehlt.

Betrachten Sie das gleiche Beispiel wie zuvor. Um einen Kontoauszug in ein nachgelagertes System zu verarbeiten, benötigen Sie immer eine Konto-ID, eine Auftragsnummer, den Zahlungsbetrag und das Fälligkeitsdatum.

Diesmal ist jedoch weder die Auftragsnummer noch das Fälligkeitsdatum in der Nachricht vorhanden, sondern nur das Startdatum.

Die Extraktionskonfidenz aus diesem Beispiel ist die Konfidenz des Modells über die Identifizierung, ob die Werte für jedes Feld, das der Beschriftung zugeordnet ist, vorhanden sind. Dazu gehört auch die Konfidenz des Modells bei der korrekten Vorhersage, ob ein Feld fehlt.

In diesem Fall haben Sie nicht alle Felder, die Sie benötigen, um alle erforderlichen Felder vollständig extrahieren zu können.

Beispiel für Nutzdaten

Sehen Sie sich die folgende Beispielausgabe von der Aktivität Get Stream Results an:

Stream bezieht sich auf den Schwellenwert, den Sie in Communications Mining festgelegt haben und ob die Nachricht diesen Schwellenwert erreicht.

Anstatt Vorhersagen basierend auf Schwellenwerten zu filtern, gibt diese Route zurück, welche Vorhersagekonfidenz die Schwellenwerte erreicht hat.

Mit anderen Worten: Wenn Ihre Schwellenwerte erreicht wurden, wird der Stream zurückgegeben. Wenn nicht, ist dieser Wert leer.​

Hinweis:

• Das vorherige Bild enthält ein Beispiel-Snippet, um die verschiedenen Komponenten zu erklären, nicht die vollständige Ausgabe einer Antwort einer generativen Extraktion. ​Außerdem wird sie bei mehreren Extraktionen von den Extraktionen vor ihr bedingt.​ Bei Beschriftungen ohne Extraktionsfelder entspricht die Vorkommenskonfidenz der Beschriftungskonfidenz, die Sie in der Benutzeroberfläche anzeigen können.
• Wenn das Modell nicht alle Felder in einer Nachricht erfolgreich extrahiert hat, weil zu viele Felder vorhanden sind, gibt es eine Extraktion in der Streamantwort zurück, die eine Vorkommenskonfidenz und eine Extraktionskonfidenz mit Werten von null hat​