Grundlegendes zur Validierung von Extraktionen und Extraktionsleistung

Hinweis: Die Seite Extraktionsvalidierung befindet sich in der öffentlichen Vorschau.

Die Seite Validierung zeigt eine Übersicht über die Extraktionsleistung und hilft Ihnen, die individuelle Leistung jeder Extraktion zu überprüfen.

Sie können über die Registerkarte Extraktionen innerhalb der Validierung auf die Seite Validierung zugreifen und sind nur verfügbar, wenn Sie Extraktionsfelder in Ihrem Dataset definiert haben.​

Übersicht über die Leistung

Die Standardseite der Seite „Extraktionsvalidierung“ ist die Übersichtsseite „Alle“, die die folgenden zusammenfassenden Statistiken zur Gesamtleistung der Extraktionen im Dataset enthält:

• Mittlere F1-Punktzahl der Extraktionen
• Mittlere Extraktionsgenauigkeit
• Mittlere Extraktionserinnerung

Abbildung 1. Seite Extraktionsvalidierung

Hinweis: Eine niedrige F1-Punktzahl für das Extraktionsverfahren ist ein Zeichen für eine schlechte Extraktionsleistung​.

Einzelne Extraktionen

Klicken Sie auf einzelne Beschriftungen, um die Leistung einzelner Extraktionen anzuzeigen, d. h. die Beschriftung und die zugehörigen Extraktionsfelder.

Für jede Extraktion können Sie die folgenden Werte sehen:

• F1-Ergebnis
• Präzision
• Rückruf

Für alle Extraktionsfelder für die Beschriftung können Sie die folgenden Werte sehen:

• Durchschnittliche F1-Punktzahl
• Durchschnittliche Genauigkeit
• Durchschnittliche Erinnerung

Für die einzelnen Extraktionsfelder können Sie die folgenden Werte sehen:

• F1-Ergebnis
• Präzision
• Rückruf

Abbildung 2. Einzelne Extraktionsvalidierung

Konfidenzniveaus und LLMs

Die Funktionsweise der Konfidenzniveaus hängt vom zugrunde liegenden LLM-Modell ab, das Sie verwenden.

Wenn Sie das CommPath-LLM verwenden,

If you use the CommPath LLM, themodel assigns a set of confidence scores for each prediction (%).

CommPath calculates and returns the following:

• Vorkommenskonfidenz: Die Wahrscheinlichkeit, dass das erkannte Vorkommen der zugewiesenen Beschriftung entspricht.

• Extraktionskonfidenz: Die Konfidenz in die Richtigkeit des extrahierten Inhalts.

These confidence values enable downstream automations to filter out extractions with confidence levels below a set label threshold. If you set an appropriate threshold, you can ensure that only predictions that meet a desired confidence level are used in workflows.

Wenn Sie das Vorschau-LLM verwenden

Die Preview LLM für die generative Extraktion bietet für jede Extraktion einen Konfidenzwert für das Vorkommen einer Beschriftung, der sowohl die Vorkommenskonfidenz als auch die Extraktionskonfidenz ersetzt. Dieser Ansatz unterscheidet sich von CommPath, das für jede Extraktion separate Konfidenzwerte zurückgibt.

Hinweis:

Returning the label confidence helps filtering out extractions downstream if needed, allowing users to improve the precision of some results.

Automatisieren mit generativer Extraktion

Hinweis: Falls Sie zuvor Automatisierungen mit Entitäten erstellt haben: Wenn Sie die Erstellung von Automatisierungen mit Generativer Extraktion planen, unterscheiden sich der API-Endpunkt und die Aktivitäten, die zum Erstellen dieser Entitäten erforderlich sind, von denen, die Sie zuvor verwendet haben.​

In diesem Abschnitt werden die Ausgaben der Aktivität Streamergebnisse abrufen beschrieben. Weitere Informationen finden Sie auf der Seite Communications Mining Verteiler-Framework .​

Für die Automatisierung mit generativer Extraktion ist es wichtig, den Inhalt der Ausgaben Ihrer Extraktionen zu verstehen.​

Vorkommenskonfidenz: Bezieht sich darauf, wie sicher das Modell mit der Anzahl der Instanzen ist, die eine Anforderung für eine Nachricht auftreten kann (d. h. wie oft eine Extraktion auftreten kann). ​

Als Beispiel: Um einen Kontoauszug in ein nachgelagertes System zu verarbeiten, benötigen Sie immer eine Konto-ID, eine Auftragsnummer, den Zahlungsbetrag und das Fälligkeitsdatum.

Sehen Sie sich unten das Beispiel für die Vorkommenskonfidenz an . Es zeigt, wie das Modell zuversichtlich erkennen kann, dass es 2 potenzielle Vorkommen gibt, bei denen Sie diesen nachgelagerten Prozess vereinfachen müssen​.

Extraktionskonfidenz

Die Extraktionskonfidenz ist die Konfidenz des Modells für seine Vorhersagen. Dazu gehört auch, wie genau die Instanz einer Beschriftung und die zugehörigen Felder vorhergesagt wurden. Dazu gehört auch die Zuverlässigkeit des Modells für die korrekte Vorhersage, ob ein Feld fehlt.

Betrachten wir das gleiche Beispiel wie zuvor. Um einen Kontoauszug in ein nachgelagertes System zu verarbeiten, benötigen Sie immer eine Konto-ID, eine Auftragsnummer, den Zahlungsbetrag und das Fälligkeitsdatum.

Diesmal ist jedoch nicht die Bestellnummer in der Nachricht vorhanden, noch das Fälligkeitsdatum (nur das Startdatum).

Die Extraktionskonfidenz aus diesem Beispiel ist die Konfidenz des Modells bei der Erkennung, ob die Werte für jedes Feld, das mit der Beschriftung verknüpft ist, vorhanden sind. Dazu gehört auch die Zuverlässigkeit des Modells für die korrekte Vorhersage, ob ein Feld fehlt.

In diesem Fall haben Sie hier nicht alle benötigten Felder, um alle Pflichtfelder vollständig extrahieren zu können.

Beispiel für Nutzdaten

Unten sehen Sie eine Beispielausgabe für das, was die Aktivität get stream response zurückgibt.

Stream bezieht sich auf den Schwellenwert, den Sie in Communications Mining festgelegt haben und ob die Nachricht diesen Schwellenwert erreicht.

Anstatt Vorhersagen basierend auf Schwellenwerten herauszufiltern, gibt diese Route zurück, welche Vorhersagekonfidenz die Schwellenwerte erfüllt hat.

Also wenn Ihre Schwellenwerte erreicht wurden, wird der Stream zurückgegeben. Wenn nicht, ist dieser Wert leer.​

Hinweis: Dies ist ein Beispiel-Snippet zur Erläuterung der verschiedenen Komponenten, nicht die vollständige Ausgabe einer Antwort auf die generative Extraktion. ​

Außerdem wird sie bei mehreren Extraktionen vor der Extraktion von den Extraktionen abhängig gemacht.​

Bei Beschriftungen ohne Extraktionsfelder entspricht die Vorkommenskonfidenz der Bezeichnungskonfidenz, die Sie in der UI sehen können.​

Hinweis: Wenn das Modell nicht alle Felder in einer Nachricht erfolgreich extrahieren konnte, weil zu viele Felder vorhanden sind, wird eine Extraktion in der Streamantwort zurückgegeben, die eine Vorkommenskonfidenz UND eine Extraktionskonfidenz mit Werten von 0 hat.