- Erste Schritte
- Ausgewogenheit
- Cluster
- Konzeptabweichung
- Abdeckung
- Datasets
- Allgemeine Felder (früher Entitäten)
- Bezeichnungen (Vorhersagen, Konfidenzniveaus, Hierarchie usw.)
- Modelle
- Streams
- Modellbewertung
- Projekte
- Präzision
- Rückruf
- Überprüfte und nicht überprüfte Nachrichten
- Quellen
- Taxonomien
- Training
- „True“ und „false“ positive und negative Vorhersagen
- Validierung
- Messages
- Verwaltung
- Verwalten Sie Quellen und Datasets
- Verstehen der Datenstruktur und -berechtigungen
- Erstellen Sie eine Datenquelle in der GUI
- Hochladen einer CSV-Datei in eine Quelle
- Ein neues Dataset erstellen
- Mehrsprachige Quellen und Datasets
- Aktivieren der Stimmung für ein Dataset
- Ändern Sie die Einstellungen eines Datasets
- Löschen Sie Nachrichten über die Benutzeroberfläche
- Löschen Sie ein Dataset
- Löschen Sie eine Quelle
- Exportieren Sie ein Dataset
- Verwenden von Exchange-Integrationen
- Vorbereiten von Daten für den CSV-Upload
- Modelltraining und -wartung
- Verstehen von Beschriftungen, allgemeinen Feldern und Metadaten
- Bezeichnungshierarchie und bewährte Methode
- Definieren Ihrer Taxonomieziele
- Analyse- vs. Automatisierungsanwendungsfälle
- Konvertieren Ihrer Ziele in Bezeichnungen
- Erstellen Ihrer Taxonomiestruktur
- Best Practices für den Taxonomieentwurf
- Ihre Taxonomie wird importiert
- Übersicht über den Modelltrainingsprozess
- Generative Anmerkung (NEU)
- Der Status des Datasets
- Best Practice für Modelltraining und Anmerkungen
- Training mit aktivierter Beschriftungs-Stimmungsanalyse
- Trainieren
- Einführung in Verfeinerung
- Erläuterungen zu Präzision und Rückruf
- Präzision und Rückruf
- Wie funktioniert die Validierung?
- Verstehen und Verbessern der Modellleistung
- Warum kann eine Bezeichnung eine geringe durchschnittliche Genauigkeit haben?
- Training mit Beschriftung „Überprüfen“ und Beschriftung „Verpasst“.
- Training mit der Bezeichnung „Teach“ (Verfeinern)
- Training mit der Suche (verfeinern)
- Verstehen und Erhöhen der Abdeckung
- Verbesserung des Abgleichs und Verwendung des Abgleichs
- Wann das Training Ihres Modells beendet werden soll
- Verwenden von allgemeinen Feldern
- Generative Extraktion
- Überblick
- Filtern des Extraktionsfeldtyps
- Generieren Ihrer Extraktionen
- Validieren und kommentieren Sie generierte Extraktionen
- Bewährte Methoden und Überlegungen
- Grundlegendes zur Validierung von Extraktionen und Extraktionsleistung
- Häufig gestellte Fragen
- Verwenden von Analyse und Überwachung
- Automatisierungs- und Communications Mining
- Lizenzierungsinformationen
- Häufige Fragen und mehr
Grundlegendes zur Validierung von Extraktionen und Extraktionsleistung
Die Seite Validierung zeigt eine Übersicht über die Extraktionsleistung und hilft Ihnen, die individuelle Leistung jeder Extraktion zu überprüfen.
Sie können über die Registerkarte Extraktionen innerhalb der Validierung auf die Seite Validierung zugreifen und sind nur verfügbar, wenn Sie Extraktionsfelder in Ihrem Dataset definiert haben.
Die Standardseite der Seite „Extraktionsvalidierung“ ist die Übersichtsseite „Alle“, die die folgenden zusammenfassenden Statistiken zur Gesamtleistung der Extraktionen im Dataset enthält:
- Mittlere F1-Punktzahl der Extraktionen
- Mittlere Extraktionsgenauigkeit
- Mittlere Extraktionserinnerung
Klicken Sie auf einzelne Beschriftungen, um die Leistung einzelner Extraktionen anzuzeigen, d. h. die Beschriftung und die zugehörigen Extraktionsfelder.
Für jede Extraktion können Sie die folgenden Werte sehen:
- F1-Ergebnis
- Präzision
- Rückruf
Für alle Extraktionsfelder für die Beschriftung können Sie die folgenden Werte sehen:
- Durchschnittliche F1-Punktzahl
- Durchschnittliche Genauigkeit
- Durchschnittliche Erinnerung
Für die einzelnen Extraktionsfelder können Sie die folgenden Werte sehen:
- F1-Ergebnis
- Präzision
- Rückruf
Die Funktionsweise der Konfidenzniveaus hängt vom zugrunde liegenden LLM-Modell ab, das Sie verwenden.
Das Vorschau-LLM hat keine Konfidenzniveaus für seine Vorhersagen. Das Vorschau-LLM gibt zurück, ob eine Beschriftung oder ein Feld eine Vorhersage ist (Ja = 1) oder nicht (Nein = 0).
Infolgedessen gibt es kein Konzept für unterschiedliche Konfidenzschwellenwerte.
Wenn Sie das CommPath LLM verwenden, verwendet das Modell seine Validierungsfunktionen , um vorherzusagen, welche Bezeichnungen auf eine Kommunikation angewendet werden sollen. Das Modell weist jeder Vorhersage einen Konfidenzwert (%) zu. Dies zeigt Ihnen, wie sicher das Modell ist, das die Beschriftung anwendet.
In diesem Abschnitt werden die Ausgaben der Aktivität Streamergebnisse abrufen beschrieben. Weitere Informationen finden Sie auf der Seite Communications Mining Verteiler-Framework .
Für die Automatisierung mit generativer Extraktion ist es wichtig, den Inhalt der Ausgaben Ihrer Extraktionen zu verstehen.
Vorkommenskonfidenz: Bezieht sich darauf, wie sicher das Modell mit der Anzahl der Instanzen ist, die eine Anforderung für eine Nachricht auftreten kann (d. h. wie oft eine Extraktion auftreten kann).
Als Beispiel: Um einen Kontoauszug in ein nachgelagertes System zu verarbeiten, benötigen Sie immer eine Konto-ID, eine Auftragsnummer, den Zahlungsbetrag und das Fälligkeitsdatum.
Sehen Sie sich unten das Beispiel für die Vorkommenskonfidenz an . Es zeigt, wie das Modell zuversichtlich erkennen kann, dass es 2 potenzielle Vorkommen gibt, bei denen Sie diesen nachgelagerten Prozess vereinfachen müssen.
Die Extraktionskonfidenz ist die Konfidenz des Modells für seine Vorhersagen. Dazu gehört auch, wie genau die Instanz einer Beschriftung und die zugehörigen Felder vorhergesagt wurden. Dazu gehört auch die Zuverlässigkeit des Modells für die korrekte Vorhersage, ob ein Feld fehlt.
Betrachten wir das gleiche Beispiel wie zuvor. Um einen Kontoauszug in ein nachgelagertes System zu verarbeiten, benötigen Sie immer eine Konto-ID, eine Auftragsnummer, den Zahlungsbetrag und das Fälligkeitsdatum.
Diesmal ist jedoch nicht die Bestellnummer in der Nachricht vorhanden, noch das Fälligkeitsdatum (nur das Startdatum).
Die Extraktionskonfidenz aus diesem Beispiel ist die Konfidenz des Modells bei der Erkennung, ob die Werte für jedes Feld, das mit der Beschriftung verknüpft ist, vorhanden sind. Dazu gehört auch die Zuverlässigkeit des Modells für die korrekte Vorhersage, ob ein Feld fehlt.
In diesem Fall haben Sie hier nicht alle benötigten Felder, um alle Pflichtfelder vollständig extrahieren zu können.
Unten sehen Sie eine Beispielausgabe für das, was die Aktivität get stream response zurückgibt.
Stream bezieht sich auf den Schwellenwert, den Sie in Communications Mining festgelegt haben und ob die Nachricht diesen Schwellenwert erreicht.
Anstatt Vorhersagen basierend auf Schwellenwerten herauszufiltern, gibt diese Route zurück, welche Vorhersagekonfidenz die Schwellenwerte erfüllt hat.
Also wenn Ihre Schwellenwerte erreicht wurden, wird der Stream zurückgegeben. Wenn nicht, ist dieser Wert leer.
Außerdem wird sie bei mehreren Extraktionen vor der Extraktion von den Extraktionen abhängig gemacht.
Bei Beschriftungen ohne Extraktionsfelder entspricht die Vorkommenskonfidenz der Bezeichnungskonfidenz, die Sie in der UI sehen können.