- Erste Schritte
- Ausgewogenheit
- Cluster
- Konzeptabweichung
- Abdeckung
- Datasets
- Allgemeine Felder (früher Entitäten)
- Bezeichnungen (Vorhersagen, Konfidenzniveaus, Hierarchie usw.)
- Modelle
- Streams
- Modellbewertung
- Projekte
- Präzision
- Rückruf
- Überprüfte und nicht überprüfte Nachrichten
- Quellen
- Taxonomien
- Training
- „True“ und „false“ positive und negative Vorhersagen
- Validierung
- Messages
- Verwaltung
- Verwalten Sie Quellen und Datasets
- Verstehen der Datenstruktur und -berechtigungen
- Create or delete a data source in the GUI
- Hochladen einer CSV-Datei in eine Quelle
- Vorbereiten von Daten für den CSV-Upload
- Ein neues Dataset erstellen
- Mehrsprachige Quellen und Datasets
- Aktivieren der Stimmung für ein Dataset
- Ändern Sie die Einstellungen eines Datasets
- Löschen Sie Nachrichten über die Benutzeroberfläche
- Löschen Sie ein Dataset
- Exportieren Sie ein Dataset
- Verwenden von Exchange-Integrationen
- Modelltraining und -wartung
- Verstehen von Beschriftungen, allgemeinen Feldern und Metadaten
- Bezeichnungshierarchie und bewährte Methode
- Definieren Ihrer Taxonomieziele
- Analyse- vs. Automatisierungsanwendungsfälle
- Konvertieren Ihrer Ziele in Bezeichnungen
- Erstellen Ihrer Taxonomiestruktur
- Best Practices für den Taxonomieentwurf
- Ihre Taxonomie wird importiert
- Übersicht über den Modelltrainingsprozess
- Generative Anmerkung (NEU)
- Der Status des Datasets
- Best Practice für Modelltraining und Anmerkungen
- Training mit aktivierter Beschriftungs-Stimmungsanalyse
- Grundlegendes zu Datenanforderungen
- Trainieren
- Einführung in Verfeinerung
- Erläuterungen zu Präzision und Rückruf
- Präzision und Rückruf
- Wie funktioniert die Validierung?
- Verstehen und Verbessern der Modellleistung
- Warum kann eine Bezeichnung eine geringe durchschnittliche Genauigkeit haben?
- Training mit Beschriftung „Überprüfen“ und Beschriftung „Verpasst“.
- Training mit der Bezeichnung „Teach“ (Verfeinern)
- Training mit der Suche (verfeinern)
- Verstehen und Erhöhen der Abdeckung
- Verbesserung des Abgleichs und Verwendung des Abgleichs
- Wann das Training Ihres Modells beendet werden soll
- Verwenden von allgemeinen Feldern
- Generative Extraktion
- Verwenden von Analyse und Überwachung
- Automatisierungs- und Communications Mining
- Lizenzierungsinformationen
- Häufige Fragen und mehr
Communications Mining-Benutzerhandbuch
Präzision
Die Genauigkeit misst den Anteil der Vorhersagen des Modells, die tatsächlich richtig waren. Das heißt, welcher Anteil aller positiven Vorhersagen, die das Modell gemacht hat, waren wirklich positiv.
Genauigkeit = True Positives /(True Positives + False Positives)
Beispiel: Für alle 100 Nachrichten in einem Dataset, für die die Beschriftung „Informationsanforderung“ vorhergesagt wird, ist die Genauigkeit der Prozentsatz, wie oft die „Informationsanforderung“ korrekt vorhergesagt wurde.
Eine Genauigkeit von 95 % würde bedeuten, dass von 100 Nachrichten, für die eine bestimmte Beschriftung vorhergesagt wird, 95 korrekt und 5 false annotiert würden (d. h. sie hätten nicht mit dieser Beschriftung annotiert werden dürfen).
Eine detailliertere Erklärung der Funktionsweise von Präzision finden Sie hier.
Durchschnittliche Genauigkeit (AP)
Die durchschnittliche Präzisionspunktzahl (AP) für eine einzelne Bezeichnung wird als Durchschnitt aller Präzisionsbewertungen bei jedem Rückrufwert (zwischen 0 und 100 %) für diese Bezeichnung berechnet.
Im Wesentlichen misst die durchschnittliche Genauigkeit, wie gut das Modell über alle Konfidenzschwellenwerte für diese Bezeichnung hinweg funktioniert.
Mittlere durchschnittliche Präzision (MAP)
Die mittlere Durchschnittspräzision (MAP) ist eines der nützlichsten Maß für die Gesamtleistung des Modells und eine einfache Möglichkeit, verschiedene Modellversionen miteinander zu vergleichen.
Die MAP- Punktzahl ist der Mittelwert der durchschnittlichen Präzisionspunktzahl für jede Bezeichnung in Ihrer Taxonomie , die mindestens 20 Beispiele im Trainingssatz enthält,der in der Validierung verwendet wird.
In der Regel ist die Gesamtleistung des Modells umso besser, je höher die MAP-Punktzahl ist. Dies ist jedoch nicht der einzige Faktor, der berücksichtigt werden sollte, wenn ein Modell in Ordnung ist. Sie sollten auch wissen, dass Ihr Modell unvoreingenommen ist und eine hohe Abdeckung bietet.
Mittlere Genauigkeit bei Erinnerung
