Communications Mining-Benutzerhandbuch

Letzte Aktualisierung 7. Okt. 2025

Validieren und Kommentieren von generierten Extraktionen

In diesem Abschnitt wird erläutert, wie Sie Feldvorhersagen für Ihre Extraktionen validieren können.

Es gibt folgende Extraktionstypen:

Generierte Extraktionen – Das Modell sagt Extraktionen basierend auf der von Ihnen bereitgestellten Eingabe vorher, d. h. der Beschriftungen und Anmerkungen, wenn Sie Extraktionen vorhersagen auswählen.
Manuell erstellte Extraktionen – Sie können Extraktionsfelder für eine bestimmte Beschriftung erstellen, wenn das Modell dies nicht bereits vorhergesagt hat.

Stellen Sie sicher, dass Sie genügend Beispiele angeben, damit das Modell Validierungsstatistiken zurückgeben kann. Anhand der Validierungsstatistiken können Sie die Leistung Ihrer Extraktionen verstehen. Darüber hinaus können Sie Ihre Extraktionen feinabstimmen.

Durch die Feinabstimmung können Sie die gesammelten Anmerkungen verwenden, um die Leistung des Extraktionsmodells zu verbessern. Sie können damit auch das sofort einsatzbereite Modell verwenden und die Leistung für Ihre Anwendungsfälle verbessern.

Hinweis:

Sie können entscheiden, wann Sie das Training von Beschriftungen beenden möchten
Extraktionen haben je nach Anwendungsfall unterschiedliche Leistungsanforderungen.

Wichtig: Wenn Sie das Preview LLM verwenden, hören Sie als Best Practice auf, weitere Beispiele mit Anmerkungen zu versehen, sobald Sie 25 Beispiele für jedes Feld erreicht haben. Das reicht für das Lernen im Kontext und die Validierung aus und weitere Beispiele verbessern die Leistung nicht.

Überprüfen Sie die Extraktionsergebnisse und können Sie je nach Fall aus den folgenden Aktionen wählen:

Akzeptieren Sie die Extraktionen, wenn sie alle korrekt sind.
Korrigieren Sie die Extraktionen, wenn falsche Vorhersagen vorliegen.
Markieren Sie Extraktionen als fehlend, wenn sie nicht in der Nachricht vorhanden sind.
Konfigurieren Sie alle zusätzlichen Felder, falls welche fehlen, die für die Aktivierung der End-to-End-Automatisierung erforderlich sind.

Wann die Anmerkungen beendet werden sollen

Beenden Sie, sobald Sie mindestens 25 Beispiele für Beschriftungen für das Modell zur Verwendung in seinem Validierungsprozess angeben. Überprüfen Sie die Validierung und stellen Sie fest, ob die Leistung ausreichend ist oder ob weitere Beispiele erforderlich sind.

Validieren von Extraktionen in Explore

Überblick

#	Beschreibung
1	Wenn alle Feldvorhersagen korrekt sind, wählen Sie Alle bestätigen aus, um in einem Massenvorgang zu überprüfen, ob die Anmerkungen korrekt sind.
2	Um neue Extraktionsfelder hinzuzufügen, wählen Sie die Plus-Schaltfläche neben allgemeinen Feldern oder neben einem der Extraktionsfelder aus. Um vorhandene Felder zu bearbeiten, wählen Sie die drei vertikalen Punkte neben Allgemeine Felder oder neben einem der Extraktionsfelder aus.
3	Wenn Sie im Seitenbereich das Kontrollkästchen neben den vorhergesagten Extraktionen aktivieren, bestätigen Sie, dass eine Feldanmerkung auf Extraktionsebene korrekt ist.
4	Unter jedem Feld finden Sie den Datenpunkt, der vom Modell vorhergesagt wurde. Wenn die Vorhersage falsch ist, wählen Sie die Schaltfläche x aus, um das Feld mit der richtigen Vorhersage anzupassen.
5	Die vorhergesagten Datenpunkte werden in der ursprünglichen Nachricht markiert. A Das Symbol gibt an, wenn ein allgemeines Feld in einer Nachricht vorhanden ist. Ein Das Symbol gibt an, wenn ein Extraktionsfeld in einer Nachricht vorhanden ist.
6	Um Felder hinzuzufügen oder zu ändern, zeigen Sie mit dem Mauszeiger auf die Schaltfläche + auf dem jeweiligen allgemeinen Feld- oder Extraktionsfeldabschnitt.
7	Um die Felder zu erweitern, die für allgemeine Felder oder bestimmte Extraktionsfelder angezeigt werden, wählen Sie die Dropdown-Schaltfläche aus.

Validieren von Extraktionen

Führen Sie die folgenden Schritte aus, um Ihre Extraktionen zu validieren:

Wählen Sie Erkunden neben einem Dataset aus, um auf das jeweilige Dataset zuzugreifen.
Wählen Sie auf der Registerkarte Erkunden die Option Felder mit Anmerkungen versehen aus.
Wählen Sie im Seitenbereich die Schaltfläche Extraktionen vorhersagen aus.
Im gleichen Seitenbereich werden übereinstimmende Indikatoren, die durch einen roten oder grünen Kreis gekennzeichnet sind, neben den Modellvorhersagen angezeigt.
Hinweis: Übereinstimmungsindikatoren zeigen, ob Modellvorhersagen mit den Anmerkungen übereinstimmen, die Sie für die Extraktionsfelder vorgenommen haben. Die Indikatoren werden in der Benutzeroberfläche durch einen roten oder grünen Kreis auf Extraktionsfeld- und Extraktionsebene gekennzeichnet. Falls die Werte nicht übereinstimmen, stimmen die Werte entweder nicht überein oder fehlen. Sie können die neuesten Modellvorhersagen erneut ausführen, um zu bestätigen, dass sie mit den angegebenen Anmerkungen übereinstimmen.
Die Status, die von den übereinstimmenden Indikatoren zurückgegeben werden können, sind:
- Grün – Vorhersagen stimmen mit den Anmerkungen überein. Ist auf Extraktionsebene nur sichtbar, wenn alle Extraktionsfelder über grüne Markierungen verfügen.
- Rot – Entweder stimmen die Vorhersagen nicht mit den Anmerkungen überein, oder bei einer Vorhersage fehlt eine Anmerkung. Ist auf Extraktionsebene sichtbar, wenn eines der Felder in der Extraktion einen roten Indikator hat.

Unbestätigte Statusextraktion

Die folgende Abbildung zeigt, wie eine Extraktion im unbestätigten Status aussieht. Im rechten Bereich wird die Extraktion als nicht bestätigt markiert und die Hervorhebung des Texts selbst hat eine hellere Farbe.

Hinweis: Das gleiche Konzept gilt auch für allgemeine Felder .

Bestätigte Statusextraktion

Die folgende Abbildung zeigt, wie Felder im bestätigten Status aussehen. Im rechten Bereich wird die Extraktion als Bestätigt markiert und die Hervorhebung des Texts selbst hat eine dunklere Farbe.

Hinweis: Das gleiche Konzept gilt auch für allgemeine Felder.

Validierung von Extraktionen im Training

Hinweis: Extractions unter der Registerkarte Trainieren befindet sich in der öffentlichen Vorschau.

Extraktionen validieren Sie auf der Registerkarte Trainieren auf ähnliche Weise wie auf der Registerkarte Erkunden .

Führen Sie die folgenden Schritte aus, um Ihre Extraktionen zu validieren:

Wählen Sie Trainieren neben einem Dataset aus, um auf dieses bestimmte Dataset zuzugreifen.
Wählen Sie auf der Registerkarte Trainieren die Option Extractions aus.
Wählen Sie die Beschriftungsextraktion aus, die Sie validieren möchten.
Bestätigen Sie, ob die angezeigte Nachricht ein anwendbares Beispiel für die Beschriftung ist.
Nachdem Sie alle anwendbaren Beschriftungen angewendet haben, wählen Sie Weiter: Felder mit Anmerkungen versehen aus.
Auf der folgenden Seite werden neben den Modellvorhersagen übereinstimmende Indikatoren angezeigt, die durch einen roten oder grünen Kreis gekennzeichnet sind.
Hinweis: Übereinstimmungsindikatoren zeigen, ob Modellvorhersagen mit den Anmerkungen übereinstimmen, die Sie für die Extraktionsfelder vorgenommen haben. Die Indikatoren werden in der Benutzeroberfläche durch einen roten oder grünen Kreis auf Extraktionsfeld- und Extraktionsebene gekennzeichnet. Falls die Werte nicht übereinstimmen, werden Sie feststellen, dass die Werte entweder nicht übereinstimmen oder fehlen. Sie können die neuesten Modellvorhersagen erneut ausführen, um zu bestätigen, dass sie mit den angegebenen Anmerkungen übereinstimmen.
Die Status, die von den übereinstimmenden Indikatoren zurückgegeben werden können, sind:
- Grün – Vorhersagen stimmen mit den Anmerkungen überein. Ist auf Extraktionsebene nur sichtbar, wenn alle Extraktionsfelder über grüne Markierungen verfügen.
- Rot – Entweder stimmen die Vorhersagen nicht mit den Anmerkungen überein, oder bei einer Vorhersage fehlt eine Anmerkung. Ist auf Extraktionsebene sichtbar, wenn eines der Felder in der Extraktion einen roten Indikator hat.
Wählen Sie Alle bestätigen und weiter aus , um die nächste Nachricht anzuzeigen, die automatisch mit Anmerkungen versehen werden soll.