Verwenden von allgemeinen Feldern

Eine Anleitung zum Einrichten und Trainieren von allgemeinen Feldern in der Plattform.

Definieren und Einrichten Ihrer Felder

Es ist wichtig, die wichtigsten Datenpunkte zu definieren (d. h Felder), die Sie aus Ihren Communications Mining-Daten extrahieren möchten. Diese erleichtern in der Regel die nachgelagerte Automatisierung, können aber auch für die Analyse nützlich sein – insbesondere bei der Bewertung der potenziellen Erfolgsquote und des Nutzens von Automatisierungsmöglichkeiten.

Die folgenden Definitionen helfen Ihnen, den Unterschied zwischen allgemeinen und Extraktionsfeldern zu verstehen:

• Allgemeine Felder sind Felder, die Sie möglicherweise extrahieren möchten und die in mehreren verschiedenen Themen/Beschriftungen in einem Dataset zu finden sind.
• Extraktionsfelder sind die Felder, die auf einer bestimmten Beschriftung bedingt und erstellt werden. Mit anderen Worten, sie ist an eine bestimmte Beschriftung gebunden, die Sie automatisieren möchten.

Hinweis: Wenn die Generative Extraktion in Ihrer Region verfügbar ist, wird empfohlen, allgemeine Felder als Sicherung für Extraktionsfelder zu verwenden, falls keine sicheren Beschriftungsvorhersagen für eine Nachricht vorhanden sind. Verwenden Sie Extraktionsfelder, die mit bestimmten Beschriftungen verknüpft sind, um die End-to-End-Automatisierung zu erleichtern, und allgemeine Felder für die automatisierte Triage.

Sehen Sie sich die offizielle Dokumentation an, um mehr über die Felder Generative Extraktion und Allgemein vs. Extraktion zu erfahren. Wenn die Generative Extraktion in Ihrer Region nicht verfügbar ist, verwenden Sie weiterhin allgemeine Felder wie gewohnt. Der Rest dieses Abschnitts enthält eine Anleitung zur Verwendung von allgemeinen Feldern.

Letztendlich können Vorhersagen für allgemeine Felder in Kombination mit Beschriftungen die Automatisierung erleichtern, indem sie die strukturierten Datenpunkte bereitstellen, die für die Durchführung einer bestimmten Aufgabe oder eines bestimmten Prozesses erforderlich sind. Es ist viel zeiteffizienter, allgemeine Felder in Ihrem Dataset in Verbindung mit Beschriftungen zu trainieren, als sich auf die einen und dann auf die anderen zu konzentrieren (d. h. allgemeine Felder werden nach dem Training einer vollständigen Taxonomie von Beschriftungen trainiert).

Hinweis: Wenn Sie Adressänderungsanforderungen automatisieren möchten, wird eine Beschriftung verwendet, um den Anforderungstyp zu erfassen, während allgemeine Felder die verschiedenen Komponenten der Adresse erfassen (d. h. Adresszeile, Ort, Postleitzahl usw.). Jede Vorhersage wird über die API zur Verfügung gestellt, sodass auf jede Nachricht reagiert werden kann.

Grundlegendes zu allgemeinen Feldern

Hinweis: Wenn die Generative Extraktion in Ihrer Region verfügbar ist, wird empfohlen, allgemeine Felder als Sicherung für Extraktionsfelder zu verwenden, falls keine sicheren Beschriftungsvorhersagen für eine Nachricht vorhanden sind. Verwenden Sie Extraktionsfelder, die mit bestimmten Beschriftungen verknüpft sind, um die End-to-End-Automatisierung zu erleichtern, und allgemeine Felder für die automatisierte Triage.

Sehen Sie sich die offizielle Dokumentation an, um mehr über die Felder Generative Extraktion und Allgemein vs. Extraktion zu erfahren. Wenn die Generative Extraktion in Ihrer Region nicht verfügbar ist, verwenden Sie weiterhin allgemeine Felder wie gewohnt. Der Rest dieses Abschnitts enthält eine Anleitung zur Verwendung von allgemeinen Feldern.

Was sind allgemeine Felder?

Allgemeine Felder sind zusätzliche Elemente strukturierter Daten, die aus den Nachrichten in Ihrem Dataset extrahiert werden können. Allgemeine Felder enthalten Datenpunkte wie Geldmengen, Datumsangaben, Währungscodes, E-Mail-Adressen, URLs sowie viele andere branchenspezifische Kategorien (ein Beispiel finden Sie unten).

Beispiel für eine E-Mail-Nachricht mit vorhergesagten allgemeinen Feldern wie Adresszeile, Stadtname und Richtliniennummer

Die Plattform kann die meisten allgemeinen Felder (mit Ausnahme der von Grund auf trainierten) vorhersagen, sobald sie aktiviert sind, da sie sie basierend auf ihrem typischen oder in einigen Fällen sehr spezifischen Format und einem Trainingssatz ähnlicher allgemeiner Felder identifizieren kann.

Wie bei Beschriftungen können Benutzer allgemeine Felder akzeptieren oder ablehnen, die korrekt oder falsch vorhergesagt werden, wodurch die Fähigkeit des Modells verbessert wird, sie in Zukunft zu identifizieren.

Typen von allgemeinen Feldern

Derzeit gibt es zwei Haupttypen von allgemeinen Feldern:

• Vortrainierte allgemeine Felder , die in der Regel auf einem Satz von standardmäßigen oder benutzerdefinierten Regeln basieren – z. B Geldmenge, URL und Datum
• Allgemeine Felder, die von einem Benutzer von Grund auf trainiert wurden (wie sie Beschriftungen trainieren würden), die auf Machine Learning basieren

Trainierbare und nicht trainierbare allgemeine Felder

Alle allgemeinen Felder sind entweder von vornherein trainierbar (allgemeine Felder, die von Grund auf trainiert wurden) oder können trainierbar gemacht werden, wenn sie aktiviert sind (alle anderen Arten von allgemeinen Feldern).

Trainierbare allgemeine Felder sind diejenigen, die live in der Plattform basierend auf den von Benutzern durchgeführten Trainings aktualisiert werden. Weitere Informationen zum Training von allgemeinen Feldern finden Sie hier.

Wenn Sie das Training für ein vortrainiertes allgemeines Feld aktivieren, das in der Regel auf einem Satz von standardmäßigen oder benutzerdefinierten Regeln basiert, können Sie das Verständnis der Plattform für dieses allgemeine Feld innerhalb der Parameter dieser Regeln optimieren. Im Wesentlichen werden weitere Trainings zu diesen den Umfang dessen, was die Plattform in diesem allgemeinen Feld berücksichtigen kann, reduzieren, aber nicht vergrößern.

Dies liegt daran, dass viele dieser allgemeinen Felder, wie Datumsangaben (z. B 'Morgen') und Geldmengen (z. B 20 Pfund) in ein strukturiertes Datenformat für nachgelagerte Systeme normalisiert werden müssen. Auch allgemeine Felder wie ISINs oder CUSIPs müssen ein festgelegtes Format haben. Die Plattform sollte also nicht trainiert werden, um etwas vorherzusagen, das nicht ihren definierten Formaten entspricht.

Wenn trainierbare allgemeine Felder zugewiesen werden, betrachtet die Plattform sowohl den Text des allgemeinen Felds als auch den Kontext des allgemeinen Felds innerhalb der restlichen Kommunikation, d. h. was vor und nach dem allgemeinen Feldwert geschieht (im der gleiche Absatz und die oben und unten). Es lernt, das allgemeine Feld basierend auf den Werten selbst besser vorherzusagen sowie darauf, wie der Wert im Kontext der Kommunikation erscheint.

Wenn ein vortrainiertes allgemeines Feld nicht als trainierbar festgelegt ist, können Sie die Vorhersagen für allgemeine Felder, die Sie in Ihrem Dataset sehen, dennoch akzeptieren oder ablehnen. Diese werden offline mithilfe dieses plattforminternen Feedbacks von Benutzern aktualisiert und verfeinert. Es ist hilfreich, diese allgemeinen Felder bei der Überprüfung von Nachrichten zu akzeptieren oder abzulehnen. Weitere Informationen zum Aktivieren von allgemeinen Feldern in einem Dataset finden Sie auf der Seite Aktivieren, Deaktivieren, Aktualisieren und Erstellen von allgemeinen Feldern .

Welche vorgefertigten Vorlagen sind für allgemeine Felder verfügbar?

Hinweis: Sie können alle allgemeinen Felder als trainierbar aktivieren, um das Verständnis der Plattform durch Training zu verfeinern und den Scope dessen zu reduzieren, was die Plattform als ein allgemeines Feld dieser Art betrachtet.

Standardvorlagenfeldtypen für allgemeine Felder

Beim Konfigurieren von Typen für allgemeine Felder können Sie über die Vorlagenoption bei der Auswahl des Datentyps für den Feldtyp aus einer der folgenden vorgefertigten Optionen auswählen.

Typ des allgemeinen Felds	Beschreibung
E-Mail	Eine E-Mail-Adresse.
Währung	Ein Währungscode, z. B JPG, Transaktionen (GBP, Forex) oder USD (USD).
URL	Ein einheitlicher Ressourcen-Locator (d. h Webadresse).
SEDOL	Eine Finanzsicherheitskennung, kurz für Tägliche offizielle Liste der Exchange, die 7 Zeichen lang ist.
BIC-Code	Ein Business Identifier Code (BIC) ist ein globaler Standard unter ISO 9362 für die Weiterleitung von Geschäftstransaktionen und die Identifizierung von Geschäftsparteien. Der BIC-Code ist 8 oder 11 Zeichen lang.
LEI	Ein Rechtlicher allgemeiner Feldbezeichner (Lei) ist ein eindeutiger globaler Bezeichner von rechtlichen allgemeinen Feldern, die an Finanztransaktionen beteiligt sind. Lei ist als 20-stelliger alphanumerischer Code formatiert.
ist in	Eine internationalen Wertschriftenidentifikationsnummer (ISIN) identifiziert ein Finanzsicherheit eindeutig. ISON ist ein 12-stelliger alphanumerischer Code.
Mark-to-Market (MTM oder M2M)	Mark-to-Market bezieht sich auf den beizulegenden Zeitwert eines Anlagewerts oder einer Fälligkeit. Die Marktbewertung basiert auf dem aktuellen Marktpreis, dem Preis ähnlicher Anlagen und Lasten oder einem anderen objektiv ermittelten beizulegenden Zeitwert.
CUSIP	Ein CUSIP ist eine 9-stellige Zahl oder ein 9-stelliger alphanumerischer Code, der eine US-amerikanische Finanzsicherheit identifiziert, um das Clearing und die Abrechnung von Transaktionen zu erleichtern.

Aktivieren, Deaktivieren, Aktualisieren und Erstellen allgemeiner Felder

Benutzerberechtigungen erforderlich: „Quellen anzeigen“ UND „Datasets ändern“ ODER „Datasets-Administrator“.

Hinweis: Sie haben ein Standardkontingent von 25 allgemeinen Feldern pro Dataset. Wenn Sie mehr als 25 allgemeine Felder benötigen, fordern Sie eine Kontingenterhöhung über das Konto-Team an.

Aktivieren allgemeiner Felder in einem neuen Dataset

Um allgemeine Felder in einem neuen Dataset zu aktivieren, das Sie erstellen möchten, müssen Sie sie lediglich während des Einrichtungsvorgangs auswählen.

Klicken Sie auf die Schaltfläche + im unten angezeigten Feld und Ihnen wird ein Dropdownmenü mit allen allgemeinen Feldern angezeigt, die Sie für dieses Dataset aktivieren können. Klicken Sie einfach auf alle allgemeinen Felder, die Sie aktivieren möchten, bevor Sie das Dataset erstellen. Wenn Sie einen Fehler hinzufügen, können Sie auf das Symbol „X“ neben dem allgemeinen Feldnamen klicken, um ihn zu entfernen.

Weitere Informationen zum Erstellen eines neuen Datasets finden Sie hier.

Modales Element „Neues Dataset erstellen“.

Aktivieren, Aktualisieren und Deaktivieren allgemeiner Felder in einem vorhandenen Dataset

Wenn Sie allgemeine Felder für ein vorhandenes Dataset aktivieren, aktualisieren oder deaktivieren möchten, können Sie dies über die Registerkarte „ Einstellungen “ in der oberen Navigationsleiste tun und dann die Registerkarte Beschriftungen und Extraktionsfelder auswählen.

Einstellungen > Registerkarte Beschriftungen und Extraktionsfelder

Aktivieren allgemeiner Felder:

Um vorhandene allgemeine Felder zu aktivieren, klicken Sie in das Feld „Allgemeine Felder“ und wählen Sie die allgemeinen Felder, die Sie aktivieren möchten, aus dem Dropdownmenü aus. Wenn Sie mit Ihrer Auswahl zufrieden sind, wählen Sie Allgemeine Felder aktualisieren aus (wie unten gezeigt).

Die Einstellungen dieser allgemeinen Felder werden für Sie vorab ausgewählt. Sie können sie dann aktualisieren und sie trainierbar machen, wie unten gezeigt.

Registerkarte allgemeine Felder

Aktualisieren allgemeiner Felder:

Um ein aktiviertes allgemeines Feld zu aktualisieren, klicken Sie auf das allgemeine Feld im Feld für das allgemeine Feld, wie in den obigen Bildern gezeigt, und das modale Modal „Allgemeines Feld bearbeiten“ (unten) wird angezeigt.

Hier können Sie das allgemeine Basisfeld, den Titel des allgemeinen Felds und den API-Namen aktualisieren (diese Konzepte werden unten im Detail beschrieben) sowie das allgemeine Feld als „trainierbar“ festlegen.

Wenn Sie zuvor allgemeine Felder für eine allgemeine Feldart überprüft haben, die nicht auf „trainierbar“ festgelegt war, werden diese Informationen dennoch gespeichert.

Modales Feld „Allgemein“ bearbeiten

Deaktivieren allgemeiner Felder:

Um ausgewählte allgemeine Felder zu entfernen, klicken Sie einfach auf das Symbol „X“ neben dem allgemeinen Feldnamen und dann auf Allgemeine Felder aktualisieren.

Hinweis:

Wenn Sie ein allgemeines Feld entfernen und auf Allgemeine Felder aktualisieren klicken, werden auch die Trainingsdaten für dieses allgemeine Feld für dieses Dataset entfernt. Wenn Sie das allgemeine Feld wieder aktivieren möchten, müssen Sie es erneut trainieren.

Wenn Sie beim Aktualisieren der allgemeinen Felder einen Fehler machen , klicken Sie auf „Zurücksetzen“, bevor Sie auf „Allgemeine Felder aktualisieren“ klicken, damit Ihre Änderungen nicht übernommen werden.

Erstellen neuer allgemeiner Felder

In den obigen Abschnitten wurde beschrieben, wie vorhandene vortrainierte allgemeine Felder für neue und vorhandene Datasets aktiviert und aktualisiert werden können. In jeder Instanz können Sie für ein neues oder vorhandenes Dataset auch neue allgemeine Felder erstellen.

Neu erstellte allgemeine Felder können auf einem vorhandenen vortrainierten allgemeinen Feld basieren oder von Grund auf trainiert werden (wie eine neue Bezeichnung).

Dazu können Sie im allgemeinen Feld auf das Symbol „+‟ klicken, entweder im Flow „Dataset erstellen‟ oder auf der Seite „Dataset-Einstellungen‟ (wie oben gezeigt).

Dadurch wird das Modal „Neues allgemeines Feld hinzufügen“ angezeigt, wie unten gezeigt.

Hier können Sie die Feldtypen, den Titel und den API-Namen festlegen und auswählen, ob das allgemeine Feld trainierbar ist oder nicht (diese können später wie oben gezeigt aktualisiert werden).

Wenn Sie eines der Felder ausgefüllt haben (siehe unten), klicken Sie einfach auf „ Erstellen“.

Erstellen Sie ein neues allgemeines Feldmodal

Field types

• Dies dient als Ausgangszustand für Ihr neues allgemeines Feld und die Dropdownliste enthält eine Liste aller vortrainierten allgemeinen Felder, die Ihnen zur Verfügung stehen
  • Wenn Sie z. B. „Datum“ als allgemeines Basisfeld auswählen, sind alle allgemeinen Felder, die für diese Art vorhergesagt werden, Datumsangaben. Sie können dann die Plattform so trainieren, dass nur bestimmte Datumsangaben erkannt werden

• Wenn Sie ein allgemeines Feld vollständig von Grund auf neu trainieren möchten, können Sie „Keine – Von Grund auf trainieren“ auswählen, dann beginnen Sie im Wesentlichen mit einer leeren Arbeitsfläche, wenn Sie das allgemeine Feld trainieren. Die Vorhersagen der Plattform für dieses allgemeine Feld basieren vollständig auf den Trainingsbeispielen, die Sie angeben

Allgemeiner Feldtitel

• Der Titel des allgemeinen Felds ist der Name des allgemeinen Felds, der auf der Benutzeroberfläche der Plattform angezeigt wird

ApiName

• Der API-Name des allgemeinen Felds wird über die API zurückgegeben, wenn es Vorhersagen für Nachrichten bereitstellt
• Der API-Name darf keine Leerzeichen oder Interpunktion enthalten, außer Bindestrich (-) und Unterstrich (_).

Allgemeine Feldfilterung

Benutzerberechtigungen erforderlich: Quellen anzeigen UND allgemeine Felder anzeigen.

So wie Sie bei Bezeichnungen können, können Sie Nachrichten danach filtern, ob allgemeine Felder vorhergesagt oder zugewiesen wurden, sowohl in „Erkunden“ als auch in „Berichten“.

Sie können eine beliebige Kombination aus AND, ANY of und Not anwenden , wenn Sie mehr als einen Filter für allgemeine Felder anwenden. Diese Filter können Ihnen viel mehr Flexibilität beim Training und Interpretieren Ihrer Daten geben und viel tiefere Einblicke in das geben, was in Ihren Kommunikationskanälen geschieht.

Hier sind einige der Dinge, die Sie jetzt tun können, wenn Sie nach allgemeinen Feldvorhersagen filtern:

• Wenden Sie mehrere Filter für allgemeine Felder gleichzeitig an, sowohl in Explore als auch in Berichten
• Nach Nachrichten filtern, die eines der Anzahlen der ausgewählten allgemeinen Felder vorhergesagt haben (d. h. JEDE des allgemeinen Felds X UND des allgemeinen Felds Y UND ...)
• Nach Nachrichten filtern, die mehrere unterschiedliche allgemeine Felder vorhergesagt haben (d. h. allgemeines Feld X UND allgemeines Feld Y UND ...)
• Nach Nachrichten filtern, für die bestimmte allgemeine Felder nicht vorhergesagt wurden (d. h. NICHT das allgemeine Feld Y)
• Suchen Sie nach allgemeinen Feldern, die bestimmte Suchbegriffe enthalten, während Filter für allgemeine Felder angewendet werden

Alle allgemeinen Felder, die Sie in Ihrem Dataset aktiviert haben, werden wie unten in der Filterleiste angezeigt. Ausführliche Informationen zum Zuweisen allgemeiner Felder finden Sie unter Überprüfen und Anwenden von allgemeinen Feldern.

Anwenden von erweiterten Vorhersagefiltern

Es gibt jetzt zwei Möglichkeiten, Filter für allgemeine Felder anzuwenden, und Sie können sie miteinander kombinieren, um den richtigen Abfragetyp zu erstellen.

So sieht die Filterleiste für allgemeine Felder aus:

Der Standardstatus ist oben dargestellt, wobei kein Filter angewendet wird und alle Meldungen angezeigt werden (es sei denn, ein anderer Filter wird angewendet).

Um den allgemeinen Feldfilter zu aktualisieren, verwenden Sie die unten erläuterten Schaltflächen. Sie ändern ihre Farbe, wenn sie ausgewählt sind:

	Nachrichten anzeigen, die allgemeine Felder mit Anmerkungen enthalten.
	Nachrichten anzeigen, die voraussichtlich ein allgemeines Feld enthalten

Wenn Sie nach Nachrichten filtern möchten, die allgemeine Felder mit Anmerkungen haben oder die voraussichtlich ein allgemeines Feld enthalten, verwenden Sie die Schaltflächen oben (wie oben gezeigt). Wenn Sie nach Nachrichten mit bestimmten allgemeinen Feldern mit Anmerkungen oder vorhergesagten Feldern filtern möchten, bewegen Sie den Mauszeiger über das betreffende allgemeine Feld. Dieselben beiden Schaltflächen werden rechts angezeigt.

Wenn Sie entweder nach einem zugewiesenen oder einem vorhergesagten allgemeinen Feld filtern möchten, wählen Sie den Namen des allgemeinen Felds aus. Es werden Nachrichten mit einem von ihnen angezeigt.

Um Ihre Auswahl zu entfernen, wählen Sie die Schaltfläche erneut aus. Um mehrere Auswahlen zu entfernen, wählen Sie Alle aus. Sie können auch Alle löschen oben in der Filterleiste auswählen, aber dadurch wird jeder ausgewählte Filter gelöscht, nicht nur die Filter der allgemeinen Felder.

Allgemeine Feldleiste

Die Taxonomie der allgemeinen Felder funktioniert als normale Filterleiste und ermöglicht es Ihnen, mehrere allgemeine Felder gleichzeitig mit einem einzigen Klick auszuwählen.

Wenn Sie mehrere allgemeine Felder aus der Liste auswählen, wird eine Abfrage vom Typ ANYOf erstellt.

Wenn Sie Allgemeines Feld A, Allgemeines Feld B und Allgemeines Feld C in der Leiste Allgemeines Feld ausgewählt haben, wird eine Abfrage von Mir Nachrichten anzeigen mit Allgemeinem Feld A, Allgemeinem Feld B oder Allgemeinem Feld C erstellt.

Wenn Sie nach bestimmten allgemeinen Feldern filtern, können Sie mehrere Auswahlen treffen. Sie können z. B. nach Nachrichten sehen, denen ein allgemeines Feld für die Adresszeile zugewiesen ODER ein allgemeines Feld für die Stadt vorhergesagt wurde (wie unten gezeigt).

Filterleiste für allgemeine Felder mit vorhergesagter Rechnungs-ID oder zugewiesener Produkt-ID in ausgewählten allgemeinen Feldern

Filter für allgemeine Felder hinzufügen

Die zweite Filteroption ist die Schaltfläche + Filter für allgemeines Feld hinzufügen über der Leiste für allgemeine Felder.

Dadurch wird eine Dropdownleiste für allgemeine Felder aktiviert, mit der Sie komplexere Filter auswählen können, z. B. bestimmte allgemeine Felder von der Berücksichtigung auszuschließen .

In dieser Dropdownliste können Sie mehrere allgemeine Felder auswählen, die ein- oder ausgeschlossen werden sollen, indem Sie auf den Namen des allgemeinen Felds (für zugewiesen und vorhergesagt) oder auf die einzelnen Schaltflächen (einschließlich Minus, wenn dieses allgemeine Feld weder zugewiesen noch vorhergesagt ist) klicken.

Das Ergebnis sieht aus wie in diesem Beispiel, das Nachrichten zurückgibt, bei denen voraussichtlich das allgemeine Feld Rechnungs-ID, aber nicht das allgemeine Feld Produkt-ID zugewiesen oder vorhergesagt wurde:

Sie können + Filter für allgemeines Feld hinzufügen mehrmals auswählen, um Ihrer Abfrage zusätzliche Ebenen hinzuzufügen. Zwei separate Filter für allgemeine Felder erstellen eine Abfrage vom Typ UND, während mehrere allgemeine Felder, die im selben Filter für allgemeine Felder ausgewählt wurden, eine Abfrage vom Typ ANYOf erstellen.

Im folgenden Beispiel wurden mehrere allgemeine Feldfilter einzeln angewendet. Dadurch wird ein Filter erstellt, der Nachrichten zurückgibt, die voraussichtlich eines der drei allgemeinen Felder im ersten Filter haben, bei denen aber auch das allgemeine Feld Richtliniennummer vorhergesagt wurde und bei denen das allgemeine Feld Postleitzahl des Vereinigten Königreichs nicht vorhergesagt oder zugewiesen wurde.

Ein Beispiel für eine komplexe Abfrage nach allgemeinen Feldern, die die Filter für allgemeine Felder Jeder von, UND und NICHT kombiniert

Ein hilfreicher Tipp ist, dass Sie durch Auswählen von & Anmelden eines einzelnen Filters, der mehrere allgemeine Felder enthält, diese automatisch in einzelne Filter aufteilen können. Dadurch würde die Abfrage von ANYOf (d. h eines dieser allgemeinen Felder vorhergesagt) zu UND (d. h alle diese allgemeinen Felder vorhergesagt).

Kombinieren allgemeiner Feldleistenfilter und hinzugefügter allgemeiner Feldfilter

Es ist möglich, Filter sowohl aus der Leiste für allgemeine Felder als auch aus individuell hinzugefügten Filtern für allgemeine Felder zu kombinieren. Filter, die in der Leiste für allgemeine Felder angewendet werden, werden als UND-Abfrage mit allen einzeln angewendeten Filtern für allgemeine Felder behandelt.

In der folgenden Abbildung würde diese kombinierte Abfrage beispielsweise alle Nachrichten zurückgeben, für die entweder AUFTRAGS-ID oder PROD-ID vorhergesagt wurde.

Kombinieren Sie den Filter für allgemeine Felder mit der Leiste für allgemeine Felder und individuell hinzugefügte Filter für allgemeine Felder.

Kombinieren allgemeiner Feldfilter und Sortieren nach allgemeinem Feld für das Training

Diese neuen Filter bedeuten auch, dass Sie jetzt allgemeine Feldfilter anwenden und nach einem bestimmten allgemeinen Feld für einen Trainingsmodus sortieren können.

Beispiel der Seite Erkunden mit dem Modus „ Allgemeines Feld überprüfen“ für ein bestimmtes allgemeines Feld mit einem zusätzlichen Ausschlussfilter für allgemeine Felder:

Überprüfen und Anwenden allgemeiner Felder

Benutzerberechtigungen erforderlich: „Quellen anzeigen“ UND „Überprüfen und Beschriften“.

Identifizieren allgemeiner Feldvorhersagen

Vorhergesagte allgemeine Felder werden als farblich hervorgehobener Text angezeigt, z. B. in der ersten Zeile der Nachricht unten, wobei für jeden unterschiedlichen allgemeinen Feldtyp eine andere Farbe angezeigt wird. Sobald ein allgemeines Feld von einem Benutzer bestätigt wurde, indem es entweder manuell angewendet oder eine Vorhersage akzeptiert wurde, wird das allgemeine Feld als hervorgehobener Text mit einer fetten, dunkleren Umrandung angezeigt, wie unten gezeigt.

Wenn einem Absatz allgemeine Felder zugewiesen, verworfen oder angewendet wurden, wird er grau hervorgehoben, wie im Textkörper der Nachricht unten zu sehen ist.

Beispiel für ein allgemeines Feldformat

Wie erstellt die Plattform allgemeine Feldvorhersagen für trainierbare allgemeine Felder?

Bei der Überprüfung trainierbarer allgemeiner Felder sollten Sie sich daran erinnern, dass die Plattform sowohl von den allgemeinen Feldwerten, die Sie zuweisen, als auch vom Kontext lernt, in dem sie in der Kommunikation erscheinen, d. h. von der anderen Sprache, die um die Werte selbst herum verwendet wird.

Die Plattform berücksichtigt den Kontext der Sprache im selben Absatz wie der allgemeine Feldwert sowie die einzelnen Absätze (gekennzeichnet durch eine neue getrennte Zeile) direkt vor und nach dem Absatz, in dem sich das allgemeine Feld befindet.

Hinweis: Bei allgemeinen Feldern, die nicht auf „trainierbar“ festgelegt sind, basieren die Vorhersagen der Plattform vollständig auf den Regeln, die in der Plattform für dieses allgemeine Feld definiert wurden. Dies kann nützlich sein, wenn ein allgemeines Feld unbedingt einem festgelegten Format für eine nachgelagerte Automatisierung folgen muss und falsche Werte einen Fehler oder eine Ausnahme verursachen.

Allgemeine Feldkonfidenzbewertungen

Wenn die Plattform vorhersagt, welche allgemeinen Felder für eine Kommunikation gelten, weist sie jeder Vorhersage einen Konfidenzwert (%) zu, um zu zeigen, wie sicher das allgemeine Feld für den hervorgehobenen Textabschnitt gilt. Sie können die Konfidenzbewertung eines allgemeinen Felds anzeigen, indem Sie mit dem Mauszeiger auf das allgemeine Feld zeigen.

Diese Konfidenzpunktzahl wird auch über die API zur Verfügung gestellt, sodass sie in automatisierte Aktionen im nachgelagerten Bereich einfließt.

Beispiel für die Konfidenzbewertung eines Felds vom Typ „Allgemein“.

Akzeptieren und Ablehnen von allgemeinen Feldvorhersagen

Sobald allgemeine Felder aktiviert sind (siehe hier), beginnt die Plattform automatisch, sie in den Nachrichten in Ihrem Dataset vorherzusagen. Benutzer können dann die Vorhersagen akzeptieren, die richtig sind, oder sie ablehnen, wenn sie falsch sind. Jede dieser Aktionen sendet Trainingssignaturen, die verwendet werden, um das Verständnis der Plattform in diesem allgemeinen Feld zu verbessern.

Für die vortrainierten allgemeinen Felder, die offline trainiert werden (z. B monetäre Menge, URL usw.), ist es aus Sicht der Verbesserung wichtiger, dass Benutzer falsche Vorhersagen ablehnen oder korrigieren, als dass sie korrekte Vorhersagen akzeptieren.

Für die allgemeinen Felder, die live in der Plattform trainiert werden, ist es ebenso wichtig, korrekte Vorhersagen zu akzeptieren als auch falsche Vorhersagen abzulehnen. Sie müssen jedoch nicht ständig viele korrekte Beispiele für jedes eindeutige allgemeine Feld für diese Arten akzeptieren (z. B ist ein eindeutiges allgemeines Feld der Organisation), wenn Sie keine falsch vorhergesagten finden.

Der wichtigste Nachteil dabei ist, dass Sie, wenn Sie ein allgemeines Feld in einem Absatz überprüfen, alle anderen allgemeinen Felder in diesem Absatz überprüfen müssen.

Um eine allgemeine Feldvorhersage zu überprüfen, zeigen Sie mit der Maus auf die Vorhersage. Das modale Element für die Feldüberprüfung wird angezeigt, wie im folgenden Beispiel gezeigt. Um sie zu akzeptieren, klicken Sie auf „Bestätigen“. Um sie abzulehnen, klicken Sie auf „Verwerfen“.

Allgemeine Felder und Beschriftungen können unabhängig voneinander trainiert werden. Das Überprüfen der Beschriftungen einer Nachricht bedeutet nicht, dass Sie die allgemeinen Felder in derselben Nachricht überprüfen müssen. Es empfiehlt sich jedoch, beides gleichzeitig zu tun, um Ihre Zeit beim Modelltraining am effizientesten zu nutzen.

Bitte beachten Sie: Es ist sehr wichtig , beim Training von allgemeinen Feldern die unten erläuterten bewährten Methoden zu befolgen – insbesondere, wenn Absätze nicht teilweise mit Anmerkungen versehen sind.

Informationen dazu, wie gut die Plattform in der Lage ist, jedes allgemeine Feld vorherzusagen, das für ein Dataset aktiviert ist ( insbesondere die trainierbaren), lesen Sie hier.

Beispielnachricht mit zugewiesenen und vorhergesagten allgemeinen Feldern

Hinweis:

Es ist wichtig, dass Sie falsche allgemeine Feldvorhersagen ablehnen, aber wenn es sich bei dem hervorgehobenen Text tatsächlich um ein anderes allgemeines Feld handelt (dies wäre häufiger bei datumsbezogenen allgemeinen Feldern), wenden Sie anschließend die richtige Vorhersage an (siehe unten zum Anwenden allgemeiner Felder). Felder).

Anwenden allgemeiner Felder

Um ein allgemeines Feld auf einen Text anzuwenden, bei dem die Plattform es möglicherweise nicht vorhergesagt hat, müssen Benutzer lediglich den Testabschnitt markieren, wie beim Kopieren.

Es wird ein Dropdownmenü angezeigt, wie unten gezeigt, das alle allgemeinen Felder enthält, die Sie für Ihr Dataset aktiviert haben. Klicken Sie einfach auf die richtige Option, um sie anzuwenden, oder drücken Sie die entsprechende Tastenkombination.

Die Standardtastenkombination für jedes allgemeine Feld ist der Buchstabe, mit dem begonnen wird. Wenn mehr als ein allgemeines Feld mit demselben Buchstaben beginnt, wird eines dem anderen zufällig zugewiesen.

Eine Beispielnachricht, die das modale Element der Feldanwendung zeigt

Sobald ein allgemeines Feld angewendet wurde, wird es farblich mit fetter Kontur hervorgehoben (siehe unten). Jeder allgemeine Feldtyp hat eine eigene spezifische Farbe.

Eine Beispielmeldung mit dem angewendeten allgemeinen Feld „Richtliniennummer“.

Hinweis:

Ein Wert für einen bestimmten allgemeinen Feldtyp kann nicht auf mehrere Absätze aufgeteilt werden. Der vollständige Wert muss innerhalb eines Absatzes enthalten sein, damit er als ein allgemeiner Feldwert extrahiert wird.

Best Practice

Beim Akzeptieren, Ablehnen oder Anwenden von allgemeinen Feldern in Nachrichten sind zwei sehr wichtige Best Practices zu beachten:

1. Wörter nicht aufteilen

Es ist wichtig, Wörter nicht aufzuteilen – das hervorgehobene allgemeine Feld sollte das gesamte fragliche Wort (oder mehrere) abdecken, nicht nur einen Teil davon (siehe das falsche Beispiel unten links und die richtige Anwendung rechts).

Falsches Beispiel für die Anwendung des allgemeinen Felds „Adresszeile“.

Richtiges Beispiel für die Anwendung des allgemeinen Felds „Adresszeile“.

2. Absätze nicht teilweise mit Anmerkungen versehen

Wenn ein Benutzer bei der Anmerkung einer Nachricht eine Beschriftung zuweist, sollte er ALLE Beschriftungen anwenden, die auf diese Nachricht zutreffen könnten. Andernfalls bringen Sie dem Modell bei, dass diese anderen Beschriftungen nicht angewendet werden sollen. Dasselbe gilt für allgemeine Felder. Allerdings werden allgemeine Felder auf Absatzebene überprüft oder angewendet, anstatt auf die gesamte Nachricht.

Absätze in einer Nachricht werden durch neue Zeilen getrennt. Die Betreffzeile einer E-Mail-Nachricht wird als eigener einzelner Absatz betrachtet.

Stellen Sie sicher, dass Sie alle allgemeinen Felder innerhalb eines Absatzes für alle allgemeinen Feldarten überprüfen oder anwenden, wenn Sie eine von ihnen überprüfen oder anwenden. Das Anwenden, Akzeptieren oder Ablehnen allgemeiner Felder in einem Absatz bedeutet, dass der Absatz von der Plattform aus der Sicht des allgemeinen Felds als „überprüft“ behandelt wird. Daher ist es wichtig, ALLE Vorhersagen in diesem Absatz zu akzeptieren oder abzulehnen.

Das folgende Beispiel zeigt die verschiedenen Absätze, die in der E-Mail-Nachricht überprüft wurden.

Beispiel einer E-Mail-Nachricht mit korrekt überprüften allgemeinen Feldern in mehreren Absätzen

Die folgende Meldung zeigt dasselbe Beispiel, bei dem der Benutzer nicht alle allgemeinen Feldvorhersagen in einem einzelnen Absatz akzeptiert oder abgelehnt hat. Das ist falsch, da das Modell das allgemeine Feld „Geldmenge“ fälschlicherweise als falsche Vorhersage behandelt.

Beispiel für eine E-Mail-Nachricht, die nicht ordnungsgemäß überprüft wurde

Validierung für allgemeine Felder

Einleitung

Die Plattform zeigt Validierungsstatistiken, Warnungen und empfohlene Aktionen für aktivierte allgemeine Felder auf der Seite Validierung an, ähnlich wie für jede Bezeichnung in Ihrer Taxonomie.

Um diese anzuzeigen, navigieren Sie zur Seite Validierung und wählen Sie oben die Registerkarte Allgemeine Felder aus, wie in der Abbildung unten gezeigt.

Zugriff auf die Seite „Allgemeine Feldvalidierung“.

Wie funktioniert die allgemeine Feldvalidierung?

Der Prozess, bei dem die Plattform ihre Fähigkeit validiert, allgemeine Felder korrekt vorherzusagen, ist sehr ähnlich wie bei Beschriftungen.

Nachrichten werden beim ersten Hinzufügen zum Dataset in einen Trainingssatz und einen Testsatz (zufällig durch die Nachrichten-ID jeder Nachricht bestimmt) aufgeteilt (80:20). Alle allgemeinen Felder, die zugewiesen wurden (akzeptierte oder korrigierte Vorhersagen), fallen in den Trainingssatz oder den Testsatz, basierend auf dem Satz, dem die Nachricht, in dem sie sich befinden, ursprünglich zugewiesen wurde.

Da es manchmal eine sehr große Anzahl allgemeiner Felder in einer Nachricht gibt und es keine Garantie gibt, ob sich eine Nachricht im Trainingssatz oder im Testsatz befindet, sehen Sie möglicherweise einen großen Unterschied zwischen der Anzahl der allgemeinen Felder in jedem Satz.

Es kann auch Fälle geben, in denen alle zugewiesenen allgemeinen Felder in den Trainingssatz fallen. Da im Testsatz mindestens ein Beispiel erforderlich ist, um die Validierungspunktzahlen zu berechnen, würde dieses allgemeine Feld mehr zugewiesene Beispiele erfordern, bis einige im Testsatz vorhanden waren.

Wie werden die Punktzahlen berechnet?

Die einzelnen Präzisions- und Rückrufstatistiken für jedes allgemeine Feld mit ausreichend Trainingsdaten werden auf sehr ähnliche Weise wie Bezeichnungen berechnet:

Genauigkeit = Anzahl der übereinstimmenden allgemeinen Felder / Anzahl der vorhergesagten allgemeinen Felder

Rückruf = Anzahl der übereinstimmenden allgemeinen Felder / Anzahl der tatsächlichen allgemeinen Felder

Bei einem „übereinstimmenden allgemeinen Feld“ hat die Plattform das allgemeine Feld genau vorhergesagt (d. h keine teilweisen Übereinstimmungen)

Die F1-Punktzahl ist lediglich das harmonierende Mittel für sowohl Präzision als auch Rückruf.

Trainierbare allgemeine Felder

Es ist erwähnenswert, dass die auf dieser Seite angezeigten Statistiken zu Präzision und Rückruf am nützlichsten für die allgemeinen Felder sind, die live in der Plattform trainierbar sind (gezeigt in der zweiten Spalte oben), da alle allgemeinen Felder, die für diese allgemeinen Feldtypen überprüft werden, dies direkt tun wirken sich auf die Fähigkeit der Plattform aus, diese allgemeinen Felder vorherzusagen.

Daher sollten nach Möglichkeit korrekte allgemeine Felder akzeptiert und falsche allgemeine Felder korrigiert oder abgelehnt werden.

Vortrainierte allgemeine Felder

Bei allgemeinen Feldern, die über Vorlagenfeldtypen vortrainiert werden, müssten die Benutzer sicherstellen, dass sie eine beträchtliche Anzahl korrekter Vorhersagen akzeptieren und falsche Vorhersagen korrigieren, damit die Validierungsstatistiken die Leistung genau widerspiegeln.

Wenn sie nur falsche Vorhersagen korrigieren sollten, würden die Trainings- und Testsätze nur mit den Instanzen gefüllt sein, in denen die Plattform Schwierigkeiten hat, ein allgemeines Feld vorherzusagen, und nicht mit denen, in denen sie sie besser vorhersagen kann. Da die Korrektur falscher Vorhersagen für diese allgemeinen Felder nicht zu einer Echtzeitaktualisierung dieser allgemeinen Felder führt (sie werden regelmäßig offline aktualisiert), ändern sich die Validierungsstatistiken möglicherweise einige Zeit lang nicht und könnten falsch niedrig ausfallen.

Das Akzeptieren vieler korrekter Vorhersagen ist unter Umständen nicht immer praktisch, da diese allgemeinen Felder viel öfter korrekt vorhergesagt werden. Wenn aber der Großteil der Vorhersagen für diese allgemeinen Felder korrekt ist, müssen Sie sich wahrscheinlich keine Gedanken über deren Genauigkeit und Rückrufstatistiken auf der Seite Validierung machen.

Was bedeuten die zusammenfassenden Statistiken?

Die zusammenfassenden Statistiken (durchschnittliche Präzision, durchschnittliche Wiedererkennung und durchschnittliche F1-Punktzahl) sind lediglich Durchschnittswerte jeder der einzelnen allgemeinen Feldpunktzahlen.

Wie bei Beschriftungen sind nur allgemeine Felder mit ausreichenden Trainingsdaten in den Durchschnittspunktzahlen enthalten. Bei Trainingsdaten, die nicht über ausreichende Trainingsdaten verfügen, wird neben ihrem Namen ein Warnsymbol angezeigt.

Hinweis: Die zusammenfassenden Statistiken enthalten alle allgemeinen Felder mit ausreichenden Trainingsdaten, sowohl diejenigen, die live trainierbar sind, als auch diejenigen, die vortrainiert sind. Die vortrainierten Vorhersagen für allgemeine Felder werden oft nur korrigiert, wenn sie falsch sind, und nicht immer akzeptiert, wenn sie richtig sind. Das bedeutet, dass ihre Präzisions- und Rückrufstatistiken oft falsch niedrig sein können, was die durchschnittlichen Punktzahlen verringert.

Metriken

Auf der Seite Validierung allgemeiner Felder werden die durchschnittlichen Leistungsstatistiken für allgemeine Felder sowie ein Diagramm angezeigt, das die durchschnittliche F1-Punktzahl jedes allgemeinen Felds im Vergleich zur Größe des Trainingssatzes zeigt. Das Diagramm kennzeichnet auch allgemeine Felder, die gelbe oder rote Leistungswarnungen aufweisen.

Die angezeigten allgemeinen Feldleistungsstatistiken sind:

• Durchschnittliche F1-Punktzahl: Durchschnitt der F1-Punktzahl in allen allgemeinen Feldern mit ausreichend Daten, um die Leistung genau zu schätzen. Bei dieser Punktzahl werden Erinnerung und Genauigkeit gleich gewichtet. Ein Modell mit einer hohen F1-Punktzahl erzeugt weniger falsch positive und negative Ergebnisse.
• Durchschnittliche Genauigkeit: Durchschnitt der Genauigkeitspunktzahlen in allen allgemeinen Feldern mit ausreichend Daten, um die Leistung genau zu schätzen. Ein Modell mit hoher Genauigkeit erzeugt weniger falsch positive Ergebnisse.
• Durchschnittliche Rückrufaktion: Durchschnitt der Rückrufbewertungen in allen allgemeinen Feldern mit ausreichend Daten, um die Leistung genau zu schätzen. Ein Modell mit hoher Wiedererkennung erzeugt weniger falsch negative Ergebnisse.

Verstehen der allgemeinen Feldleistung

Das Diagramm zur allgemeinen Feldleistung, das auf der Registerkarte Metriken der Seite Validierung (siehe oben) angezeigt wird, gibt einen sofortigen visuellen Hinweis auf die Leistung jedes einzelnen allgemeinen Felds.

Damit ein allgemeines Feld in diesem Diagramm angezeigt wird, müssen mindestens 20 angeheftete Beispiele im Trainingssatz vorhanden sein, der von der Plattform während der Validierung verwendet wird. Um sicherzustellen, dass dies der Fall ist, sollten Benutzer sicherstellen, dass sie mindestens 25 (oft mehr) angeheftete Beispiele pro allgemeinem Feld aus 25 verschiedenen Nachrichten zur Verfügung stellen.

Jedes allgemeine Feld wird in einer von drei Farben dargestellt, basierend auf dem Verständnis des Modells von der Leistung des allgemeinen Felds. Im Folgenden erklären wir, was diese bedeuten:

Allgemeine Feldleistungsindikatoren

Allgemeine Feldleistungsindikatoren:

• Die allgemeinen Felder, die im Diagramm blau dargestellt sind, haben eine zufriedenstellende Leistung . Dies basiert auf zahlreichen Faktoren, die dazu beitragen, einschließlich der Anzahl und Vielfalt der Beispiele und der durchschnittlichen Genauigkeit für dieses allgemeine Feld

• Allgemeine Felder, die gelb aufgezeichnet werden, haben eine etwas weniger als zufriedenstellende Leistung. Sie können eine relativ geringe durchschnittliche Genauigkeit oder nicht ganz genügend Trainingsbeispiele haben. Diese allgemeinen Felder erfordern ein wenig Training/Korrektur, um ihre Leistung zu verbessern

• Allgemeine Felder, die rot dargestellt sind, sind allgemeine Felder mit schlechter Leistung. Sie haben möglicherweise eine sehr geringe durchschnittliche Genauigkeit oder nicht genügend Trainingsbeispiele. Diese allgemeinen Felder können erheblich mehr Training/Korrektur erfordern, um ihre Leistung auf ein zufriedenstellendes Maß zu bringen

Hinweis: Die gelben und roten Leistungsindikatoren werden in den allgemeinen Feldfilterleisten bei Erkunden, Berichten und Validierung angezeigt. Dies hilft Ihnen, schnell darüber zu informieren, welche allgemeinen Felder Hilfe benötigen und auch, dass Sie sich bei der Verwendung der Analysefunktionen nicht auf die Vorhersagen der allgemeinen Felder verlassen sollten (ohne Verbesserungsarbeit).

Einzelne allgemeine Feldleistung

Benutzer können einzelne allgemeine Felder aus der Filterleiste für allgemeine Felder auswählen (oder durch Klicken auf das Diagramm des allgemeinen Felds im Diagramm Alle allgemeinen Felder), um die Leistungsstatistiken des allgemeinen Felds anzuzeigen.

In der spezifischen allgemeinen Feldansicht werden auch alle Leistungswarnungen und empfohlenen Vorschläge für die nächste beste Aktion angezeigt, um die Leistung zu verbessern.

Die allgemeine Feldansicht zeigt die durchschnittliche F1-Punktzahl für das allgemeine Feld sowie deren Präzision und Wiedererkennung an.

Beispiel für eine allgemeine Feldkarte mit empfohlenen Aktionen

Verbesserung der allgemeinen Feldleistung

Erforderliche Benutzerberechtigungen: Überprüfen und Anmerkung hinzufügen.

Überblick

Wie Trainingsbezeichnungen bringt ein Benutzer der Plattform bei, welche allgemeinen Felder mithilfe verschiedener Trainingsmodi für eine bestimmte Nachricht gelten.

Wie bei Beschriftungen sind die Modi „Teach “, „Check “ und „Missed “ verfügbar, um das Training zu unterstützen und die Leistung von allgemeinen Feldern zu verbessern. Sie können entweder 1) auf der Seite „Erkunden“ über die Trainings-Dropdownliste oder 2) über das Trainings-Dropdownmenü zugegriffen werden gemäß den empfohlenen Aktionen auf der Registerkarte Allgemeine Felder der Seite Validierung.

So sieht das Dropdownmenü mit den allgemeinen Feldtrainingsmodi in Explore aus:

Allgemeine empfohlene Aktionen für das Feld

Wenn ein bestimmtes allgemeines Feld eine Leistungswarnung aufweist, empfiehlt die Plattform die nächstbeste Aktion , die ihrer Meinung nach zur Behebung dieser Warnung beitragen wird, die in der Reihenfolge der Priorität aufgeführt ist. Es wird angezeigt, wenn Sie ein bestimmtes allgemeines Feld aus der Taxonomie oder das Diagramm „Alle allgemeinen Felder“ auswählen.

Die nächsten besten Aktionsvorschläge dienen als Links , auf die Sie klicken können, um direkt zur Trainingsansicht zu gelangen, die die Plattform vorschlägt, um die Leistung des allgemeinen Felds zu verbessern. Die Vorschläge werden intelligent geordnet, wobei die Aktion mit der höchsten Priorität zur Verbesserung des allgemeinen Felds zuerst aufgeführt wird.

Dies ist das wichtigste Tool , das Ihnen hilft, die Leistung Ihrer allgemeinen Felder zu verstehen, und sollte regelmäßig als Richtlinie verwendet werden, wenn Sie versuchen, die allgemeine Feldleistung zu verbessern.

Überprüfen Sie dieses Beispiel einer allgemeinen Feldkarte mit empfohlenen Aktionen:

Allgemeine Feldtrainingsmodi

Die folgende Tabelle fasst zusammen, wann die Plattform jeden allgemeinen Feldtrainingsmodus empfiehlt:

Allgemeines Feld lehren	Allgemeines Feld prüfen	Allgemeines Feld verpasst
- Zeigen Sie Vorhersagen für eine Bezeichnung an, bei der das Modell am unklarsten ist, ob sie zutrifft oder nicht - Für das Training allgemeiner Felder für nicht überprüfte Nachrichten	Zeigt Meldungen an, bei denen die Plattform denkt, dass das allgemeine Feld falsch angewendet wurde - Für das Training von allgemeinen Feldern für überprüfte Nachrichten, um Inkonsistenzen zu finden und zu korrigieren	- Zeigt Nachrichten an, von denen die Plattform meint, dass sie im ausgewählten allgemeinen Feld möglicherweise fehlen - Für das Training von allgemeinen Feldern für überprüfte Nachrichten, um Inkonsistenzen zu finden und zu korrigieren

Verwenden des Felds „Teach Allgemein“.

Durch die Verwendung des Felds „Teach Allgemein“ wird die allgemeine Feldleistung verbessert, da das Modell neue Informationen über Nachrichten erhält, bei denen es unsicher ist, im Gegensatz zu Nachrichten, für die es bereits sehr sichere Vorhersagen hat.

Die Plattform empfiehlt Allgemeine Felder lehren, wenn:

• Neben einem allgemeinen Feld befindet sich eine Leistungswarnung (wie unten gesehen – wenn die min. 25 Beispiele wurden nicht angegeben)
• Die F1-Punktzahl für ein bestimmtes allgemeines Feld ist niedrig
• Es kann sein, dass der Kontext innerhalb des Texts für ein allgemeines Feld nicht immer offensichtlich ist oder es viele Variationen innerhalb der allgemeinen Feldwerte für einen bestimmten Typ gibt

Dies ist ein Beispiel für das Training eines allgemeinen Felds im Modus Allgemeine Felder unterrichten:

Verwenden von „Allgemeine Felder überprüfen“.

Die Verwendung der Überprüfung des allgemeinen Feldes hilft, Inkonsistenzen im überprüften Satz zu identifizieren und gleichzeitig das Verständnis des Modells für das allgemeine Feld zu verbessern, indem sichergestellt wird, dass das Modell über korrekte und konsistente Beispiele für Vorhersagen verfügt. Dadurch wird der Rückruf eines allgemeinen Felds verbessert.

Die Plattform empfiehlt „Überprüfen der allgemeinen Felder“, wenn:

• Die Wiedererkennung ist niedrig, aber die Genauigkeit ist hoch
• Die Vorhersagen, die die Plattform macht, sind sehr genau, aber wenn das allgemeine Feld angewendet wurde, werden diese Beispiele oft nicht erfasst

Dies ist ein Beispiel für das Training eines allgemeinen Felds im Modus Allgemeine Felder überprüfen:

(Weitere Informationen zu Berechnungen für die allgemeine Feldvalidierung finden Sie hier.)

Verwenden des fehlenden allgemeinen Felds

Die Verwendung eines fehlenden allgemeinen Felds hilft dabei, Beispiele im überprüften Satz zu finden, die das ausgewählte allgemeine Feld haben sollten, aber nicht. Dies hilft auch bei der Identifizierung teilweise beschrifteter Meldungen, die sich nachteilig auf die Fähigkeit des Modells auswirken können, ein allgemeines Feld vorherzusagen. Dadurch wird die Genauigkeit eines allgemeinen Felds verbessert und sichergestellt, dass das Modell über korrekte und konsistente Beispiele verfügt, aus denen Vorhersagen gemacht werden können.

Die Plattform empfiehlt das Feld „Allgemeines Feld übersehen“, wenn:

• Es gibt eine hohe Wiedererkennung, aber eine geringe Genauigkeit
• Wir haben häufig falsche Vorhersagen für allgemeine Felder, aber wenn wir sie korrekt vorhersagen, erkennen wir viele der Beispiele, die vorhanden sein sollten

Dies ist ein Beispiel für das Training eines allgemeinen Felds im Modus Fehlendes allgemeines Feld:

Weitere Informationen zu Berechnungen für die Validierung von allgemeinen Feldern finden Sie auf der Seite Validierung für allgemeine Felder .

Erstellen von benutzerdefinierten allgemeinen Regex-Feldern

Erforderliche Berechtigungen: Datasets ändern.

Hinweis: Sie können benutzerdefinierte allgemeine Regex-Felder über die Dataset-Einstellungen oder die Option Allgemeine Felder verwalten in der Feldanmerkungsumgebung für generative Extraktion erstellen, die auf der Seite Generative Extraktion im Detail erläutert wird.

Was sind benutzerdefinierte reguläre Regex-Felder?

Verwenden Sie benutzerdefinierte allgemeine Regex-Felder, um Textabschnitte mit einer bekannten sich wiederholenden Struktur zu extrahieren und zu formatieren, z. B. IDs oder Referenznummern.

Dies ist eine nützliche Option für einfache, strukturierte allgemeine Felder mit geringer Variation. Bei allgemeinen Feldern mit erheblichen Variationen und bei denen der Kontext einen großen Einfluss auf Vorhersagen hat, ist ein auf Machine Learning basierendes allgemeines Feld die richtige Wahl. Sie können Kombinationen aus den beiden in jedem Dataset innerhalb von Communications Mining verwenden.

Ein erweiterter regulärer Ausdruck (d. h. ein Satz von Regeln zum Definieren des allgemeinen Felds) kann auch als Basis für ein benutzerdefiniertes allgemeines Feld verwendet werden. Dadurch werden die Regeln mit einer kontextbezogenen, auf Machine Learning basierenden Verfeinerung durch Training in Communications Mining kombiniert, um ausgefeilte benutzerdefinierte allgemeine Felder zu erstellen. Dies bietet die optimale Leistung sowie die erforderlichen Einschränkungen für die für die Automatisierung extrahierten Werte.

Benutzerdefinierte Vorlage für reguläre Ausdrücke

Ein allgemeines Feld für benutzerdefinierten Regex besteht aus einem Feldtyp mit dem Datentyp Regex, der wiederum über eine oder mehrere benutzerdefinierte Regex-Vorlagen verfügt. Jede Vorlage drückt eine Möglichkeit zum Extrahieren (und Formatieren) des allgemeinen Felds aus.

In Kombination bieten diese Vorlagen eine flexible und leistungsstarke Möglichkeit, mehrere Darstellungen desselben allgemeinen Feldtyps abzudecken.

Eine Vorlage besteht aus zwei Teilen:

1. Der reguläre Ausdruck (regulärer Ausdruck), der die Einschränkungen beschreibt, die ein Textabschnitt erfüllen muss, um als allgemeines Feld zu extrahieren.
2. Die Formatierung, die ausdrückt, wie die extrahierte Zeichenfolge in ein Standardformat normalisiert wird.

Wenn Ihre Kunden-IDs beispielsweise das ID -Wort gefolgt von 7 Ziffern oder eine alphanumerische Zeichenfolge mit 9 Zeichen sind, sehen Ihre beiden Vorlagen so aus:

Type-Ahead-Validierung

Wenn Sie in das Textfeld für den Regex oder die Formatierung tippen, gibt die Benutzeroberfläche eine sofortige Rückmeldung über die Gültigkeit der Eingabe. Der ungültige Eingabe-RegEx ID\d{} zeigt beispielsweise Folgendes an:

Extraktionsvorschau

Die benutzerdefinierte Regex-Vorlage kann am Text getestet werden, um sicherzustellen, dass er sich wie erwartet verhält. Jedes allgemeine Feld, das mit der Vorlage extrahiert würde, wird in einer Liste mit seinem Wert sowie der Position der Start- und Endzeichen angezeigt.

Wenn der reguläre Ausdruck z. B. \d{4} und die Formatierung ID-{$} ist, zeigt die folgende Testzeichenfolge eine Extraktion an:

Regulärer Ausdruck

Der reguläre Ausdruck ist das Muster, das zum Extrahieren von allgemeinen Feldern im Text verwendet wird. Überprüfen Sie die Syntaxdokumentation.

Benannte Erfassungsgruppen können verwendet werden, um einen bestimmten Abschnitt der extrahierten Zeichenfolge für die nachfolgende Formatierung zu identifizieren. Die Namen der Erfassungsgruppen müssen in allen Vorlagen eindeutig sein und dürfen nur Kleinbuchstaben oder Ziffern enthalten.

Formatting

Die Formatierung kann bereitgestellt werden, um das extrahierte allgemeine Feld nachzuverarbeiten.

Standardmäßig wird keine Formatierung angewendet und die von der Plattform zurückgegebene Zeichenfolge wird die durch den regulären Ausdruck extrahierte Zeichenfolge sein. Bei Bedarf können jedoch komplexere Transformationen mithilfe der folgenden Regeln definiert werden.

Variablen

Jede benannte Erfassungsgruppe, die im regulären Ausdruck definiert ist, kann in der Formatierungslogik als Variable mit dem Präfix $ verwendet werden. Beachten Sie, dass das $ -Symbol selbst die vollständige Regex-Übereinstimmung darstellt.

Variablen können dann in der Formatierungszeichenfolge verwendet werden, um den entsprechenden extrahierten Abschnitt in den von der Plattform zurückgegebenen Wert einzufügen. Der Variablenname muss von { und } geschweiften Klammern umgeben sein.

Wenn Sie beispielsweise sieben Ziffern als ID extrahieren und diese sieben Ziffern mit dem Präfix ID- zurückgeben möchten, lauten der reguläre Ausdruck und die Formatierung wie folgt:

Oder mit einer benannten Erfassungsgruppe:

Wenn die Plattform später den Text Meine Identifikationsnummer ist 1234567 erhält, wird ein allgemeines Feld zurückgegeben: ID-1234567

String-Operationen

Unformatierte Zeichenfolgen können verwendet werden und Zeichenfolgen können mit dem & -Symbol verkettet werden.

Regulärer Ausdruck	(?P<id1>\b\d{3}\b)|(?P<id2>\b\d{4}\b)
Formatting	{$id1 & "-" & $id2}
Text	Die erste ID ist 123 und die zweite ist 4567
Allgemeines Feld, das von der Plattform zurückgegeben wird	123-4567

Funktionen

Einige Funktionen können auch in der Formatierung verwendet werden, um die extrahierte Zeichenfolge zu transformieren. Die Namen der Funktionen und ihre Signaturen sind von Excel beeinflusst.

Oberkörper

Konvertiert alle Zeichen im extrahierten Abschnitt in Großbuchstaben:

Regulärer Ausdruck	\w{3}
Formatting	{upper($)}
Text	abc
Allgemeines Feld, das von der Plattform zurückgegeben wird	ABC

Niedriger

Konvertiert alle Zeichen im extrahierten Abschnitt in Kleinbuchstaben:

Regulärer Ausdruck	\w{3}
Formatting	{lower($)}
Text	AbC
Allgemeines Feld, das von der Plattform zurückgegeben wird	abc

Richtig

Das extrahierte Abschnitt wird großgeschrieben:

Regulärer Ausdruck	\w+\s\w+
Formatting	{proper($)}
Text	ALBERT EINSTEIN
Allgemeines Feld, das von der Plattform zurückgegeben wird	Attended Einstein

Klicken Sie auf die Schaltfläche

Füllt den extrahierten Bereich bis zu einer bestimmten Größe mit einem bestimmten Zeichen aus.

Funktionsargumente:

1. Der Text, der die aufzufüllenden Zeichen enthält
2. Größe der aufgefüllten Zeichenfolge
3. Zeichen, das für den Abstand verwendet werden soll

Regulärer Ausdruck	\d{2,5}
Formatting	{pad($, 5, "0")}
Text	123
Allgemeines Feld, das von der Plattform zurückgegeben wird	00123

Ersatz

Ersetzt Zeichen durch andere Zeichen.

Funktionsargumente:

1. Der Text, der die zu ersetzenden Zeichen enthält
2. Die zu ersetzenden Zeichen
3. Wodurch die alten Zeichen ersetzt werden sollen

Regulärer Ausdruck	ab
Formatting	{substitute($, "a", "12")}
Text	ab
Allgemeines Feld, das von der Plattform zurückgegeben wird	12b

Links

Gibt die ersten n Zeichen aus dem Abschnitt zurück.

Funktionsargumente:

1. Der Text, der die zu extrahierenden Zeichen enthält
2. Die Anzahl der zurückzugebenden Zeichen

Regulärer Ausdruck	\w{4}
Formatting	{left($, 2)}
Text	ABCD
Allgemeines Feld, das von der Plattform zurückgegeben wird	AB

Rechts

Gibt die letzten n Zeichen aus dem Abschnitt zurück.

Funktionsargumente:

1. Der Text, der die zu extrahierenden Zeichen enthält
2. Die Anzahl der zurückzugebenden Zeichen

Regulärer Ausdruck	\w{4}
Formatting	{right($, 2)}
Text	ABCD
Allgemeines Feld, das von der Plattform zurückgegeben wird	CD

Mitte

Gibt n Zeichen nach der angegebenen Position aus dem Abschnitt zurück.

Funktionsargumente:

1. Der Text, der die zu extrahierenden Zeichen enthält
2. Die Position des ersten zurückzugebenden Zeichens
3. Die Anzahl der zurückzugebenden Zeichen

Regulärer Ausdruck	\w{5}
Formatting	{mid($, 2, 3)}
Text	ABCDE
Allgemeines Feld, das von der Plattform zurückgegeben wird	BCD