Allgemeine Feldextraktion

Communications Mining™ extrahiert die folgenden Ausgabetypen aus unstrukturiertem Text:

• Beschriftungen
• Allgemeine Felder

Beschriftungen beschreiben die gesamte Nachricht, z. B. Stornierung, Handelsfehler oder Dringend. Allgemeine Felder beziehen sich auf bestimmte Teile der Nachricht, z. B. Name der Gegenpartei, Kunden-ID oder Kündigungsdatum.

In einem nachgelagerten Prozess werden Beschriftungen verwendet, um Prozesse zu sortieren, zu priorisieren und zu entscheiden, welche Art von Maßnahmen ergriffen werden sollen. Allgemeine Felder werden zum Ausfüllen von Feldern von Anforderungen verwendet. Beispielsweise kann ein nachgelagerter Prozess Nachrichten zu solchen filtern, die die Beschriftung Stornierung haben, und dann die extrahierten allgemeinen Felder Kunden-ID und Kündigungsdatum verwenden, um eine API aufzurufen, um die Stornierung automatisch zu verarbeiten.

Communications Mining verfügt über eine Reihe integrierter allgemeiner Felder für gängige Konzepte, z. B. Organisation, Währungscode oder Datum. Sie können die integrierten allgemeinen Felder von Communications Mining so anpassen, dass sie auf Ihren speziellen Anwendungsfall zugeschnitten sind. Communications Mining verfügt beispielsweise über ein stark trainiertes vorgefertigtes allgemeines Feld „Datum“, das Sie als Ausgangspunkt für ein benutzerdefinierteres allgemeines Feld wie Verlängerungsdatum oder Kündigungsdatum verwenden können. Alternativ können Sie ganz von vorne beginnen und Communications Mining beibringen, um etwas völlig Neues zu erkennen.

Konfigurieren allgemeiner Felder

Wir verwenden einen Anwendungsfall einer Versicherung als Beispiel. Das Postfach des Versicherers erhält E-Mails von Agenten, die zur Verarbeitung an verschiedene Teams weitergeleitet werden sollten. In diesem Beispiel wurde das Dataset bereits trainiert und die Taxonomie sieht folgendermaßen aus:

Abbildung 1. Beispieltaxonomie

Dieses Postfach erhält Verlängerungs-, Stornierungs- und Administratoranforderungen, die gelegentlich dringend sind. Communications Mining™ wurde trainiert, um jedes dieser Konzepte zu erkennen. Communications Mining Vorhersagen können verwendet werden, um die E-Mails durch das Erstellen von Support-Tickets an das richtige Team zu sortieren.

Um sicherzustellen, dass dem Kunden schnell reagiert wird, können wir einige wichtige Datenpunkte extrahieren, die den nachgelagerten Teams bei der Bearbeitung der Anfrage helfen. Insbesondere möchten wir die Versicherungsnummer, den Namen der gesicherten Organisation und den Namen des Versicherten aus der E-Mail extrahieren. Dazu können wir die allgemeine Feldextraktion verwenden.

Abbildung 2. Konfigurierte allgemeine Felder

Da das Format der Versicherungsnummer spezifisch für diesen bestimmten Versicherer ist, konfigurieren wir das allgemeine Feld so, dass es von Grund auf trainiert werden kann. Andererseits ist die gesicherte Organisation ein Organisationstyp, daher konfigurieren wir sie basierend auf dem integrierten Feld „Organisation“ so, dass sie trainierbar ist. Schließlich stellen wir fest, dass Agenten nicht immer ihren Namen in die E-Mail-Adresse einfügen. Daher entscheiden wir uns, die E-Mail-Adresse des Agenten (verfügbar in den Kommentar-Metadaten) zu verwenden, um den entsprechenden Namen in einer internen Datenbank zu suchen, anstatt ihn als zu extrahieren Allgemeines Feld.

In der folgenden Tabelle werden diese Ansätze zusammengefasst.

Konfiguration	Einsatzbereich	Beispiele
Trainierbares allgemeines Feld ohne allgemeines Basisfeld	Wird am häufigsten für verschiedene Arten von internen IDs verwendet oder wenn in Communications Mining kein geeignetes allgemeines Basisfeld vorhanden ist.	Richtliniennummer, Kunden-ID
Trainierbares allgemeines Feld mit allgemeinem Basisfeld	Wird zum Anpassen eines vorhandenen vorgefertigten allgemeinen Felds in Communications Mining verwendet.	Kündigungsdatum (basierend auf Datum), Versicherte Organisation (basierend auf Organisation)
Vorgefertigte allgemeine Felder (nicht trainierbar)	Wird für allgemeine Felder verwendet, die genau wie definiert abgeglichen werden sollten, wenn das Training zu Fehlern führen würde.	ist in
Verwenden von Kommentarmetadaten anstelle allgemeiner Felder	Wird verwendet, wenn erforderliche Informationen bereits in strukturierter Form in den Kommentarmetadaten vorhanden sind.	Absenderadresse, Absenderdomäne

Verwenden von allgemeinen Feldern in Ihrer Anwendung

Communications Mining™ bietet mehrere Möglichkeiten zum Abrufen von Vorhersagen, einschließlich vorhergesagter allgemeiner Felder. In der Übersicht zum Datendownload finden Sie weitere Informationen, welche Methode für Ihren Anwendungsfall am besten geeignet ist.

Egal, welche Methode Sie wählen: Sie müssen sich der folgenden Grenzfälle bewusst sein und sie in Ihrer Anwendung behandeln:

• Nicht alle erwarteten allgemeinen Felder sind in der Antwort vorhanden
• Die Antwort enthält mehrere Übereinstimmungen für ein oder mehrere allgemeine Felder
• Nicht alle allgemeinen Felder in der Antwort sind korrekt

In diesem Abschnitt gehen wir auf jeden dieser Randfälle detaillierter ein.

Nicht alle allgemeinen Felder sind in der Antwort vorhanden

Sie sollten damit rechnen, dass Fälle behandelt werden, in denen nicht alle erwarteten allgemeinen Felder vorhanden sind. Im folgenden Beispiel hat die E-Mail die Versicherungsnummer, aber nicht den Namen der gesicherten Organisation. Ihre Anwendung sollte in der Lage sein, solche Teilinformationen zu verarbeiten.

Abbildung 3. Fehlende vertrauliche Organisation

Die Antwort enthält mehrere Übereinstimmungen für ein oder mehrere allgemeine Felder

Sie sollten auch das Gegenteil vom vorherigen Fall behandeln, d. h. Fälle, in denen ein Kommentar mehr allgemeine Felder als erwartet hat. Obwohl wir im folgenden Beispiel eine Versicherungsnummer und einen Namen der Versicherungsorganisation pro E-Mail erwarten, hat die E-Mail mehrere Versicherungsnummern.

Abbildung 4. Mehrere Übereinstimmungen für dasselbe allgemeine Feld

Beachten Sie, dass Sie bei der Bearbeitung solcher Fälle die Metadaten in der Antwort verwenden können. Zum Beispiel können wir Richtliniennummern, die im E-Mail-Betreff angezeigt werden, gegenüber denen auswählen, die im E-Mail-Text erscheinen. Das folgende Beispiel zeigt die Antwort, die die API für unsere Beispiel-E-Mail zurückgibt.

{
  "predictions": [
    {
      "uid": "aa05ba2250de48e3.7588b85f68f81c3b",
      "labels": [...],
      "entities": [
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "body",
            "message_index": 0,
            "utf16_byte_start": 200,
            "utf16_byte_end": 222,
            "char_start": 100,
            "char_end": 111
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0204963"
        },
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "subject",
            "message_index": 0,
            "utf16_byte_start": 0,
            "utf16_byte_end": 22,
            "char_start": 0,
            "char_end": 11
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0068448"
        },
        {...},
        {...},
        {...}
      ]
    }
  ],
  "model": {
    "version": 31,
    "time": "2021-07-14T15:00:57.608000Z"
  },
  "status": "ok"
}

Nicht alle allgemeinen Felder in der Antwort sind korrekt

Da allgemeine Felder mithilfe von Machine Learning extrahiert werden, sollten Sie schließlich mit falschen Übereinstimmungen rechnen. Die Anzahl der falschen Übereinstimmungen hängt vom allgemeinen Feld ab, das Sie verwenden. Auf der Seite Validierung Ihres Datasets finden Sie Validierungsstatistiken, um die Leistung eines Felds zu verstehen.

Abbildung 5. Validierung von allgemeinen Feldern