Allgemeine Feldextraktion

Communications Mining™ extracts the following types of output from unstructured text:

• Beschriftungen
• Allgemeine Felder

Labels describe the entire message, for example, Cancellation, Trade failure, or Urgent. General fields refer to specific parts of the message, for example, Counterparty name, Customer ID, or Cancellation date.

In a downstream process, labels are used to triage, prioritize, and decide what kind of action should be taken. General fields are used to fill in fields of requests. For example, a downstream process may filter messages to those that have the Cancellation label, and then use the extracted Customer ID and Cancellation date general fields to call an API to automatically process the cancellation.

Communications Mining comes with a number of built-in general fields for common concepts, such as Organization, Currency Code, or Date. You can customize the built-in general fields of Communications Mining so that they are tailored to your specific use case. For example, Communications Mining has a highly trained pre-built Date general field which you can use as a starting point for a more customized general field such as Renewal Date or Cancellation Date. Alternatively, you can start from scratch and teach Communications Mining to recognize something completely new.

Konfigurieren allgemeiner Felder

Wir verwenden einen Anwendungsfall einer Versicherung als Beispiel. Das Postfach des Versicherers erhält E-Mails von Agenten, die zur Verarbeitung an verschiedene Teams weitergeleitet werden sollten. In diesem Beispiel wurde das Dataset bereits trainiert und die Taxonomie sieht folgendermaßen aus:

Abbildung 1. Beispieltaxonomie

Dieses Postfach erhält Verlängerungs-, Stornierungs- und Administratoranforderungen, die gelegentlich dringend sind. Communications Mining™ wurde trainiert, um jedes dieser Konzepte zu erkennen. Communications Mining Vorhersagen können verwendet werden, um die E-Mails durch das Erstellen von Support-Tickets an das richtige Team zu sortieren.

Um sicherzustellen, dass dem Kunden schnell reagiert wird, können wir einige wichtige Datenpunkte extrahieren, die den nachgelagerten Teams bei der Bearbeitung der Anfrage helfen. Insbesondere möchten wir die Versicherungsnummer, den Namen der gesicherten Organisation und den Namen des Versicherten aus der E-Mail extrahieren. Dazu können wir die allgemeine Feldextraktion verwenden.

Abbildung 2. Konfigurierte allgemeine Felder

Da das Format der Versicherungsnummer spezifisch für diesen bestimmten Versicherer ist, konfigurieren wir das allgemeine Feld so, dass es von Grund auf trainiert werden kann. Andererseits ist die gesicherte Organisation ein Organisationstyp, daher konfigurieren wir sie basierend auf dem integrierten Feld „Organisation“ so, dass sie trainierbar ist. Schließlich stellen wir fest, dass Agenten nicht immer ihren Namen in die E-Mail-Adresse einfügen. Daher entscheiden wir uns, die E-Mail-Adresse des Agenten (verfügbar in den Kommentar-Metadaten) zu verwenden, um den entsprechenden Namen in einer internen Datenbank zu suchen, anstatt ihn als zu extrahieren Allgemeines Feld.

The following table summarizes these approaches.

Konfiguration	Einsatzbereich	Beispiele
Trainierbares allgemeines Feld ohne allgemeines Basisfeld	Wird am häufigsten für verschiedene Arten von internen IDs verwendet oder wenn in Communications Mining kein geeignetes allgemeines Basisfeld vorhanden ist.	Richtliniennummer, Kunden-ID
Trainierbares allgemeines Feld mit allgemeinem Basisfeld	Wird zum Anpassen eines vorhandenen vorgefertigten allgemeinen Felds in Communications Mining verwendet.	Kündigungsdatum (basierend auf Datum), Versicherte Organisation (basierend auf Organisation)
Vorgefertigte allgemeine Felder (nicht trainierbar)	Wird für allgemeine Felder verwendet, die genau wie definiert abgeglichen werden sollten, wenn das Training zu Fehlern führen würde.	ist in
Verwenden von Kommentarmetadaten anstelle allgemeiner Felder	Wird verwendet, wenn erforderliche Informationen bereits in strukturierter Form in den Kommentarmetadaten vorhanden sind.	Absenderadresse, Absenderdomäne

Verwenden von allgemeinen Feldern in Ihrer Anwendung

Communications Mining™ bietet mehrere Möglichkeiten zum Abrufen von Vorhersagen, einschließlich vorhergesagter allgemeiner Felder. In der Übersicht zum Datendownload finden Sie weitere Informationen, welche Methode für Ihren Anwendungsfall am besten geeignet ist.

Egal, welche Methode Sie wählen: Sie müssen sich der folgenden Grenzfälle bewusst sein und sie in Ihrer Anwendung behandeln:

• Nicht alle erwarteten allgemeinen Felder sind in der Antwort vorhanden
• Die Antwort enthält mehrere Übereinstimmungen für ein oder mehrere allgemeine Felder
• Nicht alle allgemeinen Felder in der Antwort sind korrekt

In diesem Abschnitt gehen wir auf jeden dieser Randfälle detaillierter ein.

Nicht alle allgemeinen Felder sind in der Antwort vorhanden

You should expect to handle cases where not all expected general fields are present. In the following example, the email has the policy number, but doesn't have the insured organization name. Your application should be able to handle such partial information.

Figure 3. Missing Insured Organization

Die Antwort enthält mehrere Übereinstimmungen für ein oder mehrere allgemeine Felder

You should also expect to handle the opposite of the previous case, namely cases where a comment has more general fields than expected. In the following example, even though we expect one policy number and insured organization name per email, the email has multiple policy numbers.

Figure 4. Multiple matches for the same general field

Note that you can use the metadata in the response when handling such cases. For example, we can choose to preferentially pick policy numbers that appear in the email subject over those that appear in the email body. The following example shows the response that the API will return for our example email.

{
  "predictions": [
    {
      "uid": "aa05ba2250de48e3.7588b85f68f81c3b",
      "labels": [...],
      "entities": [
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "body",
            "message_index": 0,
            "utf16_byte_start": 200,
            "utf16_byte_end": 222,
            "char_start": 100,
            "char_end": 111
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0204963"
        },
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "subject",
            "message_index": 0,
            "utf16_byte_start": 0,
            "utf16_byte_end": 22,
            "char_start": 0,
            "char_end": 11
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0068448"
        },
        {...},
        {...},
        {...}
      ]
    }
  ],
  "model": {
    "version": 31,
    "time": "2021-07-14T15:00:57.608000Z"
  },
  "status": "ok"
}

Nicht alle allgemeinen Felder in der Antwort sind korrekt

Da allgemeine Felder mithilfe von Machine Learning extrahiert werden, sollten Sie schließlich mit falschen Übereinstimmungen rechnen. Die Anzahl der falschen Übereinstimmungen hängt vom allgemeinen Feld ab, das Sie verwenden. Auf der Seite Validierung Ihres Datasets finden Sie Validierungsstatistiken, um die Leistung eines Felds zu verstehen.

Figure 5. General field validation