Extracción de campos general

Communications Mining™ extracts the following types of output from unstructured text:

• Etiquetas
• Campos generales

Labels describe the entire message, for example, Cancellation, Trade failure, or Urgent. General fields refer to specific parts of the message, for example, Counterparty name, Customer ID, or Cancellation date.

In a downstream process, labels are used to triage, prioritize, and decide what kind of action should be taken. General fields are used to fill in fields of requests. For example, a downstream process may filter messages to those that have the Cancellation label, and then use the extracted Customer ID and Cancellation date general fields to call an API to automatically process the cancellation.

Communications Mining comes with a number of built-in general fields for common concepts, such as Organization, Currency Code, or Date. You can customize the built-in general fields of Communications Mining so that they are tailored to your specific use case. For example, Communications Mining has a highly trained pre-built Date general field which you can use as a starting point for a more customized general field such as Renewal Date or Cancellation Date. Alternatively, you can start from scratch and teach Communications Mining to recognize something completely new.

Configurar campos generales

Utilizaremos un caso de uso de seguros como ejemplo. El buzón de la aseguradora recibe correos electrónicos de los corredores que deben clasificarse en diferentes equipos para su procesamiento. En este ejemplo, el conjunto de datos ya se ha entrenado y la taxonomía tiene el siguiente aspecto:

Figura 1. Taxonomía de ejemplo

Este buzón recibe solicitudes de renovación, cancelación y administración que ocasionalmente son Urgentes. Communications Mining™ ha sido entrenado para reconocer cada uno de estos conceptos, y las predicciones de Communications Mining pueden utilizarse para clasificar los correos electrónicos al equipo correcto creando tickets de soporte.

Para garantizar que el cliente recibe una respuesta rápida, podemos extraer algunos puntos de datos clave que ayudarán a los equipos posteriores a procesar la solicitud. En concreto, queremos extraer el número de póliza, el nombre de la organización asegurada y el nombre del corredor del correo electrónico. Para ello, podemos utilizar la extracción general de campos.

Figura 2. Campos generales configurados

Dado que el formato del número de póliza es específico de esta aseguradora en particular, configuramos el campo general para que sea entrenable desde cero. Por otro lado, la organización asegurada es un tipo de organización, por lo que la configuramos para que sea entrenable en función del campo general Organización incorporado. Por último, hemos observado que los intermediarios no siempre ponen su nombre en el correo electrónico, por lo que decidimos utilizar la dirección de correo electrónico del intermediario (disponible en los metadatos de los comentarios) para buscar el nombre correspondiente en una base de datos interna, en lugar de extraerlo como campo general.

The following table summarizes these approaches.

Configuración	Cuándo utilizarlo	Ejemplos
Campo general entrenable sin campo general base	Se utiliza con mayor frecuencia para varios tipos de ID internos, o cuando no hay un campo general base adecuado en Communications Mining.	Número de póliza, ID de cliente
Campo general entrenable con campo general base	Se utiliza para personalizar un campo general prediseñado existente en Communications Mining.	Fecha de cancelación (basada en la fecha), organización asegurada (basada en la organización)
Campos generales prediseñados (no entrenables)	Se utiliza para campos generales que deben coincidir exactamente como se definen, en los que el entrenamiento invitaría a errores.	es en
Utilizar metadatos de comentarios en lugar de campos generales	Se utiliza cuando la información necesaria ya está presente en forma estructurada en los metadatos del comentario.	Dirección del remitente, Dominio del remitente

Utilizar campos generales en tu aplicación

Communications Mining™ ofrece múltiples formas de obtener predicciones, incluidos los campos generales previstos. Consulta la descripción general de la descarga de datos para comprender qué método funcionará mejor para tu caso de uso.

Cualquiera que sea el método que elijas, debes tener en cuenta los siguientes casos límite y manejarlos en tu aplicación:

• No todos los campos generales esperados están presentes en la respuesta
• La respuesta contiene varias coincidencias para uno o más campos generales
• No todos los campos generales presentes en la respuesta son correctos

En esta sección repasaremos cada uno de estos casos límite con más detalle.

No todos los campos generales están presentes en la respuesta

You should expect to handle cases where not all expected general fields are present. In the following example, the email has the policy number, but doesn't have the insured organization name. Your application should be able to handle such partial information.

Figure 3. Missing Insured Organization

La respuesta contiene varias coincidencias para uno o más campos generales

You should also expect to handle the opposite of the previous case, namely cases where a comment has more general fields than expected. In the following example, even though we expect one policy number and insured organization name per email, the email has multiple policy numbers.

Figure 4. Multiple matches for the same general field

Note that you can use the metadata in the response when handling such cases. For example, we can choose to preferentially pick policy numbers that appear in the email subject over those that appear in the email body. The following example shows the response that the API will return for our example email.

{
  "predictions": [
    {
      "uid": "aa05ba2250de48e3.7588b85f68f81c3b",
      "labels": [...],
      "entities": [
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "body",
            "message_index": 0,
            "utf16_byte_start": 200,
            "utf16_byte_end": 222,
            "char_start": 100,
            "char_end": 111
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0204963"
        },
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "subject",
            "message_index": 0,
            "utf16_byte_start": 0,
            "utf16_byte_end": 22,
            "char_start": 0,
            "char_end": 11
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0068448"
        },
        {...},
        {...},
        {...}
      ]
    }
  ],
  "model": {
    "version": 31,
    "time": "2021-07-14T15:00:57.608000Z"
  },
  "status": "ok"
}

No todos los campos generales presentes en la respuesta son correctos

Por último, dado que los campos generales se extraen mediante el aprendizaje automático, debes esperar recibir coincidencias incorrectas. El número de coincidencias incorrectas dependerá del campo general que esté utilizando. La página Validación de tu conjunto de datos proporciona estadísticas de validación para comprender cómo funcionará un campo general.

Figure 5. General field validation