Extração de campo geral

Communications Mining™ extracts the following types of output from unstructured text:

• Rótulos
• Campos gerais

Labels describe the entire message, for example, Cancellation, Trade failure, or Urgent. General fields refer to specific parts of the message, for example, Counterparty name, Customer ID, or Cancellation date.

In a downstream process, labels are used to triage, prioritize, and decide what kind of action should be taken. General fields are used to fill in fields of requests. For example, a downstream process may filter messages to those that have the Cancellation label, and then use the extracted Customer ID and Cancellation date general fields to call an API to automatically process the cancellation.

Communications Mining comes with a number of built-in general fields for common concepts, such as Organization, Currency Code, or Date. You can customize the built-in general fields of Communications Mining so that they are tailored to your specific use case. For example, Communications Mining has a highly trained pre-built Date general field which you can use as a starting point for a more customized general field such as Renewal Date or Cancellation Date. Alternatively, you can start from scratch and teach Communications Mining to recognize something completely new.

Configuração de campos gerais

Usaremos um caso de uso de seguro como nosso exemplo. A caixa de correio da seguradora recebe e-mails de Corretores que devem ser transferidos para diferentes equipes para processamento. Neste exemplo, o conjunto de dados já foi treinado e a taxonomia se parece com isto:

Figura 1. Taxonomia de exemplo

Esta caixa de correio recebe solicitações de Renovação, Cancelamento e Administrador que ocasionalmente são Urgentes. O Communications Mining™ foi treinado para reconhecer cada um desses conceitos, e as previsões do Communications Mining podem ser usadas para classificar os emails para a equipe correta criando tickets de suporte.

Para garantir que o cliente seja respondido rapidamente, podemos extrair alguns pontos de dados importantes que ajudarão as equipes downstream a processar a solicitação. Especificamente, queremos extrair o número da apólice, o nome da organização segurada e o nome do correto do e-mail. Podemos usar a extração de campo geral para fazer isso.

Figura 2. Campos gerais configurados

Como o formato do número da apólice é específico para essa seguradora em particular, configuramos o campo geral para ser treinado do zero. Por outro lado, a organização segurada é um tipo de organização e, portanto, a configuramos para ser treinável com base no campo geral da Organização integrado. Por fim, observamos que os agente nem sempre coloca seu nome no e-mail, então decidimos usar o endereço de e-mail do agente (disponível nos metadados dos comentários) para procurar o nome correspondente em um banco de dados interno, em vez de extraí-lo como um campo geral.

The following table summarizes these approaches.

Configuração	Quando usar	Exemplos
Campo geral treinável sem campo geral de base	Usado mais frequentemente para vários tipos de IDs internos ou quando não há nenhum campo geral de base adequado no Communications Mining.	Número da apólice, ID do cliente
Campo geral treinável com campo geral base	Usado para personalizar um campo geral pré-construído existente no Communications Mining.	Data de Cancelamento (com base na Data), Organização Segurada (com base na Organização)
Campos gerais pré-construídos (não treináveis)	Usado para campos gerais que devem ser correspondidos exatamente conforme definidos, onde o treinamento geraria erros.	está em
Como usar metadados de comentário em vez de campos gerais	Usado quando as informações necessárias já estão presentes em forma estruturada nos metadados do comentário.	Endereço do remetente, Domínio do remetente

Uso de campos gerais em seu aplicativo

O Communications Mining™ fornece várias maneiras de buscar previsões, incluindo campos gerais previstos. Consulte a visão geral do download de dados para entender qual método funcionará melhor no seu caso de uso.

Seja qual for o método escolhido, você precisa estar ciente dos seguintes casos extremos e lidar com eles em seu aplicativo:

• Nem todos os campos gerais esperados estão presentes na resposta
• A resposta contém várias correspondências para um ou mais campos gerais
• Nem todos os campos gerais presentes na resposta estão corretos

Nesta seção, examinamos cada um desses casos extremos com mais detalhes.

Nem todos os campos gerais estão presentes na resposta

You should expect to handle cases where not all expected general fields are present. In the following example, the email has the policy number, but doesn't have the insured organization name. Your application should be able to handle such partial information.

Figure 3. Missing Insured Organization

A resposta contém várias correspondências para um ou mais campos gerais

You should also expect to handle the opposite of the previous case, namely cases where a comment has more general fields than expected. In the following example, even though we expect one policy number and insured organization name per email, the email has multiple policy numbers.

Figure 4. Multiple matches for the same general field

Note that you can use the metadata in the response when handling such cases. For example, we can choose to preferentially pick policy numbers that appear in the email subject over those that appear in the email body. The following example shows the response that the API will return for our example email.

{
  "predictions": [
    {
      "uid": "aa05ba2250de48e3.7588b85f68f81c3b",
      "labels": [...],
      "entities": [
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "body",
            "message_index": 0,
            "utf16_byte_start": 200,
            "utf16_byte_end": 222,
            "char_start": 100,
            "char_end": 111
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0204963"
        },
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "subject",
            "message_index": 0,
            "utf16_byte_start": 0,
            "utf16_byte_end": 22,
            "char_start": 0,
            "char_end": 11
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0068448"
        },
        {...},
        {...},
        {...}
      ]
    }
  ],
  "model": {
    "version": 31,
    "time": "2021-07-14T15:00:57.608000Z"
  },
  "status": "ok"
}

Nem todos os campos gerais presentes na resposta estão corretos

Por fim, como os campos gerais são extraídos usando aprendizado de máquina, você deve esperar receber correspondências erradas. O número de correspondências erradas dependerá do campo geral que você está usando. A página Validação de seu conjunto de dados fornece estatísticas de validação para entender como um campo geral será executado.

Figure 5. General field validation