Extração de campo geral

O Communications Mining™ extrai os seguintes tipos de saída de texto não estruturado:

• Rótulos
• Campos gerais

Os rótulos descrevem toda a mensagem, por exemplo, Cancelamento, Falha comercial ou Urgente. Os campos gerais referem-se a partes específicas da mensagem, como por exemplo, Nome da contraparte, ID do cliente ou Data do cancelamento.

Em um processo downstream, os rótulos são usados para classificar, priorizar e decidir que tipo de ação deve ser executada. Os campos gerais são usados para preencher os campos de solicitações. Por exemplo, um processo downstream pode filtrar mensagens para aquelas que têm o rótulo de Cancelamento e, em seguida, usar os campos gerais extraídos ID do cliente e Data de cancelamento para chamar uma API para processar automaticamente o cancelamento.

O Communications Mining vem com vários campos gerais integrados para conceitos comuns, como Organização, Código de moeda ou Data. Você pode personalizar os campos gerais integrados do Communications Mining para que sejam adaptados ao seu caso de uso específico. Por exemplo, o Communications Mining tem um campo geral Data pré-construído altamente treinado que você pode usar como ponto de partida para um campo geral mais personalizado, como Data de renovação ou Data de cancelamento. Alternativamente, você pode começar do zero e treinar o Communications Mining a reconhecer algo completamente novo.

Configuração de campos gerais

Usaremos um caso de uso de seguro como nosso exemplo. A caixa de correio da seguradora recebe e-mails de Corretores que devem ser transferidos para diferentes equipes para processamento. Neste exemplo, o conjunto de dados já foi treinado e a taxonomia se parece com isto:

Figura 1. Taxonomia de exemplo

Esta caixa de correio recebe solicitações de Renovação, Cancelamento e Administrador que ocasionalmente são Urgentes. O Communications Mining™ foi treinado para reconhecer cada um desses conceitos, e as previsões do Communications Mining podem ser usadas para classificar os emails para a equipe correta criando tickets de suporte.

Para garantir que o cliente seja respondido rapidamente, podemos extrair alguns pontos de dados importantes que ajudarão as equipes downstream a processar a solicitação. Especificamente, queremos extrair o número da apólice, o nome da organização segurada e o nome do correto do e-mail. Podemos usar a extração de campo geral para fazer isso.

Figura 2. Campos gerais configurados

Como o formato do número da apólice é específico para essa seguradora em particular, configuramos o campo geral para ser treinado do zero. Por outro lado, a organização segurada é um tipo de organização e, portanto, a configuramos para ser treinável com base no campo geral da Organização integrado. Por fim, observamos que os agente nem sempre coloca seu nome no e-mail, então decidimos usar o endereço de e-mail do agente (disponível nos metadados dos comentários) para procurar o nome correspondente em um banco de dados interno, em vez de extraí-lo como um campo geral.

A tabela a seguir resume essas abordagens.

Configuração	Quando usar	Exemplos
Campo geral treinável sem campo geral de base	Usado mais frequentemente para vários tipos de IDs internos ou quando não há nenhum campo geral de base adequado no Communications Mining.	Número da apólice, ID do cliente
Campo geral treinável com campo geral base	Usado para personalizar um campo geral pré-construído existente no Communications Mining.	Data de Cancelamento (com base na Data), Organização Segurada (com base na Organização)
Campos gerais pré-construídos (não treináveis)	Usado para campos gerais que devem ser correspondidos exatamente conforme definidos, onde o treinamento geraria erros.	está em
Como usar metadados de comentário em vez de campos gerais	Usado quando as informações necessárias já estão presentes em forma estruturada nos metadados do comentário.	Endereço do remetente, Domínio do remetente

Uso de campos gerais em seu aplicativo

O Communications Mining™ fornece várias maneiras de buscar previsões, incluindo campos gerais previstos. Consulte a visão geral do download de dados para entender qual método funcionará melhor no seu caso de uso.

Seja qual for o método escolhido, você precisa estar ciente dos seguintes casos extremos e lidar com eles em seu aplicativo:

• Nem todos os campos gerais esperados estão presentes na resposta
• A resposta contém várias correspondências para um ou mais campos gerais
• Nem todos os campos gerais presentes na resposta estão corretos

Nesta seção, examinamos cada um desses casos extremos com mais detalhes.

Nem todos os campos gerais estão presentes na resposta

Você deve lidar com casos em que nem todos os campos gerais esperados estão presentes. No exemplo a seguir, o e-mail tem o número da apólice, mas não tem o nome da organização segurada. Seu aplicativo deve ser capaz de lidar com essas informações parciais.

Figura 3. Organização de segurado ausente

A resposta contém várias correspondências para um ou mais campos gerais

Você também deve esperar lidar com o oposto do caso anterior, ou seja, casos em que um comentário tem mais campos gerais do que o esperado. No exemplo a seguir, embora esperemos um número de apólice e um nome de organização segurada por e-mail, o e-mail tem vários números de apólice.

Figura 4. Várias correspondências para o mesmo campo geral

Observe que você pode usar os metadados na resposta ao lidar com esses casos. Por exemplo, podemos optar por escolher preferencialmente números de política que aparecem no assunto de e-mail em vez daqueles que aparecem no corpo do e-mail. O seguinte exemplo mostra a resposta que a API retornará para o nosso e-mail de exemplo.

{
  "predictions": [
    {
      "uid": "aa05ba2250de48e3.7588b85f68f81c3b",
      "labels": [...],
      "entities": [
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "body",
            "message_index": 0,
            "utf16_byte_start": 200,
            "utf16_byte_end": 222,
            "char_start": 100,
            "char_end": 111
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0204963"
        },
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "subject",
            "message_index": 0,
            "utf16_byte_start": 0,
            "utf16_byte_end": 22,
            "char_start": 0,
            "char_end": 11
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0068448"
        },
        {...},
        {...},
        {...}
      ]
    }
  ],
  "model": {
    "version": 31,
    "time": "2021-07-14T15:00:57.608000Z"
  },
  "status": "ok"
}

Nem todos os campos gerais presentes na resposta estão corretos

Por fim, como os campos gerais são extraídos usando aprendizado de máquina, você deve esperar receber correspondências erradas. O número de correspondências erradas dependerá do campo geral que você está usando. A página Validação de seu conjunto de dados fornece estatísticas de validação para entender como um campo geral será executado.

Figura 5. Validação de campo geral