Uso dos campos gerais

Um guia para configurar e treinar Campos Gerais na plataforma.

Definição e configuração de seus campos

É importante definir os principais pontos de dados (ou seja, campos) que você deseja extrair de seus dados do Communications Mining™. Elas normalmente facilitam a automação downstream, mas também podem ser úteis para análises - especialmente para avaliar a taxa de sucesso potencial e o benefício das oportunidades de automação.

As definições abaixo ajudam a entender a diferença entre campos gerais e de extração:

• Os campos gerais são campos que você pode querer extrair, que podem ser encontrados em vários tópicos/rótulos diferentes em um conjunto de dados.
• Os campos de extração são os campos condicionadas e criadas em um rótulo específico. Em outras palavras, ele está vinculado a um rótulo específico que você deseja automatizar.

Observação: se a extração generativa estiver disponível em sua região, é recomendável usar campos gerais como backup para campos de extração, caso não haja previsões de rótulos confiáveis para uma mensagem. Use campos de extração, vinculados a rótulos específicos, para facilitar a automação de ponta a ponta, e campos gerais para a classificação automatizada.

Confira a documentação oficial para saber mais sobre os campos Extração generativa e Geral vs. extração. Se a Extração generativa não estiver disponível em sua região, continue a usar os campos gerais normalmente. O restante desta seção fornece orientação sobre como usar campos gerais.

Em última análise, as previsões de campos gerais, combinadas com rótulos, podem facilitar a automação, fornecendo os pontos de dados estruturados necessários para concluir uma tarefa ou processo específico. É muito mais eficiente treinar campos gerais em seu conjunto de dados em conjunto com rótulos, em vez de se concentrar em um e depois no outro (ou seja, treinar campos gerais após treinar uma taxonomia completa de rótulos).

Observação: se você quiser automatizar solicitações de Alteração de endereço , um rótulo será usado para capturar o tipo de solicitação, enquanto os campos gerais capturarão os vários componentes do endereço (ou seja, Linha de endereço, Cidade, Código postal/Código postal, etc.). Cada previsão é disponibilizada por meio da API, permitindo que cada mensagem seja executada.

Noções Básicas sobre Campos

Observação: se a extração generativa estiver disponível em sua região, é recomendável usar campos gerais como backup para campos de extração, caso não haja previsões de rótulos confiáveis para uma mensagem. Use campos de extração, vinculados a rótulos específicos, para facilitar a automação de ponta a ponta, e campos gerais para a classificação automatizada.

Para obter mais detalhes, consulte Extração generativa e Campos gerais e campos de extração. Se a extração generativa não estiver disponível em sua região, continue a usar os campos gerais normalmente. O resto desta seção fornece orientação sobre como usar campos gerais.

Os campos gerais são elementos adicionais de dados estruturados que podem ser extraídos das mensagens em seu conjunto de dados. Os campos gerais incluem pontos de dados, como quantidades monetários, datas, códigos de moeda, endereços de e-mail, URLs, bem como muitas outras categorias específicas do setor.

A plataforma pode prever a maioria dos campos gerais, exceto os treinados do zero, assim que são habilitados, pois pode identificá-los com base em seu formato típico, ou em algumas instâncias muito específico, e um conjunto de treinamento de campos gerais semelhantes.

Semelhante aos rótulos, você pode aceitar ou rejeitar campos gerais que são previstos corretamente ou incorretamente, aprimorando a capacidade do modelo de identificá-los no futuro.

Tipos de campos gerais

Os campos gerais podem ser dos seguintes tipos:

• Campos gerais pré-treinados, que são baseados em um conjunto de regras padrão ou definidas personalizadas, por exemplo, quantidade monetário, URL e data.
• Campos gerais treinados do zero, que são baseados no machine learning. Você pode treinar esses campos da mesma forma que treinaria rótulos.

Campos gerais treináveis e não treináveis

Campos gerais treináveis

Todos os campos gerais:

• podem ser treinados por natureza quando treinados do zero.
• podem ser treinados quando habilitados, que são todos os outros tipos de campos gerais.

Os campos gerais treináveis são aqueles que serão atualizados em tempo real na plataforma com base no treinamento fornecido aos usuários. Para obter mais detalhes sobre treinamento de campos gerais, consulteRevisando e aplicando campos gerais.

Se você habilitar o treinamento em um campo geral pré-treinado com base em um conjunto de regras padrão ou definidas personalizadas, você pode refinar a compreensão da plataforma desse campo geral dentro dos parâmetros dessas regras. Essencialmente, um treinamento adicional reduzirá o escopo do que a plataforma pode considerar como campo geral, mas não o aumentará.

Isso ocorre porque muitos desses campos gerais, como datas, como amanhã, e quantidades monetários, como £20, precisam ser normalizados em um formato de dados estruturado para sistemas downstream. Além disso, para campos gerais, como ISINs ou CUSIPs, eles devem ter um formato definido. Portanto, a plataforma não deve ser treinada para prever qualquer coisa que não esteja em conformidade com seus formatos definidos.

Quando quaisquer campos gerais treináveis são atribuídos, a plataforma examina o texto do campo geral, bem como o contexto do campo geral dentro do restante da comunicação, ou seja, o que acontece antes e depois do valor do campo geral no mesmo parágrafo, e a que o envolve. Ele aprende a prever melhor o campo geral com base nos próprios valores, além de como o valor aparece dentro do contexto da comunicação.

Campos gerais não treináveis

Se um campo geral pré-treinado não for definido como treinável, você ainda poderá aceitar ou rejeitar as previsões do campo geral que você identificar em seu conjunto de dados. Elas são atualizadas e refinadas offline usando esse feedback do usuário na plataforma.

É útil que você aceite ou rejeite esses campos gerais ao revisar as mensagens.

Para saber mais sobre como habilitar campos gerais em um conjunto de dados, consulte a página Habilitação, desabilitação, atualização e criação de campos gerais .

Modelos pré-construídos para campos gerais

Observação: você pode habilitar todos os campos gerais como treináveis, para refinar a compreensão da plataforma deles por meio de treinamento e reduzir o escopo do que a plataforma considera ser um campo geral desse tipo.

Tipos de campo de modelo padrão para campos gerais

Ao configurar tipos de campos gerais, você pode selecionar uma das seguintes opções pré-construídas, por meio da opção modelo ao selecionar o tipo de dados para o tipo de campo:

Tipo de campo geral	Description
Email	Um endereço de email.
Moeda	Um código de moeda, como GBP,CHF ou USD.
URL	Um URL de recurso uniforme, ou seja, endereço da Web.
SEDOL	Um identificador de segurança financeira, abreviação de Lista Oficial Diária da Exchange de Valores, com 7 caracteres.
Código BIC	Um Código de Identificação de Negócios (BIC) é um padrão internacional sob a ISO 9362 para rotear transações de negócios e identificar partes do negócio. O código BIC tem 8 ou 11 caracteres.
LEI	Um Identificador de entidade legal (LEI) é um identificador global exclusivo de entidades legais que participam de transações financeiras. O LEI é formatado como um código alfanumérico de 20 caracteres.
está em	Um Número Internacional de Identificação de Valores Mobiliários (ISIN) identifica exclusivamente um título financeiro. ISIN é um código alfanumérico de 12 caracteres.
Marcação ao mercado (MTM ou M2M)	Marcação a mercado refere-se ao valor direito de um ativo ou passivo. A marcação a mercado é baseada no preço de mercado atual, no preço de ativos e passivos semelhantes ou em outro valor de mercado objectivamente obcecado.
CUSIP	Um CUSIP é um número de 9 dígitos ou um código alfanumérico de 9 caracteres que identifica um título financeiro norte-americano com a finalidade de facilitar a compensação e venda de negócios.

Gerenciamento de campos gerais

Observação:

• Você deve ter atribuído as permissões Origem - Ler e Conjunto de dados - Gerenciar como usuário do Automation Cloud, ou as permissões Visualizar origens e Modificar conjuntos de dados ou Administrador de conjuntos de dados como um usuário legado.
• Você tem uma cota padrão de 25 campos gerais por conjunto de dados. Se você precisar de mais de 25 campos gerais, solicite um aumento de cota por meio da equipe de contas.

Habilitando campos gerais em um novo conjunto de dados

Para habilitar campos gerais em um novo conjunto de dados que você deseja criar, selecione-os durante o processo de configuração.

Selecione o botão de adição + na caixa mostrada abaixo e você receberá um menu suspenso de todos os campos gerais que você pode habilitar para esse conjunto de dados. Selecione todos os campos gerais que você deseja habilitar antes de criar o conjunto de dados. Se você adicionar algum erro, poderá selecionar o ícone X ao lado do nome do campo geral para removê-lo.

Para entender mais sobre como criar um novo conjunto de dados, consulte Criar um novo conjunto de dados.

Habilitar, atualizar e desabilitar campos gerais em um conjunto de dados existente

Se você deseja habilitar, atualizar ou desabilitar campos gerais para um conjunto de dados existente, você pode fazê-lo na guia Configurações na barra de navegação superior e, em seguida, selecionando a guia Rótulos e campos de extração.

Configurações > guia Rótulos e campos de extração

Habilitando campos gerais

Para habilitar campos gerais existentes, selecione dentro da caixa Campos gerais e selecione os campos gerais que você deseja habilitar no menu suspenso. Depois de estar satisfeito com suas seleções, selecione Atualizar campos gerais (conforme mostrado abaixo).

Esses campos gerais terão suas configurações pré-selecionadas para você. Você pode atualizá-los, incluindo torná-los treináveis, conforme mostrado abaixo.

Guia Campos gerais

Atualizando campos gerais

Para atualizar um campo geral habilitado, selecione o campo geral na caixa de campo geral, como mostrado nas imagens anteriores, e a janela modal Editar campo geral aparecerá como mostrado na imagem a seguir.

Aqui você pode atualizar o campo geral de base, o título do campo geral e o nome da API (esses conceitos são descritos em detalhes abaixo), além de tornar o campo geral 'treinável'.

Se você revisou anteriormente campos gerais para um tipo de campo geral que não foi definido como "treinável", essas informações ainda estão armazenadas.

Editar modal campo geral

Desabilitando campos gerais

Para remover quaisquer campos gerais selecionados, basta selecionar o ícone 'X' ao lado do nome do campo geral e, em seguida, selecionar Atualizar campos gerais.

Observação:

Se você remover um campo geral e selecionar Atualizar campos gerais, isso também removerá os dados de treinamento desse campo geral para este conjunto de dados. Se você escolheu reabilitar o campo geral, você precisará treiná-lo novamente.

Se você cometer um erro ao atualizar os campos gerais, selecione "Redefinir" antes de selecionar Atualizar campos gerais e suas alterações não serão aplicadas.

Criação de novos campos gerais

As seções anteriores abordaram como habilitar e atualizar campos gerais pré-treinados existentes para conjuntos de dados novos e existentes. Em cada instância, para um conjunto de dados novo ou existente, você também pode criar novos campos gerais.

Os campos gerais recém-criados podem ser baseados em um campo geral pré-treinado existente ou podem ser treinados do zero como um novo rótulo.

Você pode fazer isso selecionando o ícone de mais + na caixa de campo geral, seja na página Criar fluxo de conjunto de dados ou na página de configurações do conjunto de dados, como mostrado anteriormente.

Isso criará a janela Adicionar um novo modal de campo geral, conforme mostrado abaixo.

Aqui você pode definir os tipos de campo, título e nome da API, bem como selecionar se o campo geral é treinável ou não. Eles podem ser atualizados posteriormente, conforme mostrado anteriormente.

Depois de preencher cada um dos campos (explicação abaixo), basta selecionar "Criar ".

Criar novo modal de campo geral

Field types

• Isso servirá como o estado inicial do seu novo campo geral, e o menu suspenso conterá uma lista de todos os campos gerais pré-treinados disponíveis para você
  • Por exemplo, se você selecionar "Data" como seu campo geral base, todos os campos gerais previstos para esse tipo serão datas. Você pode treinar a plataforma para reconhecer apenas datas específicas

• Se você quiser treinar um campo geral totalmente do zero, você pode selecionar "Nenhum - Treinar do zero " e, então, você começa basicamente com uma tela em branco ao treinar o campo geral. As previsões da plataforma para este campo geral serão totalmente baseadas nos exemplos de treinamento que você fornecer

Título geral do campo

• O título do campo geral é o nome do campo geral que aparecerá na IU da plataforma

ApiName

• O nome da API do campo Geral é o que será retornado por meio da API quando ela fornecer previsões para mensagens
• O nome da API não pode conter nenhum espaço ou pontuação, exceto hífen (-) e sublinhado ( _)

============Pa======config mais Portal mais Portal mais Portal mais corretamente mais corretamente Portal mais Portal mais Rob saber saber por saber, Visualizar mais Permitidar =========DeParP e à mais

Habilitando campos gerais em um novo conjunto de dados

Para habilitar campos gerais em um novo conjunto de dados que você deseja criar, selecione-os durante o processo de configuração.

Selecione o botão de adição + na caixa mostrada abaixo e você receberá um menu suspenso de todos os campos gerais que você pode habilitar para esse conjunto de dados. Selecione todos os campos gerais que você deseja habilitar antes de criar o conjunto de dados. Se você adicionar algum erro, poderá selecionar o ícone X ao lado do nome do campo geral para removê-lo.

Para entender mais sobre como criar um novo conjunto de dados, consulte Criação de um novo conjunto de dados.

Gerenciamento de campos gerais em um conjunto de dados existente

Para habilitar, atualizar ou desabilitar campos gerais para um conjunto de dados existente, prossiga da seguinte forma:

1. Abra o conjunto de dados existente.
2. Selecione a guia Configurações .
3. Selecione Taxonomia e, em seguida , Rótulos e campos de extração.

Filtragem de campo geral

Observação: você deve ter atribuído as permissões Origem - Leitura e Conjunto de dados - Leitura como um usuário do Automation Cloud e as permissões Visualizar origens e Visualizar campos gerais como um usuário legado.

Semelhante aos rótulos, você pode filtrar mensagens de acordo com se elas têm campos gerais previstos ou atribuídos, tanto em Explorar quanto em Relatórios.

Você pode aplicar qualquer combinação dos filtros AND, QUALQUER DE e NÃO ao aplicar mais de um filtro de campo geral. Esses filtros podem dar a você uma flexibilidade muito maior ao treinar e interpretar seus dados e podem fornecer insights muito mais profundos sobre o que está acontecendo em seus canais de comunicação.

O que você pode fazer ao filtrar por previsões de campos gerais:

• Aplicar vários filtros de campos gerais de uma vez, tanto no Explorar quanto nos Relatórios
• Filtrar para mensagens que tenham um entre o número de campos gerais selecionados previstos. Por exemplo, QUALQUER do campo Geral X AND campo Geral Y E assim por diante.
• Filtrar para mensagens que tenham vários campos gerais diferentes previstos. Por exemplo, campo geral X AND campo geral Y AND assim por diante.
• Filtrar para mensagens que não têm determinados campos gerais previstos. Por exemplo, NÃO campo geral Y.
• Pesquise campos gerais que contêm termos de pesquisa específicos, enquanto têm filtros de campo geral aplicados.

Todos os campos gerais que você habilitou no seu conjunto de dados aparecerão como mostrado abaixo na barra de filtros. A atribuição de campos gerais é abordada em detalhes na Revisão e aplicação de campos gerais.

Aplicando filtros de previsão avançados

Agora há duas maneiras de aplicar filtros de campos gerais e você pode usá-los combinados para criar o tipo certo de consulta.

O estado padrão é aquele em que nenhum filtro é aplicado e todas as mensagens são exibidas, a menos que outro filtro seja aplicado.

Para atualizar o filtro de campo geral, use os botões explicados na tabela a seguir, que também mudam de cor quando selecionados:

	Mostrar mensagens que contenham qualquer campo geral anotado.
	Mostrar mensagens previstas para conter um campo geral

Se você quiser filtrar mensagens que tenham algum campo geral anotado ou previsto para conter um campo geral, use os botões na parte superior, conforme mostrado na tabela anterior. Se você quiser filtrar mensagens com campos gerais específicos anotados ou previstos, passe o mouse sobre o campo geral em questão e os mesmos dois botões aparecerão à direita.

Se você quiser filtrar para um campo geral atribuído ou previsto, selecione o nome do campo geral e ele mostra mensagens com qualquer um deles.

Para remover sua seleção, selecione o botão novamente e, para remover várias seleções, selecione Todos. Você também pode selecionar Limpar tudo na barra de filtro, mas isso limpará todos os filtros selecionados, não apenas os filtros de campos gerais.

A barra do campo Geral

A taxonomia dos campos gerais funciona como uma barra de filtro normal e permite que você selecione vários campos gerais de uma vez com uma única seleção para cada um.

Selecionar vários campos gerais da lista cria uma consulta do tipo ANY of .

Se você selecionou Campo geral A, Campo geral B e Campo geral C na barra de campo geral, isso cria uma consulta prevista Mostrar mensagens com Campo geral A, Campo geral B ou Campo geral C.

Ao filtrar para campos gerais específicos, você pode fazer várias seleções. Por exemplo, você pode filtrar para ver mensagens que têm um campo geral de linha de endereço atribuído OU um campo geral de cidade previsto, conforme mostrado na imagem a seguir.

Adicionar filtro de campo geral

A segunda opção de filtro é o botão de filtro Adicionar campo geral .

Isso habilita uma barra de campo geral suspensa que permite selecionar filtros mais complexos, como excluir certos campos gerais da consideração.

A partir deste menu suspenso, você pode selecionar vários campos gerais para incluir ou excluir selecionando o nome do campo geral (para atribuídos e previstos) ou os botões individuais (incluindo menos para onde esse campo geral não é atribuído nem previsto).

O resultado se parece com este exemplo, que retorna mensagens previstas para ter o campo geral ID da fatura, mas não o campo geral Prod ID atribuído ou previsto:

Você pode selecionar + Adicionar filtro de campo geral várias vezes para adicionar mais camadas à sua consulta. Dois filtros de campo geral separados criam uma consulta do tipo AND , enquanto que vários campos gerais selecionados no mesmo filtro de campo geral criam uma consulta do tipo ANYpara .

No exemplo abaixo, vários filtros de campo geral foram aplicados individualmente. Isso cria um filtro que retornará mensagens que se espera que tenham qualquer um dos três campos gerais no primeiro filtro, mas que também têm o campo geral Número da Apólice previsto e não têm o campo geral Código Postal do Reino Unido previsto ou atribuído.

Uma dica útil é que, ao selecionar o & fazer login em um filtro individual contendo vários campos gerais, você pode dividi-los automaticamente em filtros individuais. Isso alteraria a consulta de ANY of, ou seja, qualquer um desses campos gerais previstos para AND, ou seja, todos esses campos gerais previstos.

Combinação de filtros da barra de campos gerais e filtros de campos gerais adicionados

Você pode combinar filtros da barra de campo geral e filtros de campo geral adicionados individualmente. Os filtros aplicados na barra de campo geral são tratados como uma consulta AND com quaisquer filtros de campo geral aplicados individualmente.

Por exemplo, na imagem abaixo, essa consulta combinada retornaria quaisquer mensagens que tivessem o ID de ORDER ou o ID de PROD previstos.

Combine o filtro de campo geral usando a barra de campo geral e os filtros de campo geral adicionados individualmente.

Combinar filtros de campo gerais e classificação por campo geral para treinamento

O que esses filtros também significam é que agora você pode aplicar filtros de campo geral e classificar por um campo geral específico para um modo de treinamento.

Exemplo da página Explorar mostrando o modo Verificar campo geral para um campo geral específico, com um filtro de exclusão de campo geral adicional aplicado:

Como revisar e aplicar campos gerais

Observação: você deve ter atribuído as permissões Origem — Leitura e Conjunto de dados — Revisão como um usuário do Automation Cloud ou as permissões Visualizar origens e Revisão e rotulagem como um usuário legado.

Como identificar previsões de campo gerais

Os campos gerais previstos aparecem como texto realçado em cores, como na primeira linha da mensagem representada na imagem a seguir, com uma cor diferente que aparece para cada tipo de campo geral diferente. Depois de confirmar um campo geral, seja aplicando-o manualmente ou aceitando uma previsão, o campo geral aparecerá como texto realçado com um contorno em negrito e mais escuro, conforme mostrado na imagem a seguir.

Se um parágrafo tiver campos gerais atribuídos, descartados ou aplicados, ele aparecerá destacado em cinza, conforme mostrado no corpo da mensagem da imagem a seguir.

Fazendo previsões de campo geral para campos gerais treináveis

Ao revisar campos gerais treináveis, a plataforma aprenderá com os valores do campo geral que você atribui, bem como com o contexto de onde eles aparecem dentro das comunicações, ou seja, o outro idioma usado em torno dos próprios valores.

A plataforma considerará o contexto do idioma no mesmo parágrafo que o valor do campo geral, bem como os parágrafos únicos, denotados por uma nova linha separada, diretamente antes e após o parágrafo em que o campo geral se encontra.

Observação: para campos gerais que não estão definidos como 'treinável', as previsões da plataforma são baseadas inteiramente nas regras definidas dentro da plataforma para esse campo geral. Isso pode ser benéfica para quando um campo geral tiver que seguir absolutamente um formato definido para uma automação downstream, com quaisquer valores incorretos causando uma falha ou exceção.

Pontuações de confiança do campo geral

Quando a plataforma prevê quais campos gerais se aplicam a uma comunicação, ela atribui a cada previsão uma pontuação de confiança (%) para mostrar o quão confiável é de que o campo geral se aplica ao período de texto destacado. Você pode visualizar a pontuação de confiança de um campo geral passando o mouse sobre o campo geral.

Essa pontuação de confiança também é disponibilizada por meio da API, para que possa informar ações automatizadas downstream.

Aceitando e rejeitando previsões de campo gerais

Depois que os campos gerais forem habilitados, a plataforma começará automaticamente a previsê-los dentro das mensagens em todo o seu conjunto de dados. Para obter mais detalhes, consulte Revisar e aplicar campos gerais. Você pode então aceitar as previsões que estão corretas ou rejeitá-las quando estiverem incorretas. Cada uma dessas ações envia sinais de treinamento que serão usados para melhorar a compreensão da plataforma daquele campo geral.

Para os campos gerais pré-treinados que são treinados offline, como quantidade monetário, URL e assim por diante, é mais importante de uma perspectiva de melhoria que você rejeite ou corrija previsões erradas do que você aceite previsões corretas.

Para os campos gerais que treinam ao vivo na plataforma, é igualmente importante aceitar previsões corretas e rejeitar previsões incorretas. Você não precisa, no entanto, continuar aceitando muitos exemplos corretos de cada campo geral exclusivo para esses tipos se você não estiver encontrando os previstos incorretamente. Por exemplo, Exemplos de Bancos Limitadas é um campo geral exclusivo de uma organização.

Observação: a principal advertência a isso é se você revisar qualquer campo geral em um parágrafo, precisar revisar todos os outros campos gerais nesse parágrafo.

Para revisar uma previsão de campo geral, passe o mouse sobre a previsão e a janela modal de revisão de campo geral aparecerá, conforme mostrado no exemplo da imagem a seguir. Para aceitá-lo, selecione Confirmar; para rejeitá-lo, selecione Dispensar.

Você pode treinar campos gerais e rótulos independentemente um do outro. Revisar rótulos para uma mensagem não significa que você precisa revisar os campos gerais na mesma mensagem. No entanto, é uma boa prática fazer ambas as coisas ao mesmo tempo, como uso mais eficiente de seu tempo durante o treinamento do modelo.

Importante: ao treinar campos gerais, certifique-se de considerar as melhores práticas explicadas nesta seção. A melhor prática mais importante é que você não anote parágrafos parcialmente.

Para entender o quão bem a plataforma pode prever cada campo geral habilitado para um conjunto de dados, especialmente os treináveis, consulte Validação para campos gerais.

Observação: certifique-se de rejeitar previsões de campo geral incorretas, mas se o texto realçado for de fato um campo geral diferente (mais comum para campos gerais relacionados a datas), você deve aplicar o correto. Para obter mais detalhes sobre a aplicação de campos gerais, consulte a seção a seguir.

Aplicando campos gerais

Para aplicar um campo geral a algum texto em que a plataforma pode não ter previsto, os usuários simplesmente precisam realçar a seção do teste como faria se fosse copiá-la.

Um menu suspenso aparecerá, conforme mostrado na imagem a seguir, contendo todos os campos gerais que você habilitou para seu conjunto de dados. Selecione o correto para aplicá-lo ou pressione o atalho de teclado correspondente.

O atalho do teclado padrão para cada campo geral é a letra com a qual ele começa. Se mais de um campo geral começar com a mesma letra, um será atribuído aleatoriamente ao outro.

Depois que um campo geral for aplicado, ele será destacado em cores com um contorno em negrito, conforme mostrado na imagem a seguir. Cada tipo de campo geral terá sua própria cor específica.

Observação: um valor para um determinado tipo de campo geral não pode ser dividido em vários parágrafos. O valor completo deve estar contido dentro de um parágrafo para que seja extraído como um valor de campo geral.

Melhores práticas

A seguir estão algumas das melhores práticas mais importantes a serem consideradas ao aceitar, rejeitar ou aplicar campos gerais dentro de mensagens:

• Não divida palavras.
• Não anote parágrafos parcialmente.

Não dividir palavras

Certifique-se de não dividir as palavras, pois o campo geral realçado deve cobrir toda a palavra ou várias, em questão, não apenas parte dela. Verifique as imagens a seguir para obter um exemplo de um aplicativo incorreto e correto.

Não anotar parágrafos parcialmente

Ao anotar, se um usuário atribuir um rótulo a uma mensagem, ele deve aplicar todos os rótulos que podem ser aplicados a essa mensagem, caso contrário, você ensina ao modelo que esses outros rótulos não devem ser aplicados. Para campos gerais, o mesmo é verdadeiro, exceto que campos gerais são revisados ou aplicados no nível do parágrafo, em vez de toda a mensagem.

Os parágrafos em uma mensagem são separados por novas linhas. A linha de assunto de uma mensagem de e-mail é considerada seu próprio parágrafo único.

Revise ou aplique todos os campos gerais dentro de um parágrafo em todos os tipos de campos gerais se você revisar ou aplicar um deles. Aplicar, aceitar ou rejeitar campos gerais em um parágrafo significa que o parágrafo é tratado como revisado pela plataforma de uma perspectiva de campo geral. Portanto, certifique-se de aceitar ou rejeitar todas as previsões nesse parágrafo.

O seguinte exemplo mostra os diferentes parágrafos que foram revisados dentro da mensagem de e-mail.

A mensagem representada na imagem a seguir mostra o mesmo exemplo em que o usuário não aceitou ou rejeitou todas as previsões do campo geral em um único parágrafo. Isso está incorreto, pois o modelo irá tratar falsamente o campo geral de quantidade monetário como uma previsão incorreta.

Validação para campos gerais

Introdução

A plataforma exibe estatísticas de validação, avisos e ações recomendadas para os campos gerais habilitados na página Validação, assim como faz para todos os rótulos em sua taxonomia.

Para vê-los, navegue até a página Validação e selecione a guia Campos gerais na parte superior, conforme mostrado na imagem abaixo.

Como funciona a validação de campos gerais

O processo no qual a plataforma valida sua capacidade de prever corretamente campos gerais é muito semelhante a como é feito para rótulos.

As mensagens são divididas (80:20) em um conjunto de treinamento e um conjunto de teste (determinado aleatoriamente pelo ID da mensagem de cada mensagem) quando são adicionados pela primeira vez ao conjunto de dados. Quaisquer campos gerais que foram atribuídos (previsões que foram aceitas ou corrigidas) cairão no conjunto de treinamento ou no conjunto de teste, com base no conjunto em que a mensagem em que eles estão foi atribuída originalmente.

Como às vezes pode haver um número muito grande de campos gerais em uma mensagem e não há garantia de que uma mensagem esteja no conjunto de treinamento ou de teste, você pode ver uma grande disparidade entre o número de campos gerais em cada conjunto.

Também pode haver instâncias em que todos os campos gerais atribuídos se enquadram no conjunto de treinamento. Como pelo menos um exemplo é necessário no conjunto de testes para calcular as pontuações de validação, esse campo geral exigiria mais exemplos atribuídos até que alguns estejam presentes no conjunto de testes.

Cálculo das pontuações

As estatísticas individuais de precisão e recall para cada campo geral com dados de treinamento suficientes são calculadas de uma maneira muito semelhante à dos rótulos:

Precisão = Nº de campos gerais correspondentes / Nº de campos gerais previstos

Recall = Nº de campos gerais correspondentes / Nº de campos gerais reais

Um "campo geral correspondente" ocorre quando a plataforma prevê com precisão o campo geral (ou seja, sem correspondências parciais)

A pontuação F1 é simplesmente a média hermética tanto da precisão quanto do recall.

Campos gerais treináveis

Vale notar que as estatísticas de precisão e recall exibidas nesta página são mais úteis para os campos gerais treináveis em tempo real na plataforma, exibidos na segunda coluna acima, já que todos os campos gerais revisados para esses tipos de campos gerais afetarão diretamente a capacidade da plataforma de prever esses campos gerais.

Portanto, sempre que possível, a aceitação de campos gerais corretos e a correção ou rejeição de campos gerais errados devem ser feitas.

Campos gerais pré-treinados

Para campos gerais que são pré-treinados por meio de tipos de campos de modelo, para que as estatísticas de validação forneçam um exemplo preciso do desempenho, os usuários precisarão garantir que aceitem uma quantidade considerável de previsões corretas, além de corrigir as erradas.

Se eles tivessem que corrigir apenas previsões erradas, os conjuntos de treinamento e teste seriam artificialmente preenchidos apenas com instâncias em que a plataforma tem dificuldade em prever um campo geral, e não aquelas em que é mais capaz de prevê-las. Como a correção de previsões erradas para esses campos gerais não leva a uma atualização em tempo real desses campos gerais (eles são atualizados periodicamente offline), as estatísticas de validação podem não mudar por algum tempo e podem ficar artificialmente baixa.

Aceitar muitas previsões corretas pode não ser conveniente, pois esses campos gerais são previstos corretamente com muito mais frequência do que não. Mas se a maioria das previsões estiver correta para esses campos gerais, é provável que você não precise se preocupar com sua precisão e estatísticas de recall na página Validação .

Compreensão das estatísticas de resumo

As estatísticas de resumo (precisão média, recall médio e pontuação média de F1) são simplesmente médias de cada uma das pontuações de campo geral individuais.

Como acontece com os rótulos, apenas os campos gerais que têm dados de treinamento suficientes são incluídos nas pontuações médias. Aqueles que não têm dados de treinamento suficientes para serem incluídos têm um ícone de aviso ao lado de seu nome.

Observação: o resumo de estatísticas incorpora todos os campos gerais com dados de treinamento suficientes, tanto os que são treináveis ao vivo quanto os que são pré-treinados. As previsões para campos gerais que são pré-treinados geralmente são corrigidas apenas quando estão erradas e nem sempre são aceitas quando estão certas. Isso significa que suas estatísticas de precisão e recall podem frequentemente ser artificialmente baixa, o que reduziria as pontuações médias.

Métricas

A páginaValidação de campos gerais mostra as estatísticas de desempenho médio do campo geral, bem como um gráfico que mostra a pontuação F1 média de cada campo geral em comparação com o tamanho do seu conjunto de treinamento. O gráfico também sinaliza campos gerais que têm avisos de desempenho na cor amarelo ou vermelho.

As estatísticas gerais de desempenho em campo mostradas são:

• Pontuação média de F1: média das pontuações de F1 em todos os campos gerais com dados suficientes para estimar com precisão o desempenho. Essa pontuação considera o recall e a precisão da mesma forma. Um modelo com uma pontuação F1 alta produz menos falsos positivos e negativos.
• Precisão média: média das pontuações de precisão em todos os campos gerais com dados suficientes para estimar com precisão o desempenho. Um modelo com alta precisão produz menos falsos positivos.
• Recall médio: média das pontuações de recall em todos os campos gerais, com dados suficientes para estimar com precisão o desempenho. Um modelo com alta recall produz menos falsos negativos.

Compreender o desempenho geral do campo

O gráfico de desempenho do campo geral exibido na guia Métricas da página Validação fornece uma indicação visual imediata de como cada campo geral individual está funcionando. Para obter mais detalhes, consulte a seção anterior.

Para um campo geral aparecer neste gráfico, ele deve ter pelo menos 20 exemplos fixados presentes no conjunto de treinamento usado pela plataforma durante a validação. Para garantir que isso aconteça, os usuários devem fornecer um mínimo de 25 exemplos fixados por campo geral de 25 mensagens diferentes.

Cada campo geral será plotado como uma de três cores, com base na compreensão do modelo de como o campo geral está funcionando. Abaixo, explicamos o que elas significam:

Indicadores gerais de desempenho no campo

• Azul - Esses campos gerais marcados em azul no gráfico têm um nível de desempenho satisfatório. Isso se deve a vários fatores, incluindo o número e variedade de exemplos e a precisão média para aquele campo geral
• Âncora - Campos gerais plotados com amarelo têm um desempenho um pouco abaixo do satisfatório. Eles podem ter precisão média relativamente baixa ou exemplos de treinamento não suficientes. Estes campos gerais exigem um pouco de treinamento/correção para melhorar o desempenho
• Vermelho - Os campos gerais plotados como vermelho são campos gerais de baixo desempenho. Eles podem ter uma precisão média muito baixa ou exemplos de treinamento insuficientes. Estes campos gerais podem exigir consideravelmente mais treinamento/correção para trazer seu desempenho a um nível satisfatório

Observação: você verá os indicadores de desempenho laranja e vermelho aparecerem nas barras de filtro de campo geral em Explorar, Relatórios e Validação. Isso ajuda a notificar rapidamente quais campos gerais precisam de ajuda e também quais previsões de campos gerais não devem ser usadas (sem algum trabalho para melhorá-las) ao usar os recursos de análise.

Desempenho geral individual no campo

Os usuários podem selecionar campos gerais individuais na barra de filtro de campo geral (ou selecionando a plotagem do campo geral no gráfico Todos os campos gerais) para ver as estatísticas de desempenho do campo geral.

A visualização do campo geral específico também mostrará quaisquer avisos de desempenho e sugestões de próximas melhores ações recomendadas para ajudar a melhorar seu desempenho.

A visualização do campo geral mostrará a pontuação F1 média para o campo geral, bem como sua precisão e recall.

Como melhorar o desempenho do campo geral

Observação: você deve ter atribuído a permissão Conjunto de dados - Revisar como um usuário do Automation Cloud, ou a permissão Revisar e anotar como um usuário legado.

Visão geral

Assim como os rótulos de treinamento, os campos gerais de treinamento são o processo pelo qual um usuário ensina a plataforma quais campos gerais se aplicam a uma determinada mensagem usando vários modos de treinamento.

Como acontece com os rótulos, os modos Ensinar, Verificar e Perdido estão disponíveis para ajudar a treinar e melhorar o desempenho dos campos gerais e podem ser acessados 1) na página Explorar usando o menu suspenso de treinamento ou 2) seguindo as ações recomendadas na Guia Campos gerais da página Validação .

A imagem a seguir exibe o menu suspenso contendo os modos de treinamento de campo geral em Explorar:

Ações recomendadas de campo geral

Se um campo geral específico tiver um aviso de desempenho, a plataforma recomendará a próxima melhor ação que ela acha que ajudará a resolver esse aviso, listada em ordem de prioridade. Isso será exibido quando você selecionar um campo geral específico da taxonomia ou do gráfico Todos os campos gerais.

As próximas sugestões de melhores ações funcionam como links que você pode selecionar para levar você diretamente à exibição de treinamento que a plataforma sugere, a fim de melhorar o desempenho do campo geral. As sugestões são ordenadas de forma inteligente com a ação de prioridade mais alta para melhorar o campo geral listado primeiro.

Essa é a ferramenta mais importante para ajudar você a entender o desempenho dos seus campos gerais e deve ser usada regularmente como um guia ao tentar melhorar o desempenho do campo geral.

Verifique este exemplo de um cartão de campo geral com ações recomendadas:

Modos de treinamento de campo gerais

A tabela a seguir resume quando a plataforma recomenda cada modo de treinamento de campo geral:

Ensinar campo geral	Verificar campo geral	Campo geral ausente
Mostra previsões para um rótulo em que o modelo não tem certeza se ele é aplicável ou não. Para treinar campos gerais em mensagens não revisadas.	Mostra mensagens em que a plataforma acha que o campo geral pode ter sido aplicado incorretamente. Para treinar campos gerais em mensagens revisadas para tentar encontrar e corrigir quaisquer inconsistências.	Mostra mensagens que a plataforma acha que podem estar faltando no campo geral selecionado. Para treinar campos gerais em mensagens revisadas para tentar encontrar e corrigir quaisquer inconsistências.

Uso do campo Ensinar geral

O uso de Teach Geral aumenta o desempenho do campo geral, porque o modelo está recebendo novas informações sobre mensagens sobre as quais não tem certeza, em vez daquelas para as quais já possui previsões altamente confiáveis.

A plataforma recomenda Ensinar campos gerais quando:

• Há um aviso de desempenho ao lado de um campo geral, conforme mostrado na imagem a seguir. Isso ocorre quando o mínimo de 25 exemplos não foi fornecido.
• A pontuação F1 em um determinado campo geral é baixa.
• Pode nem sempre haver contexto óbvio dentro do texto para um campo geral, ou há muita variação dentro dos valores de campo geral para um determinado tipo.

A imagem a seguir contém um exemplo de treinamento de um campo geral no modo Ensinar campos gerais :

Uso dos Campos Gerais de Verificação

Usar campo geral de verificação ajuda a identificar inconsistências no conjunto revisado, enquanto melhora a compreensão do modelo do campo geral, garantindo que o modelo tenha exemplos corretos e consistentes para fazer previsões. Isso melhorará a recuperação de um campo geral.

A plataforma recomenda Verificar campos gerais quando:

• Há baixo recall, mas alta precisão.
• As previsões que a plataforma faz são muito precisas, mas, na maior parte do tempo em que o campo geral foi aplicado, ele não captura esses exemplos.

Este é um exemplo de treinamento de um campo geral no modo Verificar campos gerais :

Para obter mais detalhes sobre cálculos para validação de campos gerais, consulte Validação para campos gerais.

Usando o Campo Geral Ausente

O uso do campo geral ausente ajuda a localizar exemplos no conjunto revisado que deveria ter o campo geral selecionado, mas não tem. Isso também ajudará a identificar mensagens parcialmente anotadas que podem afetar a capacidade do modelo de prever um campo geral. Isso melhorará a precisão de um campo geral e garantirá que o modelo tenha exemplos corretos e consistentes para fazer previsões.

A plataforma recomenda Campo geral ausente quando:

• Há alto recall, mas baixa precisão.
• Você está prevêndo muito os campos gerais incorretamente, mas quando você os prevê corretamente, captura muitos dos exemplos que devem estar lá.

A imagem a seguir contém um exemplo de treinamento de um campo geral no modo Campo geral ausente :

Para obter mais detalhes sobre cálculos para validação de campo geral, consulte a página Validação para campos gerais .

Como criar campos gerais do regex personalizados

Observação:

• Você deve ter atribuído a permissão Conjunto de dados - Gerenciar como um usuário do Automation Cloud ou a permissão de Modificar conjuntos de dados como um usuário legado.
• Você pode criar campos gerais do Regex personalizados por meio das Configurações do conjunto de dados ou da opção Gerenciar campos gerais na experiência de anotação do campo Extração generativa, explicada em detalhes na página Extração generativa .

Campos gerais de Regex personalizados

Use campos gerais Regex personalizados para extrair e formatar intervalos de texto que tenham uma estrutura repetitiva conhecida, como IDs ou números de referência.

Esta é uma opção útil para campos gerais simples e estruturados com pouca variação. No caso de campos gerais com variação significativa e onde o contexto tem uma grande influência nas previsões, um campo geral baseado em machine learning é a escolha certa. Você pode usar combinações dos dois em qualquer conjunto de dados dentro do Communications Mining™.

Um Regex mais amplo (ou seja, conjunto de regras para definir o campo geral) também pode ser usado como a base de um campo geral personalizado. Isso combina as regras com refinamento contextual baseado em machine learning por meio de treinamento dentro do Communications Mining para criar campos gerais personalizados sofisticados. Isso fornece o desempenho ideal, bem como as restrições necessárias sobre valores extraídos para automação.

Modelo de Regex personalizado

Um campo geral Regex personalizado é composto de um tipo de campo com o tipo de dados Regex, que, por sua vez, tem um ou mais modelos de Regex personalizados. Cada modelo expressa uma maneira de extrair (e formatar) o campo geral.

Combinados, esses modelos oferecem uma maneira flexível e poderosa de cobrir várias representações do mesmo tipo de campo geral.

Um modelo é feito do seguinte:

1. O regex (expressão regular), que descreve as restrições que precisam ser atendidas por um período de texto a ser extraído como um campo geral.
2. A formatação, que expressa como normalizar a string extraída em um formato mais padrão.

Por exemplo, se os IDs do seu cliente forem a palavra de ID seguida de 7 dígitos ou uma string alfanumérica de 9 caracteres. A imagem a seguir mostra como seriam seus dois modelos:

Validação de digitação avançada

Ao digitar na caixa de texto para Regex ou Formatação, a interface fornecerá um feedback imediato sobre a validade da entrada. Por exemplo, o Regex de entrada inválido ID\d{} mostrará:

Visualização da extração

O Modelo de Regex Personalizado pode ser testado em texto para garantir que ele se comporte conforme o esperado. Qualquer campo geral que seria extraído com o Modelo será mostrado em uma lista, com seu valor e a posição dos caracteres inicial e final.

Por exemplo, se o Regex for \d{4} e a formatação ID-{$}, a seguinte string de teste mostrará uma extração:

Regex

O regex é o padrão usado para extrair campos gerais no texto. Verifique a documentação da sintaxe.

Os grupos de captura nomeados podem ser usados para identificar uma seção específica da string extraída para formatação subsequente. Os nomes dos grupos de captura devem ser exclusivos em todos os modelos e devem conter apenas letras minúsculas ou dígitos.

Formatting

Pode ser fornecida formatação para pós-processar o campo geral extraído.

Por padrão, nenhuma formatação é aplicada e a string retornada pela plataforma será a string extraída pelo regex. No entanto, se necessário, transformações mais complexas podem ser definidas, usando as seguintes regras.

Variáveis

Qualquer grupo de captura nomeado definido no regex estará disponível para uso na lógica de formatação como uma variável, prefixada com o símbolo $ . Observe que o símbolo $ , por si só, representa a correspondência completa do regex.

Então, as variáveis podem ser usadas na formatação de strings para inserir o período extraído correspondente no valor retornado pela plataforma; o nome da variável precisa estar envolvido por { e } chaves.

Por exemplo, se quisermos extrair sete dígitos como um ID e retornar esses sete dígitos prefixados com ID- , então o regex e a formatação seriam:

Ou, usando um grupo de captura nomeado:

Mais tarde, se a plataforma receber o texto Meu número de identificação é 1234567 , ela retornará um campo geral: ID-1234567

Operações de string

Strings brutas podem ser usadas, e strings podem ser concatenadas usando o símbolo & .

Regex	(?P<id1>\b\d{3}\b)|(?P<id2>\b\d{4}\b)
Formatting	{$id1 & "-" & $id2}
Texto	O primeiro ID é 123 e o segundo é 4567
Campo Geral retornado pela plataforma	123-4567

Funções

Algumas funções também podem ser usadas na formatação para transformar a string extraída. Os nomes das funções e suas assinaturas são inspirados no Excel.

Superior

Converte todos os caracteres no intervalo extraído para letras maiúsculas:

Regex	\w{3}
Formatting	{upper($)}
Texto	abc
Campo Geral retornado pela plataforma	ABC

Inferior

Converte todos os caracteres no período extraído para minúsculas:

Regex	\w{3}
Formatting	{lower($)}
Texto	AbC
Campo Geral retornado pela plataforma	abc

Própria

Para capitalizar o período extraído:

Regex	\w+\s\w+
Formatting	{proper($)}
Texto	Gilberto EINSTEIN
Campo Geral retornado pela plataforma	Alberto Einteniense

Preencher

Aumenta o período extraído até um determinado tamanho com um determinado caractere.

Argumentos de função:

1. O texto com os caracteres a serem preenchidos
2. Tamanho da string preenchida
3. Caractere a ser usado para preenchimento

Regex	\d{2,5}
Formatting	{pad($, 5, "0")}
Texto	123
Campo Geral retornado pela plataforma	00123

Substituir

Substitui caracteres por outros caracteres.

Argumentos de função:

1. O texto com os caracteres a serem substituídos
2. Quais caracteres substituir
3. Como os caracteres antigos devem ser substituídos

Regex	ab
Formatting	{substitute($, "a", "12")}
Texto	ab
Campo Geral retornado pela plataforma	12b

Left

Retorna os primeiros n caracteres do período.

Argumentos de função:

1. O texto com os caracteres a serem extraídos
2. O número de caracteres a serem retornados

Regex	\w{4}
Formatting	{left($, 2)}
Texto	ABCD
Campo Geral retornado pela plataforma	AB

Direita

Retorna os últimos n caracteres do período.

Argumentos de função:

1. O texto com os caracteres a serem extraídos
2. O número de caracteres a serem retornados

Regex	\w{4}
Formatting	{right($, 2)}
Texto	ABCD
Campo Geral retornado pela plataforma	CD

Meio

Retorna n caracteres após a posição especificada do período.

Argumentos de função:

1. O texto com os caracteres a serem extraídos
2. A posição do primeiro caractere a retornar
3. O número de caracteres a serem retornados

Regex	\w{5}
Formatting	{mid($, 2, 3)}
Texto	ABCDE
Campo Geral retornado pela plataforma	BCD