Form Extractor

O que é Form Extractor

O Form Extractor é uma abordagem de extração mais adequada para casos de uso em que documentos de formato não variável precisam ser processados, com dados extraídos deles. Em outras palavras, se seus documentos têm pouca ou nenhuma variação nos layouts do documento, então o Form Extractor é uma boa escolha.

O Form Extractor baseia-se em modelos definidos antecipadamente, na fase de design, e aplica um conjunto complexo de regras para aplicar os modelos configurados aos documentos recebidos que devem ser processados, identificando e reportando assim as informações esperadas.

A atividade vem com um assistente de configuração que o ajuda a definir os modelos para os tipos de documentos e campos que você deseja direcionar para extração de dados dessa forma.

A atividade suporta campos simples e extração de campos de tabela.

Recomenda-se procurar outros métodos de extração no caso de:

• haver muitos layouts que precisam ser manipulados

• os documentos não são apenas distorcidos, girados ou de tamanhos diferentes, mas também manifestam "empenamento" (curvatura em certas áreas).

  Observação:

  Na extração de formulários fixos, para avaliar se os layouts de dois arquivos são iguais, tente sobrepô-los em uma ferramenta, com alguma transparência, para verificar se todo o conteúdo não variável se sobrepõe (após reverter a rotação, distorção e configurando ambas as imagens para a mesma escala).

  Se você notar variabilidade (o conteúdo não variável aparece mais à esquerda / direita / parte superior / inferior para determinadas áreas do documento), os layouts não são considerados iguais.

  O Form Extractor permite definir vários modelos para o mesmo tipo de documento e, durante a execução, ele:

• identifica o melhor modelo correspondente para o documento recebido e o tipo de documento

• aplica o algoritmo de correspondência de modelo, com base em âncoras de nível de página, a cada página da qual os dados precisam ser extraídos (páginas ausentes ou repetidas não são suportadas)

• relata as informações identificadas das áreas de valor alvo.

Ele também suporta o ajuste fino do processamento de campos de lista de verificação / booleanos, permitindo a configuração do valor "Sinônimos" para "Sim" ou "Não", de acordo com o seu caso de uso.

Este extrator não possui recursos de aprendizado (treinamento) e requer configuração antecipada.

Requisitos especiais

Você precisa usar sua chave de API Automation Cloud Document Understanding ou hospedar sua própria instância do Form Extractor no AI Center localmente para usar este extrator.

Como configurar

Configuração da atividade

O Form Extractor possui duas configurações principais a serem consideradas:

• the Template Manager wizard - which allows you to define templates to be applied to incoming documents. This wizard also makes available the Template Editor wizard, along with the Boolean field interpretation settings.
• the MinOverlapPercentage setting - which allows you to control how strict the value area matching should be. It accepts a value between 0 and 100, and it controls what words are accepted or rejected from being part of a given value, based on how well their location fits the area defined in the template.

Assistente do Gerenciador de modelos

Este assistente permite criar, editar, gerenciar e exportar/importar modelos para os tipos de documentos definidos na taxonomia.

Criar um modelo

1. Add a Form Extractor activity to your workflow, within a Data Extraction Scope.

2. Configure the extractor by clicking on the Manage Templates button.

   • The Template Manager window opens.

     

3. Click the Create Template button for creating a new template.

   

4. Select the document type you are defining the template for, from the Document Type drop-down list.

   Observação:

   All Document Types are based on the Taxonomy. Make sure to add or create a Taxonomy inside the project's folder.

5. Add the name of the template in the Template name field. Make sure it is a relevant name that represents what version of the document, or what layout, you are capturing and configuring through it.

6. Add the document path in the Template document field.

   • Navigate to the file's path by using the Browse button.

7. Select an OCR from the OCR Engine drop-down list, and configure it according to its needs.

8. Click the Configure button to trigger template editing.

O mecanismo de OCR é aplicado somente se necessário. Se o documento selecionado para criar um modelo for um PDF nativo, nenhum mecanismo de OCR será executado.

Each OCR engine comes with its own set of custom options. Here you can find more details about all options available for each OCR engine.

Se você já criou um modelo, ele pode ser editado, exportado ou removido.

Delete and Export buttons become available only when at least a template is selected. The Edit and Remove options for an individual template are always available.

Configurando o processamento de campo booleano

For the documents that include check boxes, you have the possibility to add known synonyms for the Yes and No options, or you can start from a list compiled by us (see the Add Recommended suggestions). These values are used for Boolean content interpretation, which is mapping a captured value to a Yes or No reported value.

Exportando e importando modelos

Você pode importar modelos criados e exportados de outros fluxos de trabalho. Use esses recursos para compartilhar modelos entre projetos, para que, uma vez que um tipo de documento seja configurado usando o Form Extractor, você não precise reconfigurar os modelos em uma nova implementação.

Procedimento de exportação

Essas são as etapas que você precisa seguir para exportar um modelo:

1. Crie um ou mais modelos seguindo as etapas explicadas no início desta página.

2. Selecione os modelos que deseja exportar.

3. Select an Export option (with or without the original files) as shown in the below screenshot. Exporting with original files attaches them to the export. The second option doesn't attach the files used for template creation.

   

4. Salve o arquivo do modelo com o nome desejado.

5. A message is displayed once the template is saved. Select the OK button.

   

   Observação:

   Se você não puder compartilhar o conteúdo dos documentos nos quais construiu seus modelos, use a opção "Sem arquivos originais". Você ainda poderá compartilhar e importar o arquivo de modelos em outros projetos, mas não poderá mais editá-los ou visualizá-los.

   Se quiser editar os modelos depois de importados em um projeto diferente, certifique-se de usar a opção "Com arquivos originais" ao exportá-los e depois importá-los.

Procedimento de importação

Aqui estão as etapas que você precisa seguir para importar um modelo:

1. Select the Import button.

   

2. Select an archive. The import wizard appears and presents all document types and all templates available in the selected export archive. Select the templates you wish to import and choose the right Import option (with or without the original files).

   

   Observação:

   • Quando os modelos são importados, os tipos de documento são criados automaticamente na Taxonomia do projeto. Se já existir um tipo de documento com o mesmo nome, outro será criado anexando uma contagem ao nome do tipo de documento.
   • Se estiver importando modelos que foram exportados sem os arquivos originais ou se optar por importar modelos sem os arquivos originais, você não terá opções de exibição ou edição para esses modelos.

Situações especiais ao importar um modelo

Quando um modelo é importado, várias situações especiais podem ocorrer. A tabela abaixo explica cada situação e suas particularidades:

Import Type	Comportamento da atividade
Tipo do novo documento	Se um novo tipo de documento for importado, um novo campo será adicionado no configurador do assistente, informando que um novo modelo deve ser criado.
Duplicar Tipo de documento	Se um tipo de documento idêntico for importado, a seguinte mensagem de aviso será exibida: Este modelo já existe e será substituído.
Modelo estendido	Se for importado um modelo de tipo de documento que inclua campos extras além do já existente, a seguinte mensagem de aviso será exibida: Este tipo de documento será atualizado da seguinte maneira: Os campos a seguir não existem e serão criados.
Tipo de documento estendido	Se o usuário importar um tipo de documento que inclua campos extras ao já existente, aparecerá a seguinte mensagem de aviso: Este tipo de documento será atualizado da seguinte maneira: *Os campos a seguir não possuem configurações para importar…
Tipo de documento com nome idêntico, mas conteúdo diferente	Se o usuário importar um tipo de documento que tenha o mesmo nome do existente, mas campos diferentes, a seguinte mensagem de aviso será exibida: Este tipo de documento será atualizado da seguinte maneira: Os campos a seguir não existem e serão criados; Os campos a seguir não possuem configurações para importar
Tipo de documento com tabela ausente	Se o usuário importar um tipo de documento que não inclua uma tabela, a seguinte mensagem de aviso será exibida: Este tipo de documento será atualizado da seguinte maneira: O(s) campo(s) a seguir não possuem configurações para importar.
Tipo de documento com tabela estendida	Se o usuário importar um tipo de documento que inclua uma tabela com colunas extras, a seguinte mensagem de aviso será exibida: Este documento será atualizado da seguinte maneira: Os campos a seguir não existem e serão criados.
Tipo de documento com tabela reduzida	Se o usuário importar um tipo de documento que inclua uma tabela com colunas ausentes, a seguinte mensagem de aviso será exibida: Este documento será atualizado da seguinte maneira: *Os campos a seguir não possuem configurações para importar…
Modelo de tabela com diferentes tipos de documento	Se o usuário importar um modelo de tipo de documento que inclua uma tabela com diferentes tipos de documentos, um novo modelo será criado. Se a sua taxonomia incluir uma tabela que tenha um campo com um tipo de documento diferente, a seguinte mensagem será exibida: O campo com id xyz foi localizado tanto na taxonomia importada quanto na taxonomia existente, mas seus tipos são incompatíveis (ambos ou nenhum devem ser tabelas).

Editor de modelos

Considerações gerais

O Editor de Modelos é construído sobre a funcionalidade presente na Estação de Validação.

To learn about the basic usage of the Validation station, read this.

Configurando âncoras de nível de página

When defining or editing a template, the first thing that needs to be performed is the Page 1 Matching Info selection, for fixed form template definition.

This field that appears on the left side of the screen as the first field needs to be configured with words (tokens only are accepted) from the first page of the template, that are constantly in the same position within that particular template layout, that form a unique graph of words (considering relative distances and angles between words) across all the templates defined for a particular document type. In other words, the Page 1 Matching Info (and all other Page Matching Info fields) are "fingerprints" of a particular page and are extensively used in identifying the right matching template at run-time.

For this reason, for the Page 1 Matching Info field, it is strongly recommended to select 10 to 20 words, preferably longer, spread across the entire page area, that would form a unique pattern across all defined templates for that document type.

The other Page Matching Info fields (one for each template page) must be filled in only if you are attempting data extraction from that particular page, and do not require cross-template uniqueness anymore. If no fields need to be extracted from a particular page, defining the page level matching info for that page is not mandatory.

Configurando campos simples

For all fields other than Tables, configuring the template consists of selecting a Custom Area and assigning it to a particular field.

Para configurações de formulário fixo, os campos de dados só podem ser configurados usando as seleções de Área personalizada.

For any field, you can define one or more such Custom Areas, using the (+) button. If you define two or more custom areas for a single field, then at run-time, if the field is defined in the Taxonomy as Single Value, then all values from all the custom areas will be concatenated into a single reported value. If on the other hand the field is defined as Multi Value, then each value from each custom area will be reported individually.

The below animation shows the difference between a Tokens or Custom Area selection:

Você também pode saber o tipo de seleção aceita para cada campo verificando o ícone ao lado de cada campo conforme a animação abaixo:

Observação:

If an empty area is selected, the selection is automatically set as Custom area. If text is detected inside the selected area, you are asked to choose the type of the selection between Tokens or Custom area.

Use o recurso "modo de seleção" da Estação de Validação para bloquear sua seleção entre Tokens e Áreas personalizadas.

Configurando tabelas

As mentioned above, there are fields where information can be added only by using tokens (like the Page Matching Info fields) or only by using a custom area (like simple fields). For Table fields, you can

• definir cada célula uma a uma, uma vez que o Editor de Tabelas for expandido - adicionando a seleção Área personalizada para cada célula individualmente, ou
• use a funcionalidade de marcação de tabela - marcando a área da tabela, desenhando linha e separadores de coluna e, em seguida, atribuindo a tabela assim marcada ao campo.

Confira a animação abaixo para aprender a usar a funcionalidade de marcação de tabela: