Intelligent Form Extractor

O que é Intelligent Form Extractor

O Intelligent Form Extractor é uma ferramenta especializada para o processamento de documentos de layout fixo para extração de dados, que se baseia no Form Extractor e adiciona recursos extras, como

• reconhecimento de manuscrito e extração de dados manuscritos,
• detecção de assinatura.

Os recursos adicionais do Intelligent Form Extractor, quando comparados ao Form Extractor, o tornam uma opção muito boa para processar todos os tipos de formulários que

• possam ter dados impressos OU manuscritos,
• possam exigir a verificação se o formulário está assinado ou não.

Esses dois recursos adicionais são configuráveis a partir do assistente do Gerenciador de Modelos da atividade, além das configurações já presentes no Form Extractor.

Este extrator não possui recursos de aprendizado (treinamento) e requer configuração antecipada.

Observação:

Mais informações relacionadas ao Intelligent Form Extractor:

• Intelligent Form Extractor activity page
• Taxonomy Manager - setup instructions
• Template Manager wizard - setup instructions
• Exemplo de fluxo de trabalho ancorado

Requisitos especiais

Você precisa usar sua chave de API Automation Cloud Document Understanding ou hospedar sua própria instância do Intelligent Form Extractor no AI Center localmente para usar este extrator.

Como configurar

Configuração da atividade

O Intelligent Form Extractor possui duas configurações principais a serem consideradas:

• o assistente do Gerenciador de Modelos - que permite definir modelos a serem aplicados aos documentos recebidos. Este assistente habilita o Editor de Modelos e as configurações de Interpretação de campo booleano.
• a configuração MinOverlapPercentage - que permite que você controle quão rigorosa deve ser a correspondência da área de valor. Aceita um valor entre 0 e 100 e controla quais palavras são aceitas ou rejeitadas como parte de um determinado valor, com base em quão bem sua localização se ajusta à área definida no modelo.

Assistente do Gerenciador de modelos

Permite criar, editar, gerenciar e exportar/importar modelos para os tipos de documentos definidos na taxonomia.

Criar um modelo

1. Add an Intelligent Form Extractor activity to your workflow, within a Data Extraction Scope.

2. Configure the extractor by clicking on the Manage Templates button.

   • The Template Manager window opens.

     

3. Click the Create Template button for creating a new template.

   

4. Select the document type for your template from the Document Type dropdown list.

   Observação:

   All Document Types are based on the Taxonomy. Make sure to add or create a taxonomy inside the project's folder.

5. Add the name of the template in the Template name field. Choose a relevant name that reflects the version or the layout of your document.

6. Add the document's path in the Template document field.

   • Navigate to the file's path by using the Browse button.

7. Select an OCR from the OCR EnginesOCR Engine dropdown list, and configure it according to its needs.

8. Click the Configure button to trigger the template editing.

The OCR engine is applied only if necessary. If the document selected for building a template is a Native PDF, then no OCR engine is executed, unless the Force Apply OCR option is checked. If checked, the OCR is applied even on a native PDF file.

Each OCR engine comes with its own set of custom options. Here you can find more details about all options available for each OCR engine.

Se você já criou um modelo, ele pode ser editado, exportado ou removido.

Delete and Export buttons become available only when at least a template is selected. The Edit and Remove options for an individual template are always available.

Observação:

If a field is checked in both Signature and Handwritten boxes in the Template Manager of the Intelligent Form Extractor activity, then a popup message appears informing you that a field can be added only in one box, not both.

Configurando o processamento de campo booleano

For the documents that include checkboxes, you can add known synonyms for the Yes and No options, or you can start from a list compiled by us (see the Add Recommended suggestions). These values are used for Boolean content interpretation, which is mapping a captured value to a Yes or No reported value.

Exportando e importando modelos

You can import templates created and exported from other workflows. Use these features to share templates between projects. Once a document type is configured using the Intelligent Form Extractor, you don't need to reconfigure the templates in a new implementation.

Procedimento de exportação

Essas são as etapas que você precisa seguir para exportar um modelo:

1. Crie um ou mais modelos seguindo as etapas explicadas no início desta página.

2. Selecione os modelos que deseja exportar.

3. Select an Export option (with or without the original files) as shown in the below screenshot. Exporting with original files attaches them to the export.

   

4. Salve o arquivo do modelo com o nome desejado.

5. A message is displayed once the template is saved. Select the OK button.

   

   Observação:

   Se você não puder compartilhar o conteúdo dos documentos nos quais construiu seus modelos, use a opção "Sem arquivos originais". Você ainda pode compartilhar e importar o arquivo de modelo em outros projetos, mas não pode mais editá-los ou visualizá-los.

   Se você quiser editar os modelos depois de importados em um projeto diferente, certifique-se de usar a opção "Com arquivos originais" ao exportá-los e depois importá-los.

Procedimento de importação

Aqui estão as etapas que você precisa seguir para importar um modelo:

1. Select the Import button.

   

2. Select an archive. The import wizard appears and presents all document types and all templates available in the selected export archive. Select the templates you wish to import and choose the right Import option (with or without the original files).

   

   Observação:

   • Quando os modelos são importados, os tipos de documento são criados automaticamente na Taxonomia do projeto. Se já existir um tipo de documento com o mesmo nome, outro será criado anexando uma contagem ao nome do tipo de documento.
   • Se estiver importando modelos que foram exportados sem os arquivos originais ou se optar por importar modelos sem os arquivos originais, você não terá opções de exibição ou edição para esses modelos.

Situações especiais ao importar um modelo

Quando um modelo é importado, várias situações especiais podem ocorrer. A tabela abaixo explica cada situação e suas particularidades:

Import Type	Comportamento da atividade
Tipo do novo documento	Se um novo tipo de documento for importado, um novo campo será adicionado no configurador do assistente, informando que um novo modelo deve ser criado.
Duplicar Tipo de documento	Se um tipo de documento idêntico for importado, a seguinte mensagem de aviso será exibida: Este modelo já existe e será substituído.
Modelo estendido	Se um modelo de tipo de documento que inclui campos extras do que o já existente for importado, a seguinte mensagem de aviso será exibida: Este tipo de documento será atualizado da seguinte maneira: Os campos a seguir não existem e serão criados.
Tipo de documento estendido	Se o usuário importar um tipo de documento que inclua campos extras ao já existente, aparecerá a seguinte mensagem de aviso: Este tipo de documento será atualizado da seguinte maneira: *Os campos a seguir não possuem configurações para importar…
Tipo de documento com nome idêntico, mas conteúdo diferente	Se o usuário importar um tipo de documento que tenha o mesmo nome do existente, mas campos diferentes, a seguinte mensagem de aviso será exibida: Este tipo de documento será atualizado da seguinte maneira: Os campos a seguir não existem e serão criados; Os campos a seguir não possuem configurações para importar
Tipo de documento com tabela ausente	Se o usuário importar um tipo de documento que não inclua uma tabela, a seguinte mensagem de aviso será exibida: Este tipo de documento será atualizado da seguinte maneira: O(s) campo(s) a seguir não possuem configurações para importar.
Tipo de documento com tabela estendida	Se o usuário importar um tipo de documento que inclua uma tabela com colunas extras, a seguinte mensagem de aviso será exibida: Este documento será atualizado da seguinte maneira: Os campos a seguir não existem e serão criados.
Tipo de documento com tabela reduzida	Se o usuário importar um tipo de documento que inclua uma tabela com colunas ausentes, a seguinte mensagem de aviso será exibida: Este documento será atualizado da seguinte maneira: *Os campos a seguir não possuem configurações para importar…
Modelo de tabela com diferentes tipos de documento	Se o usuário importar um modelo de tipo de documento que inclua uma tabela com diferentes tipos de documentos, um novo modelo será criado. Se a sua taxonomia incluir uma tabela que tenha um campo com um tipo de documento diferente, a seguinte mensagem será exibida: O campo com id xyz foi localizado tanto na taxonomia importada quanto na taxonomia existente, mas seus tipos são incompatíveis (ambos ou nenhum devem ser tabelas).

Assistente do Editor de modelos

Considerações gerais

The Template Editor is building on top of the functionality present in the Validation Station. Access it by clicking on the button of a template.

To learn about the basic usage of the Validation Station, read this section.

Besides the options available in the right part of the Validation Station screen, there are two options Template Editor specific:

Opção	Description
	Define o modo de seleção de âncora
	Limpa toda a seleção de âncora

When creating a new template, an explanation text appears when first opening the Template Editor. In case you want to access the text again, follow the steps below:

Configuração de âncoras

Anchors can be defined once the Template Editor is opened from the Template Manager and can be found among the Selection Mode options.

When defining or editing a page-level template, although it is optional, the first thing that needs to be performed is the Page 1 Matching Info selection. This step is mandatory only for fixed form templates.

Situated on the left side of the screen, the Page 1 Matching Info selection requires a text input (tokens only are accepted) from the first page of the template that is always in the same position within that particular template layout and forms a unique graph of words (considering relative distances and angles between words) across all the templates defined for a particular document type.

In other words, the Page 1 Matching Info (and all other Page Matching Info fields) are "fingerprints" of a particular page and are extensively used in identifying the right matching template at runtime.

For this reason, for the Page 1 Matching Info field, it is strongly recommended to select 10 to 20 words, preferably longer in length, spread across the entire page area.

The other Page Matching Info fields (one for each template page) must be filled in only if you are attempting data extraction from that particular page, and do not require cross-template uniqueness anymore. If no fields need to be extracted from a particular page, defining the page-level matching info for that page is not mandatory.

Configurando campos simples

For all fields other than Tables, configuring the template consists of selecting a Custom Area and assigning it to a particular field.

For fixed form configurations, data fields can only be configured using Custom Area selections.

For a field you can define one or more such Custom Areas, using the (+) button. If two or more Custom Areas are defined for a single field, then at runtime, if the field is defined in the Taxonomy as Single Value, all values are concatenated into a single reported value. If the field is defined as Multi Value, then each value is reported individually.

The below animation shows the difference between a Tokens and a Custom Area selection:

O ícone ao lado de cada campo indica o tipo de seleção suportada:

Observação:

If an empty area is selected, the selection is automatically set as Custom area. If text is detected inside the selected area, you are asked to choose the type of the selection between Tokens or Custom area.

Use the Validation Station selection mode feature to lock your selection between Tokens and Custom Areas.

Configurando tabelas

As mentioned above, there are fields where information can be added only by using Tokens (like the Page Matching Info fields) or only by using a Custom Area (like simple fields). For Table fields, you can:

• define each cell one by one, once the Table Editor is expanded - by adding Custom Area selection to each cell individually, or
• use a funcionalidade de marcação de tabela - marcando a área da tabela, desenhando linha e separadores de coluna e, em seguida, atribuindo a tabela assim marcada ao campo. Certifique-se de que a área extraída tenha o mesmo número de colunas e linhas que a área do modelo.

Confira a animação abaixo para aprender a usar a funcionalidade de marcação de tabela:

Configuração das âncoras

Um método distinto de definir os limites de uma área personalizada da qual os dados devem ser extraídos é usar âncoras no nível do campo. Isso permite direcionar a extração de dados com base em configurações de nível de campo, possibilitando assim mais flexibilidade ao definir suas regras de extração de formulário.

Consequently, at run-time the Intelligent Form Extractor knows how to:

• identificar se um modelo de nível de página corresponde e extrair informações de acordo com a melhor correspondência de modelo de nível de página que ele reconhece;
• identificar se alguma configuração baseada em âncora corresponde e extrair informações de acordo com sua aplicação no documento a ser processado;
• calcule pontuações de confiança apropriadas para todas as correspondências possíveis para poder relatar o melhor resultado (a correspondência de maior probabilidade) de todas as opções disponíveis.

Criando uma nova configuração de âncora

1. Make sure you are on the Anchor Selection mode.

2. Desenhe uma caixa ao redor da área de valor.

3. Selecione um rótulo (âncora principal) para sua área de valor clicando na primeira palavra e, em seguida, Ctrl+Clique na última palavra da seleção ou clique, arraste e solte para capturar um intervalo de palavras.

   Observação:

   A Label can only contain consecutive words from the same visual line.

4. Selecione qualquer âncora adicional que identificaria exclusivamente seu rótulo. O mesmo princípio de seleção se aplica.

5. Assign your anchor construct to the appropriate field by selecting Extract Value for that particular field.

   

   Observação:

   You can also use the example from here to learn how to create a template and define extraction areas and anchors.

Edite uma configuração de âncora existente

1. Destaque sua configuração de âncora.

2. Faça alterações (exclua quaisquer âncoras, o rótulo, até mesmo a área de valor, se desejar, adicione novos elementos, etc.).

3. Use the Change Extracted Value option to update your field association.

   

   Observação:

   • Se você excluir a área de destino, todas as âncoras serão excluídas e o processo deve ser reiniciado.
   • Se você excluir o rótulo (âncora principal), a primeira âncora na ordem em que foi criada se tornará o novo rótulo.

Excluir uma configuração de âncora existente

Para excluir uma configuração de âncora, você pode:

• use the Mark as Missing options for a saved value

  

• use the Remove Value in case of a list of anchors defined for a given field

  

Configurações de combinação e junção

Você pode definir quantos modelos quiser para o mesmo tipo de documento. Você pode ter vários modelos de nível de página, várias âncoras para o mesmo campo, até mesmo modelos contendo âncoras de nível de página e de campo.

Observação:

• Ao definir âncoras no nível do campo, certifique-se de que seu rótulo esteja próximo à sua área de valor e seja suportado por âncoras adicionais se a mesma construção de texto puder ser encontrada em vários locais no mesmo documento.
• Quanto mais longos forem seus rótulos e âncoras, mais precisão você terá.
• A área de valor é sempre calculada com base em sua posição relativa em relação ao seu rótulo (âncora principal). Escolha suas âncoras principais adequadamente.
• Ter âncoras no nível do campo permite que os campos se movam dentro do modelo e ainda sejam capturados, oferecendo mais flexibilidade nas alterações de layout do documento.