Caixas de seleção e assinaturas

Caixas de seleção

No contexto de um modelo de Extração de ML, uma caixa de seleção não é um valor real, mas uma maneira de selecionar uma determinada parte do texto.

Por causa disso, a palavra próxima a ela se torna o ponto de foco, não a caixa de seleção. E esse é justamente o objetivo da caixa de seleção, servir de âncora para uma palavra específica.

Consequentemente, para treinar um modelo de ML, você precisa rotular a palavra, não a caixa de seleção.

Em alguns casos, a caixa de seleção não é detectada. Por exemplo, o OCR pode lê-lo como um X, ou talvez seja apenas uma marca manuscrita que não chega a ser identificada. O modelo de ML pode aprender e associar todas essas situações com a palavra ao lado da marca.

Portanto, é mais robusto treinar um modelo para reconhecer uma palavra, independentemente de como ela é selecionada: com uma caixa de seleção, com um X ou com uma marca manuscrita (circulada, sublinhada, etc.).

Caixas de seleção de opção única

Para o exemplo acima, você pode criar três campos no Data Manager da seguinte forma:

• condition-employment (rotule a palavra YES);
• condition-auto-accident (rotule a palavra YES);
• condition-other-accident (rotule a palavra NO).

O modelo de ML aprende a reconhecer essas palavras, sejam elas marcadas por caixas de seleção, Xs ou apenas circuladas com caneta. Para fazer isso, você pode usar o UiPath Document OCR, que pode reconhecer até caixas de seleção.

Caixas de seleção sem rótulo

Há casos em que não há rótulo associado a uma caixa de seleção. Por exemplo, quando as caixas de seleção fazem parte de tabelas.

Aqui está um exemplo típico:

Neste caso, é necessário rotular as caixas. O extrator retornará o valor da string da caixa de seleção, relativo a um desses dois caracteres:

• ☒
• ☐

Esses dois caracteres podem ser copiados e colados como qualquer outro, e podem ser usados em fluxos de trabalho para verificar se uma caixa de seleção foi retornada como checked ou unchecked. Além disso, o framework IntelligentOCR sabe como reconhecê-los, especialmente se um campo for definido como Boolean:

• se o extrator retorna ☒, isso corresponde a YES;
• se o extrator retorna ☐, isso corresponde a NO.

Nos casos em que uma caixa desmarcada é retornada como O ou D, ou quando uma caixa marcada é retornada como X, V, K ou R, também podem ser incluídas na lógica do fluxo de trabalho de RPA para tornar o fluxo de trabalho mais robusto quando esses tipos de erros de OCR ocorrem.

Detecção de assinatura

As assinaturas são recursos visuais que não são detectados por nenhum mecanismo de OCR, portanto, um modelo de ML não pode detectá-las diretamente.

No entanto, os Modelos de ML UiPath aprendem observando as palavras e os pixels na imagem. É possível fazer detecção de assinatura fazendo uso desse recurso.

Tomemos como exemplo o formulário abaixo.

No final da página, ao lado da assinatura, há o texto Assinatura do cidadão americano. Não importa qual seja o texto, desde que esteja próximo o suficiente da assinatura (sempre que a assinatura existir). Lidar com uma assinatura é semelhante a lidar com uma caixa de seleção - consulte a seção Caixas de seleção acima.

Você pode criar um campo de texto chamado assinatura e, quando o documento tiver uma assinatura, rotule as palavras Assinatura de cidadão americano como o campo de assinatura. Quando o documento não tiver assinatura, você deixa o campo vazio.

Portanto, você deve se certificar de que seu conjunto de treinamento tenha aproximadamente metade dos documentos com assinatura e metade sem. Também pode ser cerca de 60/40%, mas não 80/20% ou 90/10%. Além disso, você deve ter pelo menos 20 a 30 amostras de cada para que o modelo possa aprender.

Dessa forma, é possível usar o modelo de ML para detectar assinatura.