Caixas de seleção e assinaturas

Caixas de seleção

No contexto de um modelo de Extração de ML, uma caixa de seleção não é um valor real, mas uma maneira de selecionar uma determinada parte do texto.

Por causa disso, a palavra próxima a ela se torna o ponto de foco, não a caixa de seleção. E esse é justamente o objetivo da caixa de seleção, servir de âncora para uma palavra específica.

Consequentemente, para treinar um modelo de ML, você precisa rotular a palavra, não a caixa de seleção.

Em alguns casos, a caixa de seleção não é detectada. Por exemplo, o OCR pode lê-lo como um X, ou talvez seja apenas uma marca manuscrita que não chega a ser identificada. O modelo de ML pode aprender e associar todas essas situações com a palavra ao lado da marca.

Portanto, é mais robusto treinar um modelo para reconhecer uma palavra, independentemente de como ela é selecionada: com uma caixa de seleção, com um X ou com uma marca manuscrita (circulada, sublinhada, etc.).

Caixas de seleção de opção única

Para o exemplo acima, você pode criar três campos no Data Manager da seguinte forma:

• condition-employment (rotule a palavra YES);
• condition-auto-accident (rotule a palavra YES);
• condition-other-accident (rotule a palavra NO).

The ML model learns to recognize those words, whether they are marked by checkboxes, X’s, or just circled in pen. To do so, you could use UiPath Document OCR which can recognize even checkboxes.

Caixas de seleção sem rótulo

Há casos em que não há rótulo associado a uma caixa de seleção. Por exemplo, quando as caixas de seleção fazem parte de tabelas.

Aqui está um exemplo típico:

Neste caso, é necessário rotular as caixas. O extrator retornará o valor da string da caixa de seleção, relativo a um desses dois caracteres:

• ☒
• ☐

These two characters can be copied and pasted like any other and can be used in workflows to verify if a checkbox was returned as checked or unchecked. Moreover, the IntelligentOCR framework knows how to recognize these, especially if a field is defined as Boolean:

• se o extrator retorna ☒, isso corresponde a YES;
• se o extrator retorna ☐, isso corresponde a NO.

In cases where an unchecked box is returned as O or D, or when a checked box is returned as X,V,K or R, these can also be included in the RPA workflow logic to make the workflow more robust when these kinds of OCR errors occur.

Detecção de assinatura

As assinaturas são recursos visuais que não são detectados por nenhum mecanismo de OCR, portanto, um modelo de ML não pode detectá-las diretamente.

However, UiPath ML Models learn by looking at both words and pixels on the image. It is possible to do signature detection by making use of this.

Tomemos como exemplo o formulário abaixo.

At the end of the page, next to the signature, there is the text Signature of U.S. person. It does not matter what the text is, as long as it is close enough to the signature (whenever the signature exists). Dealing with a signature is similar to dealing with a checkbox - see the Checkboxes section above.

You can create a text field called signature and when the document has a signature, you label the words Signature of U.S. person as the signature field. When the document does not have a signature, you leave the field empty.

Portanto, você deve se certificar de que seu conjunto de treinamento tenha aproximadamente metade dos documentos com assinatura e metade sem. Também pode ser cerca de 60/40%, mas não 80/20% ou 90/10%. Além disso, você deve ter pelo menos 20 a 30 amostras de cada para que o modelo possa aprender.

Dessa forma, é possível usar o modelo de ML para detectar assinatura.