Caixas de seleção e assinaturas

Caixas de seleção

Campos de múltipla escolha com caixas de seleção podem ser de alguns tipos diferentes. Primeiro, há os tipos mutuamente exclusivos e, em seguida, os não mutuamente exclusivos, nos quais mais de uma opção pode ser selecionada. Outro aspecto importante é o número de opções disponíveis para um determinado campo de múltipla escolha. Em alguns casos, pode haver uma única opção, na qual a caixa de seleção está marcada ou não; em outros casos pode haver 10, 20 ou mais opções, organizadas em uma grade ou tabela, como em muitos formulários de saúde.

Há quatro maneiras principais pelas quais você pode rotular esses tipos de campos de múltipla escolha.

Rotulagem de opções

Let's take an example to understand how you can label the options. Forms can include the options Project or Policy. In this case, you only have one field, and you only label the selected word, i.e. label the word Project if the checkbox next to it is checked or the word Policy if the checkbox next to it is checked. If neither is checked then you label neither, and both being checked is not possible, and such documents would just be deleted from the training set.

Essa abordagem tem a vantagem de ter um único campo, o que requer menos dados. Também tem a vantagem de não depender de uma detecção bem-sucedida de caixas de seleção. Se uma caixa de seleção for detectada como uma letra X, o modelo ainda poderá aprender a reconhecer que isso significa que a opção próxima a ela está selecionada.

The disadvantage is that you need to make sure both options are roughly equally represented, which is not always the case. Potentially, in your training set, 90% of the documents might have Project checked. In this case, the model cannot perform well and this approach fails. The problem gets worse when you have more options because some of them are almost always rare. In these cases you may need to create fake documents with the rare options checked to balance things out.

Rotule as caixas de seleção, com campos separados para cada caixa de seleção

In the above example, you may have one field called Project where you always label the checkbox for Project, and one field called policy where you always label the checkbox for Policy, whether they are checked or not. This has the advantage that the balance matters a lot less, even if one of the options is checked 90% of the time, the model still learns to recognize them because the checkboxes are always in the same place.

A desvantagem é que você tem dois campos em vez de um. Quando há duas opções, isso pode não ser um grande problrma, mas quando há 10 a 20 opções, ter 10 a 20 campos em vez de um torna muito mais difícil rotular e o modelo é mais difícil de treinar, exigindo mais treinamento dados.

Another downside is that sometimes the checkbox might not be detected correctly and you may need to add more complex logic in the workflow to handle all the X, V or K returned characters. In some cases the OCR might even merge the checkbox with the word next to it, like XProject, requiring an even more complex RPA logic to handle this situation.

Rotule apenas as caixas de seleção com um único campo de vários valores

Os campos de valores múltiplos fazem parte da versão 2022.10 do Document Understanding. Isso facilita a rotulagem, não sendo afetado por opções desbalanceadas em verificação e não se houver um grande número de opções. No entanto, ainda depende da precisão da detecção da caixa de seleção ou do risco de que as caixas de seleção possam ser mescladas com as opções próximas a elas. Os erros de OCR são muito difíceis de previnir.

Rotule as opções com um único campo de valores múltiplos

Isso também facilita a rotulagem, é menos sensível a erros de detecção de caixa de seleção, mas pode ser mais sensível a opções desbalanceadas, assim como a primeira opção.

In our experience, all of these options may be appropriate in some situations. We initially preferred the first option, however, as the accuracy of the checkbox detection in UiPath Document OCR has improved, we have gravitated more towards option two and three. Options two and three also have another major advantage: they are compatible between Forms AI and our AI Center based ML packages. So you can start with Forms AI, and then if you find the accuracy is lower than expected, you can just move the dataset to a Document Manager session and just train an ML model directly without any other changes. This option has become particularly interesting as our ML packages have gotten more powerful and require less training data.

Detecção de assinatura

Starting with the 2022.4 LTS Enterprise release, signatures can be detected using the UiPath Document OCR, hence, Machine Learning Models can directly detect signatures.

Rotule uma assinatura como qualquer outro campo é rotulado em seu documento. Uma vez detectado pelo UiPath Document OCR, o modelo de Machine Learning aprende a reconhecer o campo como uma assinatura.

Observação:

Para uma análise de assinatura mais aprofundada, você também pode usar o modelo Comparação de assinaturas disponível nos pacotes de ML UiPath Image Analysis.