Casillas de verificación y firmas

Casillas de verificación

En el contexto de un modelo de Extracción ML, las casillas de verificación no son un valor real, sino una forma de seleccionar un determinado texto.

Por ello, la palabra que está al lado se convierte en el punto de atención, no la casilla de verificación. Y este es precisamente el propósito de la casilla de verificación: servir de anclaje para una palabra específica.

En consecuencia, para entrenar un modelo ML es necesario etiquetar la palabra, no la casilla.

En algunos casos, no se detecta la casilla de verificación. Por ejemplo, el OCR podría leerla como una X, o tal vez se trate de alguna marca escrita a mano que no se detecta en absoluto. El modelo ML puede aprender y asociar todas estas situaciones con la palabra junto a la marca.

Por lo tanto, es más robusto entrenar un modelo para que reconozca una palabra, independientemente de cómo se seleccione: con una casilla de verificación, con una X o con una marca escrita a mano (rodeada, subrayada, etc.).

Casillas de verificación de una sola opción

Para el ejemplo anterior, puedes crear dos campos en el Gestor de datos de esta manera:

• condition-employment (etiqueta la palabra SÍ);
• condition-auto-accident (etiqueta la palabra SÍ);

The ML model learns to recognize those words whether they are marked by checkboxes, X’s, or just circled in pen. To do so, you could use UiPath Document OCR which can recognize even checkboxes.

Casillas de verificación sin etiqueta

Hay casos en los que no hay ninguna etiqueta asociada a una casilla de verificación. Por ejemplo, cuando las casillas de verificación forman parte de tablas.

Este es un ejemplo típico:

En este caso, es necesario etiquetar los recuadros. El extractor devolverá el valor de la string de la casilla de verificación que sea uno de estos dos caracteres:

• ☒
• ☐

These two characters can be copied and pasted like any other and can be used in workflows to verify if a checkbox was returned as checked or unchecked. Moreover, the IntelligentOCR framework knows how to recognize these, especially if a field is defined as Boolean:

• si el extractor devuelve ☒, esto corresponde a SÍ;
• Si el extractor devuelve ☐, esto corresponde a NO.

In cases where an unchecked box is returned as O or D, or when a checked box is returned as X,V,K or R, these can also be included in the RPA workflow logic to make the workflow more robust when these kinds of OCR errors occur.

Detección de firmas

Las firmas son características visuales que no son detectadas por ningún motor OCR, por lo que un modelo ML no puede detectarlas directamente.

However, UiPath ML Models learn by looking at both words and pixels on the image. It is possible to do signature detection by making use of this.

Veamos como ejemplo el siguiente formulario.

At the end of the page, next to the signature, there is the text Signature of U.S. person. It does not matter what the text is, as long as it is close enough to the signature (whenever the signature exists). Dealing with a signature is similar to dealing with a checkbox - see the Checkboxes section above.

You can create a text field called signature and when the document has a signature, you label the words Signature of U.S. person as the signature field. When the document does not have a signature, you leave the field empty.

En ese caso, debes asegurarte de que tu conjunto de entrenamiento tiene aproximadamente la mitad de los documentos con firma y la otra mitad sin ella. También puede ser 60/40 %, pero no 80/20 % o 90/10 %. Además, debes tener al menos entre 20 y 30 muestras de cada uno para que el modelo sea capaz de aprenderlo.

De esta forma, puedes utilizar el modelo ML para la detección de firmas.