チェックボックスと署名

チェックボックス

マシン ラーニング抽出モデルの場合、チェックボックスは実際の値ではなく、特定のテキストを選択する方法といえます。

そのため、横の単語はチェックボックスではなくフォーカス ポイントになります。これはまさに、特定の単語のアンカーとして機能するという、チェックボックスの目的を表しています。

したがって、ML モデルをトレーニングするには、チェックボックスではなく単語にラベル付けをする必要があります。

場合によっては、チェックボックスが検出されないことがあります。たとえば、OCR がチェックボックスを X と読み取る可能性があります。あるいは、チェックボックスではなく、まったく検出されない単なる手書きのマークが使用されることもあります。ML モデルはこうした状況をすべて学習し、マークの横の単語に関連付けることができます。

つまり、チェックボックス、X、手書きのマーク (丸印、下線など) といった選択方法の違いに関係なく単語を認識するようにトレーニングする方が、より堅牢なモデルになります。

単一オプションのチェックボックス

上に示す例では、Data Manager で 2 つのフィールドを以下のように作成できます。

• condition-employment (YES という単語をラベル付け)
• condition-auto-accident (YES という単語をラベル付け)

The ML model learns to recognize those words whether they are marked by checkboxes, X’s, or just circled in pen. To do so, you could use UiPath Document OCR which can recognize even checkboxes.

ラベルのないチェックボックス

チェックボックスにはラベルが関連付けられていないこともあります。たとえば、チェックボックスが表の一部である場合などです。

以下に、一般的な例を示します。

この場合は、ボックスをラベル付けする必要があります。この 2 つの文字のいずれかであるチェックボックスの文字列値を抽出器が返します。

• ☒
• ☐

These two characters can be copied and pasted like any other and can be used in workflows to verify if a checkbox was returned as checked or unchecked. Moreover, the IntelligentOCR framework knows how to recognize these, especially if a field is defined as Boolean:

• 抽出器が ☒ を返す場合は、YES を表します。
• 抽出器が ☐ を返す場合は、NO を表します。

In cases where an unchecked box is returned as O or D, or when a checked box is returned as X,V,K or R, these can also be included in the RPA workflow logic to make the workflow more robust when these kinds of OCR errors occur.

署名の検出

署名は OCR エンジンで検出されない視覚的な機能であるため、ML モデルが直接検出することはできません。

ただし、UiPath ML モデルは画像上の単語とピクセルの両方を認識して学習します。この機能を利用することで署名の検出が可能になります。

以下に、フォームの例を示します。

At the end of the page, next to the signature, there is the text Signature of U.S. person. It does not matter what the text is, as long as it is close enough to the signature (whenever the signature exists). Dealing with a signature is similar to dealing with a checkbox - see the Checkboxes section above.

signature というテキスト フィールドを作成できます。ドキュメントに署名がある場合は、Signature of U.S. person という複数の単語を署名フィールドとしてラベル付けします。ドキュメントに署名がない場合は、フィールドを空のままにします。

次に、署名のあるドキュメントと署名のないドキュメントをほぼ半分ずつトレーニング セットに含める必要があります。署名のあるものを 60%、ないものを 40% にすることもできますが、80% と 20% または 90% と 10% にすることはできません。また、モデルがこのトレーニング セットを学習できるよう、それぞれに最低でも 20 個から 30 個のサンプルが必要です。

この方法で、ML モデルを使用して署名を検出できます。