チェックボックスと署名

チェックボックス

マシンラーニング抽出モデルの場合、チェックボックスは実際の値ではなく、特定のテキストを選択する方法といえます。

そのため、横の単語はチェックボックスではなくフォーカスポイントになります。これはまさに、特定の単語のアンカーとして機能するという、チェックボックスの目的を表しています。

したがって、ML モデルをトレーニングするには、チェックボックスではなく単語にラベル付けをする必要があります。

場合によっては、チェックボックスが検出されないことがあります。たとえば、OCR がチェックボックスを X と読み取る可能性があります。あるいは、チェックボックスではなく、まったく検出されない単なる手書きのマークが使用されることもあります。ML モデルはこうした状況をすべて学習し、マークの横の単語に関連付けることができます。

つまり、チェックボックス、X、手書きのマーク (丸印、下線など) といった選択方法の違いに関係なく単語を認識するようにトレーニングする方が、より堅牢なモデルになります。

単一オプションのチェックボックス

上の例では、次のようにデータマネージャーで 2 つのフィールドを作成できます。

condition-employment (YES という単語をラベル付け)
condition-auto-accident (YES という単語をラベル付け)

ML モデルは、単語がチェックボックス、X、またはただの手書きの丸印のどの方法でマークされていても、それらの単語を学習して認識するようになります。そのために、チェックボックスも認識可能な UiPath Document OCR を使用できます。

ラベルのないチェックボックス

チェックボックスにはラベルが関連付けられていないこともあります。たとえば、チェックボックスが表の一部である場合などです。

以下に、一般的な例を示します。

この場合は、ボックスをラベル付けする必要があります。この 2 つの文字のいずれかであるチェックボックスの文字列値を抽出器が返します。

この 2 つの文字は他と同様にコピーして貼り付けることができ、チェックボックスのステータスとして checked または unchecked のどちらが返されたかワークフロー内で検証するために使用できます。さらに、特にフィールドが Boolean と定義されている場合は、Intelligent OCR フレームワークがこれらの認識方法を把握しています。

抽出器が ☒ を返す場合は、YES を表します。
抽出器が ☐ を返す場合は、NO を表します。

チェックマークの付いていないボックスが O または D として返される場合、あるいはチェックマークの付いたボックスが X、V、K、R のいずれかとして返される場合は、これらを RPA ワークフローのロジックに含めて、このような OCR エラーに備えてワークフローをさらに堅牢なものにすることができます。

署名の検出

署名は OCR エンジンで検出されない視覚的な機能であるため、ML モデルが直接検出することはできません。

ただし、UiPath ML モデルは画像上の単語とピクセルの両方を認識して学習します。この機能を利用することで署名の検出が可能になります。

以下に、フォームの例を示します。

ページの末尾、署名の横に、Signature of U.S. person というテキストがあります。それ以外のどのようなテキストであっても、(署名が存在する場合は必ず) 署名のすぐ近くに配置してあれば問題ありません。署名はチェックボックスと同様に扱われます。前出の「チェックボックス」セクションをご覧ください。

signature というテキストフィールドを作成できます。ドキュメントに署名がある場合は、Signature of U.S. person という複数の単語を署名フィールドとしてラベル付けします。ドキュメントに署名がない場合は、フィールドを空のままにします。

次に、署名のあるドキュメントと署名のないドキュメントをほぼ半分ずつトレーニングセットに含める必要があります。署名のあるものを 60%、ないものを 40% にすることもできますが、80% と 20% または 90% と 10% にすることはできません。また、モデルがこのトレーニングセットを学習できるよう、それぞれに最低でも 20 個から 30 個のサンプルが必要です。

この方法で、ML モデルを使用して署名を検出できます。