OCR のアクティビティ

In some situations, certain applications are not compatible with the usage of normal scraping or UI automation technologies. Activities in Studio which use OCR technology scan the entire screen of the machine, finding all the characters that are displayed. This enables the user to create automations based on what can be seen on the screen, simplifying automation in virtual machine environments. Citrix and other remote desktop utilities are usually the target of OCR-based activities, as they only stream an image of the desktop to the user, which means normal UI selectors are impossible to find.

注: オートメーション作成の際のベスト プラクティスとして、レコーディング ウィザードを使用してプロジェクトを作成し、セレクターを自動的に生成した後、ニーズに合わせてアクティビティに変更を加えることをお勧めします。

[OCR で検出したテキストをクリック] と [OCR で検出したテキスト上でホバー] は、OCR を使用して端末の画面のテキストをスキャンし、それに関連するアクションを実行します。グラフィック要素が変化しても、テキストが変化しなければ、テキスト認識を使用して作成したオートメーションは、通常はそのまま機能します。これらのアクティビティは、仮想マシン環境の基本的なアクションを自動化するうえでとても便利です。これらのアクティビティは、入力として「ターゲット」を受け取ります。ターゲットとなることができるのは、String 変数、Region 変数、UIElement 変数、またはセレクターです。セレクターは、アクションを実行する必要がある座標を示します。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定した領域で UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。

[OCR でテキストを取得] は、OCR 画面スクレイピング メソッドを使用して、指定した UI 要素から文字列とその情報を抽出します。このアクティビティは、画面スクレイピングの実行時にコンテナーと一緒に自動的に生成することもできます。既定では Google OCR エンジンが使用されますが、Abbyy または Microsoft のエンジンへの変更も容易です。こちらで説明しているように、これらの OCR エンジンにはいくつかの違いがあり、状況に応じて使い分けることができます。このアクティビティは、入力として「ターゲット」を受け取ります。ターゲットとなることができるのは、Region 変数、UIElement 変数、またはセレクターです。セレクターは、何を自動化する必要があるのか、どこでアクションを実行する必要があるのかを識別するのに役立ちます。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定した領域で UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。 このアクティビティは、UI 要素で見つかったテキストを格納した String 変数と、見つかった単語すべての画面座標を格納した TextInfo 変数を返します。

[OCR でテキスト位置を探す] は、指定した文字列を UI 要素の中で検索し、その文字列が含まれている UIElement 変数を返します。このアクティビティは、画面上のテキストを基準として UI 要素を探すのに便利です。このアクティビティは、入力として、検索するテキストを格納した文字列および「ターゲット」を受け取ります。ターゲットとなることができるのは、Region 変数、UiElement 変数、またはセレクターです。セレクターは、何を自動化する必要があるのか、どこでアクションを実行する必要があるのかを識別するのに役立ちます。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定した領域で UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。このアクティビティは、テキストが見つかった位置を格納した UiElement 変数を返します。

[OCR でテキストの存在を確認] は、OCR テクノロジを使用して、指定した UI 要素の中にテキストが存在するかどうかをチェックし、テキストが存在する場合は True、存在しない場合は False の Boolean 変数を返します。このアクティビティはあらゆる種類のテキストベースの自動化で役に立ちます。これを使用して、指定した文字列が表示されているかどうかに基づいて決定を下すことができるためです。また、ループで [リトライ スコープ] アクティビティの条件として使用することで、特定のアクションを実行することもできます。このアクティビティは、入力として、検索するテキストを格納した文字列および「ターゲット」を受け取ります。ターゲットとなることができるのは、Region 変数、UiElement 変数、またはセレクターです。セレクターは、何を自動化する必要があるのか、どこでアクションを実行する必要があるのかを識別するのに役立ちます。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定した領域で UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。このアクティビティは、テキストが見つかったかどうかを示す Boolean 変数を返します。

Google OCR、Google Cloud OCR、Microsoft OCR、Microsoft Cloud OCR、Abbyy Cloud OCR などの OCRエンジンは、独立したアクティビティとしても利用できます。これらのアクティビティは、異なる OCR エンジンを使用して、指定した画像から文字列とその位置を抽出します。これらのアクティビティは、他の OCR アクティビティ ([OCR で検出したテキストをクリック]、[OCR で検出したテキスト上でホバー]、[OCR でテキストを取得]、[OCR でテキスト位置を探す] など) で使用できます。これらのアクティビティは、入力として、スキャンする画像ファイルを含む Image 変数を受け取ります。出力として、抽出したテキストとその画面上の座標を含む IEnumerable<KeyValuePair<Rectangle,String>> 変数と、抽出したテキストを含む String 型変数を返します。