OCR のアクティビティ

アプリケーションによっては、通常のスクレイピング テクノロジや UI 操作の自動化テクノロジでは対応できない場合があります。OCR テクノロジを使用する Studio のアクティビティは、端末の画面全体をスキャンして、表示されている文字をすべて見つけ出します。これにより、画面に表示されている内容に基づいてオートメーションを作成し、仮想マシン環境でのオートメーションを簡素化することができます。Citrix やその他のリモート デスクトップ ユーティリティは、デスクトップのイメージをユーザーにストリーミングしているだけであり、通常の UI セレクターは検索ができません。そのため、こうしたユーティリティは通常は OCR ベースのアクティビティの対象となります。

注: オートメーション作成の際のベスト プラクティスとして、レコーディング ウィザードを使用してプロジェクトを作成し、セレクターを自動的に生成した後、ニーズに合わせてアクティビティに変更を加えることをお勧めします。

[OCR で検出したテキストをクリック] と [OCR で検出したテキスト上でホバー] は、OCR を使用して端末の画面のテキストをスキャンし、それに関連するアクションを実行します。グラフィック要素が変化しても、テキストが変化しなければ、テキスト認識を使用して作成したオートメーションは、通常はそのまま機能します。これらのアクティビティは、仮想マシン環境の基本的なアクションを自動化する上で非常に便利です。これらのアクティビティは、入力として「ターゲット」を受け取ります。ターゲットとなることができるのは、String 変数、Region 変数、UIElement 変数、またはセレクターです。セレクターは、アクションを実行する必要がある座標を示します。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定した領域で UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。

Get OCR Text extracts a string and its information from an indicated UI element using the OCR screen scraping method. This activity can also be automatically generated when performing screen scraping, along with a container. By default, the Google OCR engine is used, but you can easily change it with Abbyy or Microsoft. There are some differences between these OCR engines, as explained in Output and Screen Scraping Methods, making them fit for different situations. As input, this activity receives a Target, which can be either a Region variable, a UiElement variable or a selector, that helps you identify what you want to automate and where the actions must be performed. The target can also be automatically generated by using the Indicate on Screen functionality, which tries to identify UI elements in the indicated region, and generates selectors for them. If this does not work for you, then manual intervention might be required. This activity returns a string variable containing the text found in the UI element, and a TextInfo variable that contains the screen coordinates of all the found words.

[OCR でテキスト位置を探す] は、指定した文字列を UI 要素の中で検索し、その文字列が含まれている UIElement 変数を返します。このアクティビティは、画面上のテキストを基準として UI 要素を探すのに便利です。このアクティビティは、入力として、検索するテキストを格納した文字列および「ターゲット」を受け取ります。ターゲットとなることができるのは、Region 変数、UiElement 変数、またはセレクターです。セレクターは、何を自動化する必要があるのか、どこでアクションを実行する必要があるのかを識別するのに役立ちます。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定した領域で UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。このアクティビティは、テキストが見つかった位置を格納した UiElement 変数を返します。

[OCR でテキストの存在を確認] は、OCR テクノロジを使用して、指定した UI 要素の中にテキストが存在するかどうかをチェックし、テキストが存在する場合は True、存在しない場合は False の Boolean 変数を返します。このアクティビティはあらゆる種類のテキストベースのオートメーションで役に立ちます。これを使用して、指定した文字列が表示されているかどうかに基づいて決定を下すことができるためです。また、ループで [リトライ スコープ] アクティビティの条件として使用することで、特定のアクションを実行することもできます。このアクティビティは、入力として、検索するテキストを格納した文字列および「ターゲット」を受け取ります。ターゲットとなることができるのは、Region 変数、UiElement 変数、またはセレクターです。セレクターは、何を自動化する必要があるのか、どこでアクションを実行する必要があるのかを識別するのに役立ちます。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定した領域で UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。このアクティビティは、テキストが見つかったかどうかを示す Boolean 変数を返します。

Google OCR、Google Cloud OCR、Microsoft OCR、Microsoft Cloud OCR、Abbyy Cloud OCR などの OCRエンジンは、独立したアクティビティとしても利用できます。これらのアクティビティは、異なる OCR エンジンを使用して、指定した画像から文字列とその位置を抽出します。これらのアクティビティは、他の OCR アクティビティ ([OCR で検出したテキストをクリック]、[OCR で検出したテキスト上でホバー]、[OCR でテキストを取得]、[OCR でテキスト位置を探す] など) で使用できます。これらのアクティビティは、入力として、スキャンする画像ファイルを含む Image 変数を受け取ります。出力として、抽出したテキストとその画面上の座標を含む IEnumerable<KeyValuePair<Rectangle,String>> 変数と、抽出したテキストを含む String 型変数を返します。