画像とテキストの自動化について

画像およびテキストベースのプロセスの自動化を実現するため、Studio は、クリック、ホバー、入力などのキーボードおよびマウスの入力をシミュレートするアクティビティ、画面クレイピングを使用して UI 要素を識別するテキスト認識および OCR のアクティビティ、そして、画像を直接操作して UI 要素を識別する画像認識のアクティビティを備えています。こちらで説明しているように、画面スクレイピングおよび Citrix のレコーディングを行うための専用のレコーディング ウィザードを用いることによっても、プロセスごとに必要なアクティビティを自動的に生成することができます。

画像とテキストの自動化は、通常のメソッドではセレクターを見つけることができず、UI 操作の自動化が機能しない場合 (仮想マシン環境など) に便利です。

この章では、各種オートメーションにおいて重要となるアクティビティについて説明します。それらのアクティビティの動作と使用例を示し、前述のアクティビティを使用した、画像およびテキストベースのプロセスの自動化の例を 3 つ紹介します。