画像のアクティビティ

画像認識のアクティビティは、画像を UI 要素識別の手段として使用し、人間の操作をシミュレートすることもできます。これらのアクティビティを使用して、指定した画像が表示されているかどうかに応じて決定を下すことができます。また、ループで [リトライ スコープ] アクティビティの条件として使用することで、特定のアクションを実行することもできます。端末の画面をスキャンして、ランダムな位置に出現する UI 要素を探し、見つかった要素に設定されたクリッピング領域を持つ UiElement 変数を返すこともできます。画像のアップロードやダウンロードも可能です。画像認識のアクティビティは [精度] パラメーターを持っています。このパラメーターは、画像が 100% 一致する必要があるか、または、変化があった場合に対応できるように指定より一致度が低くてもよいかを示します。この機能は、検索しようとするグラフィカル要素が多少異なる可能性がある場合に便利です。

[画像をクリック] と [画像上でホバー] は、画像に基づいて UI 要素を識別するのに使用するアクティビティです。画像を指定すると、このアクティビティは画面をスキャンして指定した要素を探し、要素をクリックするか、または要素の上をホバーします。これらのアクティビティは高速で信頼性がありますが、グラフィカルな変化の影響を受けやすく、色や背景の詳細が変化すると識別に失敗する可能性があります。これらは、ボタンやチェック ボックスなどの UI 要素を使用して人間の操作をシミュレートすることを伴うプロセスを自動化する場合に便利です。また、Citrix などの仮想マシン環境でプロセスを自動化し、UI 要素の操作を可能にする場合に重要になります。これらのアクティビティは、入力として、クリックする必要がある画像を格納した画像変数と「ターゲット」を受け取ります。ターゲットとなることができるのは、文字列変数、Region 変数、UIElement 変数、またはセレクターです。セレクターは、アクションを実行する必要がある座標を示します。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定した領域で UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。

[画像を探す] は、特定の UI 要素が出現するまで待機するアクティビティです。これを実現するため、ユーザーは検索対象の画像のモデルとして、UI 要素の画像を指定します。要素が出現すると、アクティビティは、見つかった要素に設定されたクリッピング領域を持つ UiElement 変数を返します。このアクティビティは、仮想マシンで UI 要素を識別し、それらに対してさまざまなアクションを実行するツールとして役に立ちます。また、[画像を探す] を使用して、指定した画像が表示されているかどうかに応じて決定を下すこともでき、ループで [リトライ スコープ] アクティビティの条件として使用することで、特定のアクションを実行することもできます。このアクティビティは、入力として、検索するテキストを格納した文字列および「ターゲット」を受け取ります。ターゲットとなることができるのは、Region 変数、UiElement 変数、またはセレクターです。セレクターは、何を自動化する必要があるのか、どこでアクションを実行する必要があるのかを識別するのに役立ちます。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定したリージョンで UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。

[画像の存在を確認] は、特定の画像が画面上に存在するかどうかを確認するのに使用するアクティビティです。画像が見つかったかどうかを示すブール変数を返します。このアクティビティは、指定した画像が表示されているかどうかに基づいて決定を下すことができます。また、ループで [リトライ スコープ] アクティビティの条件として使用することで、特定のアクションを実行することもできるので便利です。このアクティビティは、入力として、検索するテキストを格納した文字列および「ターゲット」を受け取ります。ターゲットとなることができるのは、Region 変数、UiElement 変数、またはセレクターです。セレクターは、何を自動化する必要があるのか、どこでアクションを実行する必要があるのかを識別するのに役立ちます。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定したリージョンで UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。

[画像が出現したとき] は、設定した時間のあいだ、画像が画面に表示されるまで待機します。このアクティビティはコンテナーです。つまり、複数のアクションを挿入して、見つかった画像で実行することができます。このアクティビティは、仮想マシン環境において、UI 要素がいつ表示されるかを監視して一連のアクションを実行することができるため、とても便利です。[画像が出現したとき] は他のアクティビティのトリガーとしても使用できます。このアクティビティは、入力として、検索するテキストを格納した文字列および「ターゲット」を受け取ります。ターゲットとなることができるのは、Region 変数、UiElement 変数、またはセレクターです。セレクターは、何を自動化する必要があるのか、どこでアクションを実行する必要があるのかを識別するのに役立ちます。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定したリージョンで UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。

[画像が消滅したとき] は、設定した時間のあいだ、画像が画面から消去されるまで待機します。このアクティビティはコンテナーです。つまり、複数のアクションを挿入して、画像が非表示になった後に実行することができます。このアクティビティは、仮想マシン環境において、UI 要素がいつ表示されるかを監視して一連のアクションを実行することができるため、とても便利です。このアクティビティはコンテナーです。つまり、複数のアクションを挿入して、画像が非表示になった後に実行することができます。このアクティビティは、入力として、検索するテキストを格納した文字列および「ターゲット」を受け取ります。ターゲットとなることができるのは、Region 変数、UiElement 変数、またはセレクターです。セレクターは、何を自動化する必要があるのか、どこでアクションを実行する必要があるのかを識別するのに役立ちます。また、[画面上で指定] 機能を使用してターゲットを自動的に生成することもできます。この機能は、指定したリージョンで UI 要素の識別を試み、それらに対応するセレクターを生成します。この機能が使用できない場合は、手動での介入が必要になることがあります。