UI Automation のアクティビティ

最終更新日時 2025年3月13日

デバイスとの対話

デバイスとの対話は、モバイルデバイスマネージャー (MDM) 内でモバイルデバイスに対して実行するアクションで構成されます。このアクションを記録してテストケースにインポートできます。

デバイスとの対話の条件

アクションを実行すると、完了するまでデバイスとの対話はロックされます。

アプリケーションを開始する

デバイスと対話するには、まずアプリケーションを開始する必要があります。MDM では、次の表に示す 3 つの方法でアプリケーションを開始できます。

メソッド	手順
デバイスからアプリケーションを開始する	[デバイス] タブに移動して、デバイスを選択します。 [このデバイス上でアプリケーションを開始] をクリックします。ドロップダウンリストからアプリケーションを選択して [接続] をクリックします。
設定したアプリからアプリケーションを開始する	[アプリケーション] タブに移動して、アプリケーションを選択します [アプリケーションを開始] をクリックします。ドロップダウンからデバイスを選択して [接続] をクリックします。
[ようこそ] タブの [クイックアクション] を使用してアプリケーションを開始する	[ようこそ] タブに移動して、[アプリケーションを開始] を選択します。ドロップダウンからデバイスとアプリケーションを選択します。 [接続] をクリックします。クイックアクションに関する詳細については、「クイックアクション」をご覧ください。

デバイスと対話する

MDM では、マウスまたはアクションバーを使用して、実際の物理デバイスと同じようにデバイスと対話できます。アクションを実行すると、画面とアクションがロックされます。

画面上の対話

以下に、デバイスと対話するために画面上で実行できるアクションのリストを示します。

操作	説明	手順
タップ	画面上の要素にアクセスします。	デバイス画面上の要素をクリックします。
ダブルタップ	画面上でダブルタップアクションを実行します。	デバイス画面上の要素をダブルクリックします。
ロングタップ	長押しします。	要素をクリックしたまま保持します。
ピンチ (拡大/縮小)	拡大、縮小します。このアクションは記録されません。	マウスの右ボタンをクリックしたまま、画面の下方にドラッグして拡大するか、画面の上方にドラッグして縮小します。
スワイプ	画面上でスワイプします。	クリックして、画面上の任意の場所に向かってドラッグします。
キーボード入力	テキストを入力してモバイルに送信します。たとえば、検索バーを使用して Web サイトにすばやくアクセスできます。	テキスト領域をダブルクリックして入力ウィンドウを開きます。テキストを入力します。 [テキストを送信した後に Enter キーを押す] を選択して、直接入力します。 [テキストを送信] をクリックします。

操作バー

以下に、デバイスと対話するために実行できるアクションのリストを示します。アクションバーは、デバイスのすぐ横にあります。

操作	説明	手順
iOS のホーム	ホーム画面に戻ります。	[iOS のホーム] ボタンをクリックします。
Android の戻る	前の画面/ページに戻ります。	[Android の戻る] ボタンをクリックします。
Android のホーム	ホーム画面に戻ります。	[Android のホーム] ボタンをクリックします
Android のアプリの切り替え	アプリを切り替えます。	[Android のアプリの切り替え] ボタンをクリックして、次のアクションを選択します。
向きを横方向/縦方向に変更	デバイスの縦 (垂直) および横 (水平) モードを切り替えます。画面の方向は、すべてのアプリケーションでサポートされているわけではありません。	向きの変更トグルをクリックしてモードを切り替えます。
更新	デバイスの接続を更新します。	[更新] ボタンをクリックしますまたは、接続が失われたときに表示される [再接続] ボタンをクリックします。
スクリーンショットを保存	現在の画面を保存します。	[スクリーンショットを保存] をクリックして、ファイルを保存する場所を選択します。
テキストを送信	テキストを入力してモバイルに送信します。たとえば、検索バーを使用して Web サイトにすばやくアクセスできます。	フォーカス可能な要素を選択してから [テキストを送信] をクリックします。テキストを入力します。 [テキストを送信した後に Enter キーを押す] を選択して、直接入力します。 [Clear the existing text] の選択を解除すると、既存のテキストをクリアせずに、別のテキストを横に貼り付けることができます。 [テキストを送信] をクリックして確定します。
パターンを描画	デバイス画面上に任意のパターンを描画します。フィンガーパス (指を動かすルート) 内のいくつかの点が記録され、XY 軸上に表示されます。	[パターンを描画] を選択し、UI 要素内に必要なパターンを描画します。 Studio にアクションをインポートするには、[記録済みの操作をインポート] をクリックします。MDM で描画したパターンは [パターンを描画] アクティビティとして表示され、フィンガーパス内の記録された点が出力されます。
CV 記録を有効化	Computer Vision 機能によって識別された UI 要素を自動化するための録画を有効化します。この機能では、セレクターを使用せずに UI 要素を識別できる UiPath® のニューラルネットワークを使用します。そのため、このメソッドでは、そうしなければ自動化できない要素も識別できます。	[CV 記録を有効化] を選択して、自動化する UI 要素を選択します。 Studio にアクションをインポートするには、[記録済みの操作をインポート] をクリックします。MDM で記録した UI 要素は、対応するアクティビティとしてワークフローに表示されます。
識別された要素による選択	MDM によって識別された UI 要素を選択します。	[識別された要素による選択] をクリックして、MDM によって識別された UI 要素を選択します。
絶対位置による選択	要素の固定の座標を使用して UI 要素を選択します。座標は [指定位置をスワイプ] アクティビティとして記録されます。	[絶対位置での選択] をクリックして、UI 要素を選択するための既定の座標を選択します。
要素アクションを記録する	特定の UI 要素に対して実行された、手動で設定されたアクションを記録します。画面上のタップにオフセットを追加するなど、よりきめ細かいアクションを記録する場合にお勧めします。	[要素アクションを記録] をクリックします。デバイス画面上で UI 要素を選択します。 [シングルタップ] をクリックして、ドロップダウンリストから画面上の対話の種類を選択します。たとえば、[シングルタップ] を選択します。 [アクションを設定] をクリックして、アクションをよりきめ細かく詳細に設定します。 [アクションを実行] をクリックして、[記録済みのアクション] パネルに記録されたアクションを実行します。
WebView セレクターをネイティブセレクターとして処理するよう切り替え	使用するオペレーティングシステムに応じて、今後使用するセレクターを WebView タイプからネイティブタイプのセレクターに変換しようとします。この機能により、Web アプリの自動化が容易になります。	[WebView セレクターをネイティブセレクターとして処理するよう切り替え] をクリックします。アクションのレコーディングを開始します。
アプリをインストール	デバイスにアプリケーションをインストールします。	横三点リーダーをクリックして [詳細設定] を開きます。 [アプリをインストール] ボタンをクリックして、アプリがある場所 (フルパス) を入力します。 [インストール] をクリックして確定します。
アプリを管理	現在のアプリケーションを管理します。	横三点リーダーをクリックして [詳細設定] を開きます。 [アプリを管理] をクリックして、ドロップダウンから次のいずれかのアクションを選択します。起動: 既定のアプリページを起動します。リセット: アプリを再起動します。 [実行] をクリックして確定します。
他のアプリを管理	デバイス上のその他のアプリケーションを管理します。アプリ間の連携をテストする場合に使用できます。	横三点リーダーをクリックして [詳細設定] を開きます。 [他のアプリを管理] をクリックして、アプリ名を入力します。ドロップダウンから、次のいずれかのコマンドを選択します。 Remove: アプリをアンインストールします。 Activate: アプリを開きます。 Terminate: アプリを閉じます。 [実行] をクリックして確定します。
URL を開く	ブラウザーで URL を開きます。	デバイス上でブラウザーを開きます。横三点リーダーをクリックして [詳細設定] を開きます。 [URL を開く] をクリックして、完全な URL を入力します。例: `https://www.google.com/` [開く] をクリックして確定します。
ディープリンクを開く	特定のページを開くアプリを起動します。	横三点リーダーをクリックして [詳細設定] を開きます。 [ディープリンクを開く] をクリックして、以下を設定します。アプリ: アプリのパス。ディープリンク: 開くページを指定します。 [開く] をクリックして確定します。
ソースを保存	デバイスの XML ソースファイルを保存します。	横三点リーダーをクリックして [詳細設定] を開きます。 [ソースを保存] をクリックして、ファイルを保存する場所を選択します。
地理的位置を設定	地理的座標を設定します。	横三点リーダーをクリックして [詳細設定] を開きます。 [地理的位置を設定] をクリックして、マップ上の [緯度]、[経度]、[高度] の検索機能によって座標を取得します。また、自分がいる場所を検索することもできます。 [設定] をクリックして確定します。

要素アクションを記録する

[要素アクションを記録] 機能はアクション バー内にありますここから、通常の画面上の対話ではキャプチャできない、非常にきめ細かいアクションを記録できます。[要素アクションを記録] 機能は、1 つ以上の UI 要素に対して実行したアクションを記録および設定することによって動作します。アクションの設定は、選択した画面上の対話の種類によって異なります。たとえば、[シングルタップ] を画面上の対話として選択した場合、[ダブルタップ] または [ロングタップ] に設定できます。

[要素アクションを記録] 機能は、画面上のタップにオフセットを追加するなど、よりきめ細かいアクションを記録する場合にお勧めします。

[要素アクションを記録] を使用する

[要素アクションを記録] 機能を使用するには、以下の手順を実行します。

[要素アクションを記録] をクリックします。
デバイス画面上で UI 要素を選択します。
[シングルタップ] をクリックして、ドロップダウンリストから画面上の対話の種類を選択します。たとえば、[シングルタップ] を選択します。
[アクションを設定] をクリックして、アクションをよりきめ細かく詳細に設定します。
[アクションを実行] をクリックして、[記録済みのアクション] パネルに記録されたアクションを実行します。

WebView セレクターをネイティブセレクターとして処理

[WebView セレクターをネイティブセレクターとして処理] 機能はアクション バー内にあります。切り替えると、今後使用するすべてのセレクターを WebView からネイティブに変換しようとします。これにより、Web ビュー内の UI 要素との対話の効率、速度、使いやすさが向上します。

注: 特に、複雑な Web ページや頻繁に更新される要素を含む Web ページでは、この選択方法が期待どおりに動作しない場合があることに注意してください。

WebView セレクターをネイティブセレクターとして使用する

[WebView セレクターをネイティブセレクターとして処理] を使用するには、以下の手順を実行します。

[WebView セレクターをネイティブセレクターとして処理するよう切り替え] をクリックします。
アクションのレコーディングを開始します。

記録済みのアクション

アクションバーを使用するか画面上でアクションを指定してデバイスと対話し、ステップを記録することができます。たとえば、MDM でモバイルオートメーションワークフローを用意するために、アクションを記録および管理することができます。詳細については、「記録されたアクションを使用してワークフローを作成する」をご覧ください。

以下に、記録されたアクションによって実行できるアクションのリストを示します。

操作	説明	手順
実行	アクションを実行します。	アクションの [再生] ボタンをクリックして、実行します。
コピー	クリップボードにアクションをコピーします。Studio で [記録済みのアクションをインポート] を使用して、ワークフローに貼り付けることができます。	[コピー] ボタンをクリックして、アクションをクリップボードにコピーします。
削除する	アクションを削除します。	[削除] をクリックして、リストからアクションを削除します。または、[すべてクリア] をクリックして、すべてのアクションを削除することもできます。
並べ替え	アクションのリストを、別の順番で並べ替えます。	ドラッグアンドドロップによりアクションをリストの別の位置に移動します。
ページの更新を待機	ページのソースが各アクションのスクリーンショットを取得するまで待機します。	[各操作の後に新しいスクリーンショットを待機] のオン/オフを切り替えます。