デバイスとの対話

デバイスとの対話は、モバイル デバイス マネージャー (MDM) 内でモバイル デバイスに対して実行するアクションで構成されます。このアクションを記録してテスト ケースにインポートできます。

デバイスとの対話の条件

アクションを実行すると、完了するまでデバイスとの対話はロックされます。

アプリケーションを開始する

デバイスと対話するには、まずアプリケーションを開始する必要があります。MDM では、次の表に示す 3 つの方法でアプリケーションを開始できます。

メソッド	手順
デバイスからアプリケーションを開始する	[デバイス] タブに移動して、デバイスを選択します。 [このデバイス上でアプリケーションを開始] をクリックします。 ドロップダウン リストからアプリケーションを選択して [接続] をクリックします。
設定したアプリからアプリケーションを開始する	[アプリケーション] タブに移動して、アプリケーションを選択します [アプリケーションを開始] をクリックします。 ドロップダウンからデバイスを選択して [接続] をクリックします。
[ようこそ] タブの [クイック アクション] を使用してアプリケーションを開始する	[ようこそ] タブに移動して、[アプリケーションを開始] を選択します。 ドロップダウンからデバイスとアプリケーションを選択します。 [接続] をクリックします。 クイック アクションに関する詳細については、「クイック アクション」をご覧ください。

デバイスと対話する

MDM では、マウスまたはアクション バーを使用して、実際の物理デバイスと同じようにデバイスと対話できます。アクションを実行すると、画面とアクションがロックされます。

画面上の対話

以下に、デバイスと対話するために画面上で実行できるアクションのリストを示します。

操作	説明	手順
タップ	画面上の要素にアクセスします。	デバイス画面上の要素をクリックします。
ダブル タップ	画面上でダブル タップ アクションを実行します。	デバイス画面上の要素をダブルクリックします。
ロング タップ	長押しします。	要素をクリックしたまま保持します。
ピンチ (拡大/縮小)	拡大、縮小します。このアクションは記録されません。	マウスの右ボタンをクリックしたまま、画面の下方にドラッグして拡大するか、画面の上方にドラッグして縮小します。
スワイプ	画面上でスワイプします。	クリックして、画面上の任意の場所に向かってドラッグします。
キーボード入力	テキストを入力してモバイルに送信します。たとえば、検索バーを使用して Web サイトにすばやくアクセスできます。	テキスト領域をダブルクリックして入力ウィンドウを開きます。 テキストを入力します。 [テキストを送信した後に Enter キーを押す] を選択して、直接入力します。 [テキストを送信] をクリックします。

操作 バー

以下に、デバイスと対話するために実行できるアクションのリストを示します。アクション バーは、デバイスのすぐ横にあります。

操作	説明	手順
iOS のホーム	ホーム画面に戻ります。	[iOS のホーム] ボタンをクリックします。
Android の戻る	前の画面/ページに戻ります。	[Android の戻る] ボタンをクリックします。
Android のホーム	ホーム画面に戻ります。	[Android のホーム] ボタンをクリックします
Android のアプリの切り替え	アプリを切り替えます。	[Android のアプリの切り替え] ボタンをクリックして、次のアクションを選択します。
向きを横方向/縦方向に変更	デバイスの縦 (垂直) および 横 (水平) モードを切り替えます。画面の方向は、すべてのアプリケーションでサポートされているわけではありません。	向きの変更トグルをクリックしてモードを切り替えます。
更新	デバイスの接続を更新します。	[更新] ボタンをクリックします または、接続が失われたときに表示される [再接続] ボタンをクリックします。
スクリーンショットを保存	現在の画面を保存します。	[スクリーンショットを保存] をクリックして、ファイルを保存する場所を選択します。
テキストを送信	テキストを入力してモバイルに送信します。たとえば、検索バーを使用して Web サイトにすばやくアクセスできます。	フォーカス可能な要素を選択してから [テキストを送信] をクリックします。 テキストを入力します。 [テキストを送信した後に Enter キーを押す] を選択して、直接入力します。 [Clear the existing text] の選択を解除すると、既存のテキストをクリアせずに、別のテキストを横に貼り付けることができます。 [テキストを送信] をクリックして確定します。
パターンを描画	デバイス画面上に任意のパターンを描画します。フィンガー パス (指を動かすルート) 内のいくつかの点が記録され、XY 軸上に表示されます。	[パターンを描画] を選択し、UI 要素内に必要なパターンを描画します。 Studio にアクションをインポートするには、[記録済みの操作をインポート] をクリックします。MDM で描画したパターンは [パターンを描画] アクティビティとして表示され、フィンガー パス内の記録された点が出力されます。
CV 記録を有効化	Computer Vision 機能によって識別された UI 要素を自動化するための録画を有効化します。この機能では、セレクターを使用せずに UI 要素を識別できる UiPath® のニューラル ネットワークを使用します。そのため、このメソッドでは、そうしなければ自動化できない要素も識別できます。	[CV 記録を有効化] を選択して、自動化する UI 要素を選択します。 Studio にアクションをインポートするには、[記録済みの操作をインポート] をクリックします。MDM で記録した UI 要素は、対応するアクティビティとしてワークフローに表示されます。
識別された要素による選択	MDM によって識別された UI 要素を選択します。	[識別された要素による選択] をクリックして、MDM によって識別された UI 要素を選択します。
絶対位置による選択	要素の固定の座標を使用して UI 要素を選択します。座標は [指定位置をスワイプ] アクティビティとして記録されます。	[絶対位置での選択] をクリックして、UI 要素を選択するための既定の座標を選択します。
要素アクションを記録する	特定の UI 要素に対して実行された、手動で設定されたアクションを記録します。画面上のタップにオフセットを追加するなど、よりきめ細かいアクションを記録する場合にお勧めします。	[要素アクションを記録] をクリックします。 デバイス画面上で UI 要素を選択します。 [シングル タップ] をクリックして、ドロップダウン リストから画面上の対話の種類を選択します。たとえば、[シングル タップ] を選択します。 [アクションを設定] をクリックして、アクションをよりきめ細かく詳細に設定します。 [アクションを実行] をクリックして、[記録済みのアクション] パネルに記録されたアクションを実行します。
WebView セレクターをネイティブ セレクターとして処理するよう切り替え	使用するオペレーティング システムに応じて、今後使用するセレクターを WebView タイプからネイティブ タイプのセレクターに変換しようとします。この機能により、Web アプリの自動化が容易になります。	[WebView セレクターをネイティブ セレクターとして処理するよう切り替え] をクリックします。 アクションのレコーディングを開始します。
アプリをインストール	デバイスにアプリケーションをインストールします。	横三点リーダーをクリックして [詳細設定] を開きます。 [アプリをインストール] ボタンをクリックして、アプリがある場所 (フルパス) を入力します。 [インストール] をクリックして確定します。
アプリを管理	現在のアプリケーションを管理します。	横三点リーダーをクリックして [詳細設定] を開きます。 [アプリを管理] をクリックして、ドロップダウンから次のいずれかのアクションを選択します。 起動: 既定のアプリ ページを起動します。 リセット: アプリを再起動します。 [実行] をクリックして確定します。
他のアプリを管理	デバイス上のその他のアプリケーションを管理します。アプリ間の連携をテストする場合に使用できます。	横三点リーダーをクリックして [詳細設定] を開きます。 [他のアプリを管理] をクリックして、アプリ名を入力します。 ドロップダウンから、次のいずれかのコマンドを選択します。 Remove: アプリをアンインストールします。 Activate: アプリを開きます。 Terminate: アプリを閉じます。 [実行] をクリックして確定します。
URL を開く	ブラウザーで URL を開きます。	デバイス上でブラウザーを開きます。 横三点リーダーをクリックして [詳細設定] を開きます。 [URL を開く] をクリックして、完全な URL を入力します。例: https://www.google.com/ [開く] をクリックして確定します。
ディープ リンクを開く	特定のページを開くアプリを起動します。	横三点リーダーをクリックして [詳細設定] を開きます。 [ディープ リンクを開く] をクリックして、以下を設定します。 アプリ: アプリのパス。 ディープ リンク: 開くページを指定します。 [開く] をクリックして確定します。
ソースを保存	デバイスの XML ソース ファイルを保存します。	横三点リーダーをクリックして [詳細設定] を開きます。 [ソースを保存] をクリックして、ファイルを保存する場所を選択します。
地理的位置を設定	地理的座標を設定します。	横三点リーダーをクリックして [詳細設定] を開きます。 [地理的位置を設定] をクリックして、マップ上の [緯度]、[経度]、[高度] の検索機能によって座標を取得します。また、自分がいる場所を検索することもできます。 [設定] をクリックして確定します。

要素アクションを記録する

[要素アクションを記録] 機能はアクション バー内にありますここから、通常の画面上の対話ではキャプチャできない、非常にきめ細かいアクションを記録できます。[要素アクションを記録] 機能は、1 つ以上の UI 要素に対して実行したアクションを記録および設定することによって動作します。アクションの設定は、選択した画面上の対話の種類によって異なります。たとえば、[シングル タップ] を画面上の対話として選択した場合、[ダブル タップ] または [ロング タップ] に設定できます。

[要素アクションを記録] 機能は、画面上のタップにオフセットを追加するなど、よりきめ細かいアクションを記録する場合にお勧めします。

[要素アクションを記録] を使用する

[要素アクションを記録] 機能を使用するには、以下の手順を実行します。

1. [要素アクションを記録] をクリックします。
2. デバイス画面上で UI 要素を選択します。
3. [シングル タップ] をクリックして、ドロップダウン リストから画面上の対話の種類を選択します。たとえば、[シングル タップ] を選択します。
4. [アクションを設定] をクリックして、アクションをよりきめ細かく詳細に設定します。
5. [アクションを実行] をクリックして、[記録済みのアクション] パネルに記録されたアクションを実行します。

WebView セレクターをネイティブ セレクターとして処理

[WebView セレクターをネイティブ セレクターとして処理] 機能はアクション バー内にあります。切り替えると、今後使用するすべてのセレクターを WebView からネイティブに変換しようとします。これにより、Web ビュー内の UI 要素との対話の効率、速度、使いやすさが向上します。

注: 特に、複雑な Web ページや頻繁に更新される要素を含む Web ページでは、この選択方法が期待どおりに動作しない場合があることに注意してください。

WebView セレクターをネイティブ セレクターとして使用する

[WebView セレクターをネイティブ セレクターとして処理] を使用するには、以下の手順を実行します。

1. [WebView セレクターをネイティブ セレクターとして処理するよう切り替え] をクリックします。
2. アクションのレコーディングを開始します。

記録済みのアクション

アクション バーを使用するか画面上でアクションを指定してデバイスと対話し、ステップを記録することができます。たとえば、MDM でモバイル オートメーション ワークフローを用意するために、アクションを記録および管理することができます。詳細については、「記録されたアクションを使用してワークフローを作成する」をご覧ください。

以下に、記録されたアクションによって実行できるアクションのリストを示します。

操作	説明	手順
実行	アクションを実行します。	アクションの [再生] ボタンをクリックして、実行します。
コピー	クリップボードにアクションをコピーします。Studio で [記録済みのアクションをインポート] を使用して、ワークフローに貼り付けることができます。	[コピー] ボタンをクリックして、アクションをクリップボードにコピーします。
削除する	アクションを削除します。	[削除] をクリックして、リストからアクションを削除します。または、[すべてクリア] をクリックして、すべてのアクションを削除することもできます。
並べ替え	アクションのリストを、別の順番で並べ替えます。	ドラッグ アンド ドロップによりアクションをリストの別の位置に移動します。
ページの更新を待機	ページのソースが各アクションのスクリーンショットを取得するまで待機します。	[各操作の後に新しいスクリーンショットを待機] のオン/オフを切り替えます。