- 概要
- UI Automation
- UI Automation アクティビティ パッケージについて
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-DBP-031 - アクティビティの検証
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- アクセシビリティ チェック
- アプリケーション イベント トリガー
- ユーザー入力をブロック
- チェック/チェック解除
- アプリのステートを確認
- 要素を確認
- クリック
- クリック イベント トリガー
- ドラッグ アンド ドロップ
- 要素スコープ
- 表データを抽出
- 要素を探す
- 繰り返し (各 UI 要素)
- ブラウザーのデータを取得
- クリップボードを取得
- テキストを取得
- URL を取得
- URL に移動
- 強調表示
- ホバー
- JS スクリプトを挿入
- キーボード ショートカット
- キー押下イベント トリガー
- マウス スクロール
- ブラウザー内を移動
- 画像を保存
- 項目を選択
- ブラウザーのデータを設定
- クリップボードに設定
- CV サーバを設定
- ランタイム ブラウザーを設定
- フォーカスを設定
- プロジェクト設定を行う
- テキストを設定
- スクリーンショットを作成
- 文字を入力
- ユーザー入力のブロックを解除
- ウィンドウ操作
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
デバイスを物理的に触ることなく、モバイル デバイス マネージャーを使用してモバイル デバイス オートメーションの利用を開始する。
モバイル デバイス マネージャーを使用することで、デバイスに一切触れることなくデバイス オートメーションを実行できます。モバイル プロジェクトを自動化する方法を短期間で習得するには、モバイル デバイス マネージャー (MDM) を設定してから、クラウド デバイス上でワークフローを作成および実行してください。
クラウド デバイスの前提条件
- UiPath.MobileAutomation.Activities をインストールします。詳しくは、「 アクティビティ パッケージを管理する」をご覧ください。または、既定のテンプレート「 モバイル テスト プロジェクト 」を使用することもできます。この方法では、アクティビティ パッケージが自動的にインストールされます。
- デバイスのクラウド プラットフォームにアカウントを作成します。この例では、Sauce Labs にアカウントを作成します。
If your app package is only available as an .apkm bundle (for example, downloaded from ApkMirror), extract or convert it to a plain .apk file first. Cloud device platforms such as Sauce Labs, and Mobile Device Manager itself, only accept .apk files.
ローカル デバイスの前提条件
ローカル デバイスでモバイル テスト オートメーションを実行するには、特定の設定が必要です。
ローカル Android デバイス
「ローカル Android デバイスの前提条件」に記載されている手順を実行します。
ローカル iOS デバイス
「ローカル iOS デバイスの前提条件」に記載されている手順を実行します。
モバイル テスト プロジェクトを作成する
Studio でモバイル テスト プロジェクトを作成します。
- Studio を開きます。
- 既定のテンプレートから [モバイル テスト プロジェクト] を選択します。
- プロジェクトの詳細を設定して、[作成] をクリックします。
- プロジェクトで作成された既定のテスト ケースを使用して開始します。
モバイル デバイス マネージャーを設定する
テスト環境を準備するには、Studio を開いて [モバイル オートメーション] > [モバイル デバイス マネージャー] に移動して、MDM を起動します。
UiPath.MobileAutomation.Activities をインストールするか、モバイル テスト プロジェクトのテンプレートを開くと、リボンに [モバイル デバイス マネージャー] ボタンが追加されます。
クラウド デバイスまたはローカル デバイス、およびネイティブ アプリケーションまたは Web アプリケーションを MDM に追加します。
クラウド デバイスを追加する
最初のクラウド デバイスを MDM に追加します。
-
左側のナビゲーション パネルの [デバイス] に移動します。
-
[デバイスを追加] をクリックします。
-
デバイスを次のように設定します。
- 名前 - [デバイス] タブでデバイスを識別するための名前を入力します。
- Appium URL - デバイスをホストする Appium サーバーを入力します。例:
http://localhost:1122/wd/hub。 - プラットフォーム - フィールドをクリックして、ドロップダウンから [Android] または [iOS] を選択します。
- デバイス名 - デバイスの名前を入力します。
- プラットフォーム バージョン - Android OS のバージョン番号を入力します。
- 希望する追加機能 (任意)
- オートメーション セッションをカスタマイズするための固有の機能を追加する。詳細については、「 Appium Desired Capabilities」をご覧ください。
- 地理的位置を設定 (任意) - 位置情報サービスを使用して位置情報データを生成するテスト アプリケーションに、デバイスの位置を設定します。
-
[保存して閉じる] をクリックしてデバイスを追加します。
デバイスが [デバイス] リストに追加されます。
ローカル デバイスを追加する
- ローカル Android デバイスの場合は、「モバイル デバイス マネージャーにローカル Android デバイスを追加する」をご覧ください。
- ローカル iOS デバイスの場合は、「モバイル デバイス マネージャーにローカル iOS デバイスを追加する」をご覧ください。
アプリケーションを追加
デバイスが使用するアプリケーションを追加します。
-
左側のナビゲーション パネルの [アプリケーション] に移動します。
-
[新しいアプリケーションを追加] をクリックして、アプリケーションの名前を入力します。
-
[アプリ] を選択して、以下のように Android の設定を構成します。
- アプリ - アプリの場所を入力します。UiPath® Android デモ アプリケーションをダウンロードして使用できます。
- 希望する追加機能 - オートメーション セッションをカスタマイズするための固有の機能を追加します。詳細については、「Appium Desired Capabilities」をご覧ください。
-
[アプリ] を選択して、以下のように iOS の設定を構成します。
- アプリ - アプリの場所を入力します。UiPath® iOS 基本アプリをダウンロードして使用できます。
- 希望する追加機能 - オートメーション セッションをカスタマイズするための固有の機能を追加します。詳細については、「Appium Desired Capabilities」をご覧ください。
-
[保存して閉じる] をクリックしてアプリケーションを追加します。
Web アプリケーションを追加する
-
左側のナビゲーション パネルの [アプリケーション] に移動します。
-
[新しいアプリケーションを追加] をクリックして、アプリケーションの名前を入力します。
-
[Web] を選択して [Android] または [iOS] を選択し、以下を設定します。
- ブラウザー名 - ドロップダウンから、対応するブラウザーを選択します。
- 開始ページ - Web アプリケーションの開始ページを設定します。
- 希望する追加機能 - オートメーション セッションをカスタマイズするための固有の機能を追加します。詳細については、「Appium Desired Capabilities」をご覧ください。
-
[保存して閉じる] をクリックしてアプリケーションを追加します。
アプリケーションを開始する
これで、モバイル デバイス エミュレーターを開始できるようになりました。
-
[ようこそ] タブの [アプリケーションを開始] をクリックします。
-
作成したデバイスとアプリケーションを選択します。
-
[接続] をクリックします。
接続レイヤーの数やデバイス ファームまでの距離によっては、接続の確立までに時間がかかる場合があります。
アクションを記録する
モバイル デバイス エミュレーターのすぐ横に表示されるインタラクション バーを使用してアクションを記録します。これによって、画面上でアクションを指定できるようになります。または、Studio でワークフローを設計することもできます。
- 右側の [記録されたアクション] パネルを開き、実行されるアクションを監視します。
- モバイル デバイス エミュレーターの右側にある Android のホームまたは iOS のホーム ボタンをクリックします
- エミュレーター画面上の Google 検索バーをクリックします。必要に応じてオーバーレイを無視する [いいえ] をクリックします。
- 検索バーをダブルクリックしてテキストを送信し、「UiPath Test Suite」と入力します。
- [テキストを送信した後に Enter キーを押す] を選択してから [テキストを送信] をクリックします。
モバイル オートメーションを作成して実行する
Studio を開いて、記録されたアクションをインポートし、モバイル オートメーションを実行します。
-
Studio を開いて、シーケンスに [モバイル デバイスの接続] アクティビティを追加します。
-
[接続の詳細を選択] をクリックして、デバイスとアプリケーションを選択します。
-
シーケンス内の [実行] を選択します。
-
[モバイル オートメーション] > [記録済みのアクションをインポート] に移動して、それらをシーケンスに追加します。
-
[ファイルをデバッグ] > [ファイルを実行] に移動します。
アクションをリアルタイムで実行するために、エミュレートされたモバイル デバイスへの新しい接続が確立されます。
次の手順
モバイル オートメーション テストのワークフローを作成する方法、およびデバイスとの対話やデバッグの詳細については、次のトピックをご覧ください。