- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-DBP-031 - アクティビティの検証
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル

UI Automation のアクティビティ
基本情報
linkモバイル デバイス マネージャーを使用することで、デバイスに一切触れることなくデバイス オートメーションを実行できます。モバイル プロジェクトを自動化する方法を短期間で習得するには、モバイル デバイス マネージャー (MDM) を設定してから、クラウド デバイス上でワークフローを作成および実行してください。
クラウド デバイスの前提条件
link- UiPath.MobileAutomation.Activities をインストールします。詳しくは、「アクティビティ パッケージを管理する」をご覧ください。または、既定のテンプレート「モバイル テスト プロジェクト」を使用することもできます。この方法では、アクティビティ パッケージが自動的にインストールされます。
- デバイスのクラウド プラットフォームにアカウントを作成します。この例では、Sauce Labs にアカウントを作成します。
ローカル デバイスの前提条件
linkローカル デバイスでモバイル テスト オートメーションを実行するには、特定の設定が必要です。
ローカル Android デバイス
link「ローカル Android デバイスの前提条件」に記載されている手順を実行します。
ローカル iOS デバイス
link「ローカル iOS デバイスの前提条件」に記載されている手順を実行します。
モバイル テスト プロジェクトを作成する
linkStudio でモバイル テスト プロジェクトを作成します。
- Studio を開きます。
- 既定のテンプレートから [モバイル テスト プロジェクト] を選択します。
- プロジェクトの詳細を設定して、[作成] をクリックします。
- プロジェクトで作成された既定のテスト ケースを使用して開始します。
モバイル デバイス マネージャーを設定する
linkテスト環境を準備するには、Studio を開いて [モバイル オートメーション] > [モバイル デバイス マネージャー] に移動して、MDM を起動します。
クラウド デバイスまたはローカル デバイス、およびネイティブ アプリケーションまたは Web アプリケーションを MDM に追加します。
クラウド デバイスを追加する
link最初のクラウド デバイスを MDM に追加します。
- 左側のナビゲーション パネルの [デバイス] に移動します。
- [デバイスを追加] をクリックします。
- デバイスを次のように設定します。
- 名前 - [デバイス] タブでデバイスを識別するための名前を入力します。
- Appium URL - デバイスをホストする Appium サーバーを入力します。 例:
http://localhost:1122/wd/hub
- プラットフォーム - フィールドをクリックして、ドロップダウンから [Android] または [iOS] を選択します。
- デバイス名 - デバイスの名前を入力します。
- プラットフォーム バージョン - Android OS のバージョン番号を入力します。
- 希望する追加機能 (任意) - オートメーション セッションをカスタマイズするための固有の機能を追加します。詳細については、「Appium Desired Capabilities」をご覧ください。
- 地理的位置を設定 (任意) - 位置情報サービスを使用して位置情報データを生成するテスト アプリケーションに、デバイスの位置を設定します。
- [保存して閉じる] をクリックしてデバイスを追加します。
デバイスが [デバイス] リストに追加されます。
ローカル デバイスを追加する
link- ローカル Android デバイスの場合は、「モバイル デバイス マネージャーにローカル Android デバイスを追加する」をご覧ください。
- ローカル iOS デバイスの場合は、「モバイル デバイス マネージャーにローカル iOS デバイスを追加する」をご覧ください。
アプリケーションを追加
linkデバイスが使用するアプリケーションを追加します。
- 左側のナビゲーション パネルの [アプリケーション] に移動します。
- [新しいアプリケーションを追加] をクリックして、アプリケーションの名前を入力します。
- [アプリ] を選択して、以下のように Android の設定を構成します。
- アプリ - アプリの場所を入力します。UiPath® Android デモ アプリケーションをダウンロードして使用できます。
- 希望する追加機能 - オートメーション セッションをカスタマイズするための固有の機能を入力します。詳細については、「Appium Desired Capabilities」をご覧ください。
- [アプリ] を選択して、以下のように iOS の設定を構成します。
- アプリ - アプリの場所を入力します。UiPath® iOS 基本アプリをダウンロードして使用できます。
- 希望する追加機能 - オートメーション セッションをカスタマイズするための固有の機能を入力します。詳細については、「Appium Desired Capabilities」をご覧ください。
- [保存して閉じる] をクリックしてアプリケーションを追加します。
Web アプリケーションを追加する
link- 左側のナビゲーション パネルの [アプリケーション] に移動します。
- [新しいアプリケーションを追加] をクリックして、アプリケーションの名前を入力します。
- [Web] を選択して [Android] または [iOS] を選択し、以下を設定します。
- ブラウザー名 - ドロップダウンから、対応するブラウザーを選択します。
- 開始ページ - Web アプリケーションの開始ページを設定します。
- 希望する追加機能 - オートメーション セッションをカスタマイズするための固有の機能を入力します。詳細については、「Appium Desired Capabilities」をご覧ください。
- [保存して閉じる] をクリックしてアプリケーションを追加します。
アプリケーションを開始する
linkこれで、モバイル デバイス エミュレーターを開始できるようになりました。
- [ようこそ] タブの [アプリケーションを開始] をクリックします。
- 作成したデバイスとアプリケーションを選択します。
- [接続] をクリックします。
接続レイヤーの数やデバイス ファームまでの距離によっては、接続の確立までに時間がかかる場合があります。
アクションを記録する
linkモバイル デバイス エミュレーターのすぐ横に表示される対話バーを使用してアクションを記録します。これによって、画面上でアクションを指定できるようになります。または、Studio でワークフローを設計することもできます。
- 右側の [記録されたアクション] パネルを開き、実行されるアクションを監視します。
- モバイル デバイス エミュレーターの右側にある Android のホームまたは iOS のホーム ボタンをクリックします
- エミュレーター画面上の Google 検索バーをクリックします。必要に応じてオーバーレイを無視する [いいえ] をクリックします。
- 検索バーをダブルクリックしてテキストを送信し、「UiPath Test Suite」と入力します。
- [テキストを送信した後に Enter キーを押す] を選択してから [テキストを送信] をクリックします。
モバイル オートメーションを作成して実行する
linkStudio を開いて、記録されたアクションをインポートし、モバイル オートメーションを実行します。
- Studio を開いて、シーケンスに [モバイル デバイスの接続] アクティビティを追加します。
- [接続の詳細を選択] をクリックして、デバイスとアプリケーションを選択します。
- シーケンス内の [実行] を選択します。
- [モバイル オートメーション] > [記録済みのアクションをインポート] に移動して、それらをシーケンスに追加します。
- [ファイルをデバッグ] > [ファイルを実行] に移動します。
アクションをリアルタイムで実行するために、エミュレートされたモバイル デバイスへの新しい接続が確立されます。
次の手順
モバイル オートメーション テストのワークフローを作成する方法、およびデバイスとの対話やデバッグの詳細については、次のトピックをご覧ください。