- 概要
- UI Automation
- UI Automation アクティビティ パッケージについて
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-DBP-031 - アクティビティの検証
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- アクセシビリティ チェック
- アプリケーション イベント トリガー
- ユーザー入力をブロック
- チェック/チェック解除
- アプリのステートを確認
- 要素を確認
- クリック
- クリック イベント トリガー
- ドラッグ アンド ドロップ
- 表データを抽出
- 要素を探す
- 繰り返し (各 UI 要素)
- ブラウザーのデータを取得
- クリップボードを取得
- テキストを取得
- URL を取得
- URL に移動
- 強調表示
- ホバー
- JS スクリプトを挿入
- キーボード ショートカット
- キー押下イベント トリガー
- マウス スクロール
- ブラウザー内を移動
- 項目を選択
- ブラウザーのデータを設定
- クリップボードに設定
- ランタイム ブラウザーを設定
- フォーカスを設定
- テキストを設定
- スクリーンショットを作成
- 文字を入力
- ユーザー入力のブロックを解除
- アプリケーション/ブラウザーを使用
- ウィンドウ操作
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル

UI Automation アクティビティ
ローカル Android デバイス
ローカル Android デバイスを設定する
ローカル デバイスをモバイル オートメーション アクティビティで動作するように設定するには、Appium のローカル インスタンスを実行し、Android デバイスの自動化に必要なツールを用意する必要があります。
自動化できるローカル Android デバイスには、次の 2 種類があります。
- 物理 - USB ケーブルでローカル マシンに接続できる Android 物理デバイスです。
- エミュレーター - ローカルに保存される Android デバイス用のエミュレーターです。
使用頻度の高い Appium コマンド
次のリストに、モバイル デバイス オートメーションのコンテキストで Appium を設定する場合に最もよく使用されるコマンドを示します。
appium driver list- インストールされているドライバーのリストを表示します (Appium 2.0 の場合に推奨)。adb devices- 接続されているデバイスのリストを表示します。adb start-server- デバッグ サーバーを開始します。adb kill-server- デバッグ サーバーを停止します。ctrl + c- Appium を強制終了します。appium-doctor- Appium のデバッグに役立ちます。
アプリケーション ストレージ
モバイル アプリを Appium サーバーが動作中のマシンに保存するか、APK または IPA ファイルを、Appium サーバーが匿名でアクセスできる URL (例: Blob ストレージ) にアップロードする必要があります。
Google Play ストアまたは Apple App Store からアプリケーションをインストールすることはできません。ただし、これらのアプリケーションを手動で自動化して、独自のアプリケーションをインストールする場合は別です。
ローカルの物理 Android デバイスを設定する
前提条件
以下の手順を実行して、ローカルの物理 Android デバイスを設定するための前提条件を満たす必要があります。
-
Java をダウンロードしてインストールします。Java はこちらから zip ファイルでダウンロードできます。
-
Node.js をダウンロードしてインストール します。Node.js の最新バージョンは こちらからダウンロードできます。
-
Node.js のインストールが完了したら、コマンド プロンプトを開き、次のコマンドを使用して、正常にインストールされたかどうかを確認します。
node-v- マシンにインストールされている Node.js のバージョンを返します。返されるバージョンが 19 以上である必要があります。npm-v- マシンにインストールされている npm のバージョンを返します。返されるバージョンが 8 以上である必要があります。
-
Android Studio をダウンロードしてインストールします。Android Studio は こちらからダウンロードできます。
-
Android Studio を使用して Android SDK Tools (Obsolete) をインストールします。
-
Windows で [システムの詳細設定] > [詳細設定] > [環境変数] に移動します。
-
[システム環境変数] の [新規...] をクリックして、次の変数を設定します。
-
JAVA_HOME 変数。Java がインストールされているフォルダーを指します。 変数名:
JAVA_HOME。 変数値: マシン上で JDK がある場所のパスです。例:C:\Program Files\Java\jdk8。 -
ANDROID_HOME 変数です。Android SDK がインストールされていたフォルダーを指します。変数名:
ANDROID_HOME変数値: マシン上の Android SDK が配置されているパス。以下に例を示します。C:\Users\Username\AppData\Local\Android\Sdk注: 変数値のパス内にあるUsername部分は、マシンで操作しているユーザーの実際の名前に置き換える必要があります。重要:Java が自動的に更新される場合、この変数を更新されたパスに手動で設定する必要があります。
-

- Node.js のコマンド プロンプトを開き、Appium をインストールします。
- Appium 1.0 の場合は、コマンド
npm install -g appiumを実行します。Appium 1.0 には既定ですべてのドライバーがインストールされています。 - Appium 2.0 の場合は、コマンド
npm install -g appium@nextを実行します。
- Appium 1.0 の場合は、コマンド
Appium 2.0 には既定ではドライバーがインストールされていません。したがって、必要なドライバーをインストールするために、コマンド appium driver install uiautomator2 も実行する必要があります。
Appium 1.0 の設定について詳しくは、「Quickstart Intro」をご覧ください。
v22.10 以降の モバイル オートメーション アクティビティ パッケージには Appium 2.0 を使用することをお勧めします。
- コンピューターを再起動して変更を適用します。
- 物理モバイル デバイスを開き、[開発者向けオプション] を有効化します。
- スマートフォンの [設定] > [開発者向けオプション] に移動します。
- [ネットワーク] セクションの [デフォルトの USB 設定] を開き [充電のみ] に設定します。
- [USB デバッグ] を有効化します。
- スマートフォンの [設定] > [開発者向けオプション] に移動します。
- [ネットワーク] セクションの [デフォルトの USB 設定] を開き [充電のみ] に設定します。
ローカルの物理 Android デバイスを設定する
-
USB ケーブルを使用して物理デバイスをローカル マシンに接続します。
-
コマンド プロンプトを開き、コマンド
adb.exe start-serverを使用してデバッグ サーバーを起動します。 -
モバイル デバイスで [USB デバッグ] を許可します (許可するよう求められた場合)。
-
Appium セッションを開始する前に、パラメーター
the --base-path /wd/hubを手動で追加します。 -
コマンド
appium -p 10001 --relaxed-security --allow-insecure chromedriver_autodownloadを使用して Appium サーバーを起動します。注:-
自動ダウンロードが失敗する場合は、次のコマンドを追加することで、ダウンロード済みの chromedriver.exe を指定できます。
--chromedriver-executable "path\_to\_chromedriver" -
Appium サーバーとの間に、干渉のない接続を常時確保してください。たとえば、ターミナルでクリックすると通信が遮断され、モバイル デバイス マネージャーで通信エラーが発生する場合があります。
-
-
「モバイル デバイス マネージャーにローカル Android デバイスを追加する」の手順を使用して、設定したローカルの物理 Android デバイスをモバイル デバイス マネージャーに追加します。
エミュレートされたローカル Android デバイスを設定する
前提条件
-
Java をダウンロードしてインストールします。Java はこちらから zip ファイルでダウンロードできます。
-
Node.js をダウンロードしてインストール します。Node.js の最新バージョンは こちらからダウンロードできます。
-
Node.js のインストールが完了したら、コマンド プロンプトを開き、次のコマンドを使用して、正常にインストールされたかどうかを確認します。
node-v- マシンにインストールされている Node.js のバージョンを返します。返されるバージョンが 19 以上である必要があります。npm-v- マシンにインストールされている npm のバージョンを返します。返されるバージョンが 8 以上である必要があります。
-
Android Studio をダウンロードしてインストールします。Android Studio は こちらからダウンロードできます。
-
Windows で [システムの詳細設定] > [詳細設定] > [環境変数] に移動します。
-
[システム環境変数] の [新規...] をクリックして、次の変数を設定します。
-
JAVA_HOME 変数。Java がインストールされているフォルダーを指します。 変数名:
JAVA_HOME。 変数値: マシン上で JDK がある場所のパスです。例:C:\Program Files\Java\jdk8。 -
ANDROID_HOME 変数です。Android SDK がインストールされていたフォルダーを指します。
- 変数名:
ANDROID_HOME - 変数値: マシン上で Android SDK がある場所のパスです。例:
C:\Users\Username\AppData\Local\Android\Sdk
注:変数値のパス内の
Username部分は、マシンで操作しているユーザーの実際の名前に置き換える必要があります。-
Node.js のコマンド プロンプトを開き、Appium をインストールします。
- Appium 1.0 の場合は、コマンド
npm install -g appiumを実行します。Appium 1.0 には既定ですべてのドライバーがインストールされています。 - Appium 2.0 の場合は、コマンド
npm install -g appium@nextを実行します。
Appium 2.0-beta には既定ではドライバーがインストールされていません。したがって、必要なドライバーをインストールするために、コマンド
appium driver install uiautomator2も実行する必要があります。Appium 2.0 の設定について詳しくは、「Quickstart Intro」をご覧ください。
注:v22.10 以降の モバイル オートメーション アクティビティ パッケージには Appium 2.0 を使用することをお勧めします。
- コンピューターを再起動して変更を適用します。
- Appium 1.0 の場合は、コマンド
- 変数名:
-
Android エミュレーターを作成する
Android Studio を使用して Android エミュレーターを作成します。
-
Android Studio を開きます。
-
[Configure] をクリックし、ドロップダウンから [SDK Manager] を選択します。
-
[Hide Obsolete Packages] のチェックを外し、[Android SDK Tools (Obsolete)] が選択されていることを確認します。

-
[Apply] をクリックしてから [OK] をクリックして閉じます。
-
[Configure > AVD Manager] に移動して、仮想デバイスを設定します。詳細については、「 仮想デバイスを作成して管理する」をご覧ください。

-
デバイスの Google アプリを更新します。
WebDriver による Web およびハイブリッドの自動化を有効化する
ローカル デバイスで WebView のデバッグを有効化し、モバイル デバイス マネージャーでアプリケーション内の大半の UI 要素を認識できるようにします。
Appium が Android 上の Chrome または WebView のバージョンを自動検出しない場合は、以下のいずれかのオプションを選択します。
--allow-insecure chromedriver_autodownloadコマンドを使用します。これにより、お使いの環境に対応する ChromeDriver バージョンを Appium で自動的に検出してダウンロードできます。- WebDriver for Chrome を手動で指定してダウンロードします。
- Android Studio でデバイスを開きます。
- [Settings] > [Apps & notifications] に移動します。 3. [See all apps] をクリックします。
- 縦三点リーダー ボタンをクリックして、ドロップダウンから [Show system] を選択します。
- 検索機能を使用して Android System WebView を探します。
- アプリを開いて [Advanced] に移動します。
- 画面下部のバージョン番号をコピーします。
- WebDriver for Chrome をダウンロードします。以下のことを考慮してください。
- 上記のステップで見つかった Android System WebView のバージョンに対応するバージョンを選択し、フォルダーに抽出すること。
- 完全に一致するバージョンを探すこと (メジャー.マイナー.パッチ.レビジョン)。
- 完全に一致するバージョンを入手できない場合は、Android System WebView のメジャー バージョンに一致する最新メジャー バージョンの ChromeDriver を使用します。
- Chrome アプリを自動化するには、上記とまったく同じ手順を実行します。その場合は、Chrome のバージョンをメモしてください。
- 「モバイル デバイス マネージャーにローカル Android デバイスを追加する」の手順を使用して、設定したローカルのエミュレートされたデバイスをモバイル デバイス マネージャーに追加します。
モバイル デバイス マネージャーにローカル Android デバイスを追加する
-
Studio から MDM を開きます。
-
左側のナビゲーション パネルの [デバイス] に移動します。
-
デバイスを次のように設定します。
-
名前 - [デバイス] タブでデバイスを識別するための名前を入力します。
-
Appium URL - ローカルホストを入力します。例:
http://localhost:10001/wd/hub。 -
プラットフォーム - フィールドをクリックして、ドロップダウンから [Android] を選択します。
-
デバイス名 - デバイスの名前を入力します。デバイス名を確認するには、Android Studio で [Configure] > [AVD Manager] に移動し、さらに [More Actions] > [View Details] を選択するという方法もあります。
-
プラットフォーム バージョン - Android OS のバージョン番号を入力します。
-
希望する追加機能 (任意) - オートメーション セッションをカスタマイズするための固有の機能を追加します。
重要:インストール済みの Appium ドライバーをアクティブ化するには、[希望する追加機能] セクションに次の機能を追加します。
名前 値 (Value) appium:automationNameUiAutomator2詳細については、「Appium Desired Capabilities」をご覧ください。
-
-
(任意) - [場所] タブのデバイスの場所を、位置情報サービスを使用して位置情報データを生成するテスト アプリケーションに設定します。

-
(任意) [ログ] タブでログ記録とビデオ記録の詳細を設定します。
-
(任意) [開発] タブで開発プロセスを設定します。
- 類似タブを閉じる (既定で有効): 類似のデバイスやアプリケーションとの接続を実行しているタブを閉じます。
- ページの更新を待機 (既定で有効): ページのソースが各アクションのスクリーンショットを取得するまで待機します。
-
[保存して閉じる] をクリックしてデバイスを追加します。
デバイスが [デバイス] リストに追加されます。ローカル デバイスを追加するには、「ローカル デバイス」をご覧ください。
