- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- アプリケーション イベント トリガー
- ブラウザー ダイアログ スコープ
- チェック/チェック解除
- アプリのステートを確認
- 要素を確認
- クリック
- クリック イベント トリガー
- ドラッグ アンド ドロップ
- 表データを抽出
- 繰り返し (各 UI 要素)
- 属性を取得
- 属性を取得 (汎用)
- ブラウザーのデータを取得
- クリップボードを取得
- テキストを取得
- URL を取得
- URL に移動
- 強調表示
- ホバー
- JS スクリプトを挿入
- キーボード ショートカット
- キー押下イベント トリガー
- マウス スクロール
- ブラウザー内を移動
- 項目を選択
- ブラウザーのデータを設定
- クリップボードに設定
- ランタイム ブラウザーを設定
- テキストを設定
- スクリーンショットを作成
- 文字を入力
- アプリケーション/ブラウザーを使用
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル

UI Automation のアクティビティ
使用ガイド
In business process automation, users encounter cases when browser dialogs block the execution of the current browser page. Typically, the user would want to dismiss the browser dialog and also get the dialog message for later use in the business scenario.
For Windows projects this type of scenario can be handled by setting Window attach mode to Application instance for the Use Application/Browser container activity and generating the browser dialog selector with Active Accessibility (AA) UI framework.
But for Cross-platform projects (including Studio Web) we didn’t have any solution to handle this type of scenario.
JavaScript has three kind of popup boxes: Alert, Confirm and Prompt. The Browser Dialog Scope activity can handle this type of dialogs and it should be used as a scope for the activities that may generate a browser dialog.
The Browser Dialog Scope activity must be added inside a Use Application/Browser activity and the activities that could trigger the dialog must be placed in the body of the Browser Dialog Scope activity.
An Alert dialog is used to make sure information comes through to the user. When it pops up, the user will have to click the OK button to proceed, otherwise the execution is blocked.
This is how the Browser Dialog Scope activity can be configured to handle an Alert dialog that is triggered when you click a Submit button.
A Confirm dialog is used when the user needs to verify or accept something. When it pops up, the user will have to click either the OK or Cancel button to proceed.
This is how the Browser Dialog Scope activity can be configured to handle a Confirm dialog that is triggered when you click a Submit button.
A Prompt dialog is used when user needs to provide a text input for an operation. When it pops up, the user will have to click either OK or Cancel to proceed after entering an input value.
There are rare situations where a page opens multiple dialogs, one after another, when the user clicks a button. Let’s consider the following scenario:
-
When the Submit Data button is clicked, a Prompt dialog is opened for the user to fill-in his/her name.
-
After closing the Prompt dialog with the OK button, when the submit operation is finished, an Alert dialog is displayed.
The Browser Dialog Scope activity can be used to handle this situation by nesting multiple dialog scopes. They have to be arranged in the same order as the dialogs that they handle appear in the page. The workflow will continue once all the dialogs are handled. For the above scenario:
-
First, create a Browser Dialog Scope to handle the first dialog, in this case a Prompt dialog.
-
Inside the first scope, create a second Browser Dialog Scope to handle the second dialog, in this case an Alert dialog.
-
Inside the second scope, place the activity that triggers the dialogs, in this case a click on the Submit Data button.
Besides the Browser Dialog Scope activity, we added browser dialog handling options to the Use Application/Browser activity.
The new Dialog Handling settings in the App Card allow the user to describe how to auto-dismiss browser dialogs (which types of dialogs to dismiss and what response to give to confirm and prompt dialogs).
-
アラートを閉じる
-
Dismiss Confirms + Confirm dialog response
-
Dismiss Prompts + Prompt response text + Prompt dialog response
Similar project settings have been added for Dialog Handling, which work as defaults for the Use Application/Browser Dialog Handling options.
-
Windows プロジェクト: UI Automation モダン > アプリケーション/ブラウザー
-
クロスプラットフォーム プロジェクト: UI Automation > アプリケーション/ブラウザー
When multiple Browser Dialog Scope activities and App Cards with Dialog Handling are nested it’s important to keep a few things in mind in order to determine how dialogs will be handled:
-
Browser Dialog Scope activities have priority over the App Card Dialog Handling options.
-
Nested Browser Dialog Scope activities handle multiple dialogs, in the order that they appear: the first Dialog Scope handles the first dialog, the second Dialog Scope handles the second dialog and so on.
-
Nested App Cards with Dialog Handling override each other: the inner App Card will override the settings of the outer App Card. For example, a top-level App Card can be configured to dismiss all dialogs with Cancel throughout the workflow, but for a small part of the workflow a short-lived App Card can used inside the top-level one to accept Confirm dialogs with OK, changing dialog handling only for that part of the workflow. Alerts and Prompts will still be dismissed according to the top-level App Card.
When a browser dialog appears and there are multiple Browser Dialog Scopes and App Cards with Dialog Handling which can handle the dialog, the Browser Dialog Scope or App Card that handles the dialog is selected in the following way:
-
The first (most outer) Browser Dialog Scope activity which: has a matching dialog type and didn't capture any dialog yet.
-
If no Browser Dialog Scope is found, then the last (most inner) App Card which is configured to handle the dialog type is used.
-
If no viable Browser Dialog Scope or App Card is found, then the dialog is not handled and will be displayed to the user.