- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-DBP-031 - アクティビティの検証
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- アプリケーション イベント トリガー
- ユーザー入力をブロック
- チェック/チェック解除
- アプリのステートを確認
- 要素を確認
- クリック
- クリック イベント トリガー
- ドラッグ アンド ドロップ
- 表データを抽出
- 繰り返し (各 UI 要素)
- ブラウザーのデータを取得
- クリップボードを取得
- テキストを取得
- URL を取得
- URL に移動
- 強調表示
- ホバー
- JS スクリプトを挿入
- キーボード ショートカット
- キー押下イベント トリガー
- マウス スクロール
- ブラウザー内を移動
- 項目を選択
- ブラウザーのデータを設定
- クリップボードに設定
- ランタイム ブラウザーを設定
- フォーカスを設定
- テキストを設定
- スクリーンショットを作成
- 文字を入力
- ユーザー入力のブロックを解除
- アプリケーション/ブラウザーを使用
- ウィンドウ操作
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル

UI Automation のアクティビティ
ユーザー インターフェイス内の特定のアクションを自動化するには、さまざまなウィンドウ、ボタン、ドロップダウン リストなどを操作する必要があります。UI 要素を識別する方法の 1 つとして、画面上の要素の位置を使用する方法がありますが、これは信頼性が低いことがあります。
より確実な操作を行えるように、Studio ではセレクターと呼ばれる機能を使用します。セレクターは、グラフィカル ユーザー インターフェイス要素とその親要素の属性を XML フラグメントの形で格納します。
ほとんどの場合、セレクターは Studio によって自動的に生成されます。特に、自動化対象のアプリケーションのユーザー インターフェイスが起動するたびに変わるものでなければ、生成されたセレクターをユーザーが編集する必要はありません。
しかし、一部の Web アプリケーションなど、ソフトウェア プログラムによっては、レイアウトが変わるものや一時的な値を保持する属性ノードを持つものがあります。Studio はこうした変化を予測することはできないため、場合によってはユーザーがいくつかのセレクターを手動で記述する必要があります。
セレクターは次の構造を持っています。
<node_1/><node_2/>...<node_N/><node_1/><node_2/>...<node_N/>最後のノードは対象となる GUI 要素を表し、それより前のノードはすべてその要素の親を表します。<node_1> は通常、ルートノードと呼ばれ、アプリケーションのトップ ウィンドウを表します。
各ノードには 1 つ以上の属性があり、選択したアプリケーションの特定の階層を正しく識別するのに役立ちます。
各ノードは、次の形式で表されます。
<ui_system attr_name_1='attr_value_1' ... attr_name_N='attr_value_N'/><ui_system attr_name_1='attr_value_1' ... attr_name_N='attr_value_N'/>すべての属性には値が割り当てられています。定数値を持つ属性を選択することが重要です。アプリケーションを起動するたびに属性の値が変わってしまう場合、セレクターは要素を正しく識別することができなくなります。
セレクターは、アクティビティの [プロパティ] パネルの [入力] > [ターゲット] > [セレクター] に表示されます。グラフィカル要素関連のアクティビティはすべてこのプロパティを持っています。
[選択オプション] ウィンドウでは、ターゲットを選択して編集できます。このウィンドウを開くには、[ワークフロー デザイナー] パネルでアクティビティの本体にあるオプション
ボタンをクリックして [画面上でターゲットを指定] または [ターゲットを編集] を選択します。
[セレクター エディター] ウィンドウでは、自動生成されたセレクターを表示して、セレクターとその属性を編集することができます。このウィンドウを開くには、[プロパティ] パネルの [セレクター] フィールドの横にある省略記号
ボタンを使用します。
|
オプション |
説明 |
|---|---|
|
検証 |
このボタンは、セレクターの定義の有効性とターゲット要素の画面上での可視性を確認することにより、セレクターのステータスを表示します。 [検証] ボタンには以下の 3 つのステートがあります。
このボタンは、UI Explorer の検証ステートと相関しています。 |
|
要素を選択 |
新しい UI 要素を指定してます。 |
|
修復 |
同じターゲット UI 要素を再度指定して、セレクターを修復できます。この操作は、古いセレクターを完全に置き換えることはしません。このボタンは、セレクターが無効な場合にのみ使用可能です。 |
|
強調表示 |
ターゲット要素を前面に配置します。クリックによりオプションが無効化されるまで、強調表示は継続します。このボタンは、セレクターが有効な場合にのみ使用可能です。 |
|
属性を編集 |
ターゲット アプリケーション (ウィンドウ、ボタンなど) の識別に必要なすべてのアプリケーション コンポーネントを含みます。このセクションは編集できます。 |
|
セレクターを編集 |
実際のセレクターを保持します。このセクションは編集できます。 |
|
UI Explorer で開く |
UI Explorer を起動します。このオプションは、有効なセレクターでのみ使用可能です。 |
下表は、セレクターの作成に使用するタグおよび属性と、サポートされているセレクターの機能を示したものです。
WND
|
属性 | 説明 |
あいまい |
正規表現 |
大文字と小文字を区別 |
|---|---|---|---|---|
|
app | UI 要素を含むアプリケーションのファイル名です。 |
|
|
|
|
cls | UI 要素を含むウィンドウのクラス名です。 |
|
|
|
|
title | UI 要素のウィンドウのタイトルです。 |
|
|
|
|
aaname | UI 要素の「Active Accessibility」名です。 |
|
|
|
|
ctrlname (WinForms) | UI 要素の WinForms 名です。 |
|
|
|
|
ctrlid (WinForms) | UI 要素を含むウィンドウの Win32 コントロール ID です。 |
|
|
|
|
idx | UI 要素のインスタンス番号です。 |
|
|
|
|
tid | UI 要素を作成したスレッドの ID です。 |
|
|
|
|
pid | UI 要素を含むアプリケーションのプロセス ID です。 |
|
|
|
|
isremoteapp |
|
|
| |
|
aastate | UI 要素の「Active Accessibility」ステートです。 |
|
|
|
|
sapClient (SAP) | ログイン画面で選択した SAP クライアントです |
|
|
|
|
sapLanguage (SAP) | ログイン画面で指定した SAP の言語です。 |
|
|
|
|
sapProgram (SAP) | 現在実行中の SAP のソース プログラムです。 |
|
|
|
|
sapScreen (SAP) | 現在表示されている SAP の画面の番号です。 |
|
|
|
|
sapSession (SAP) | SAP セッション番号です。SAP GUI のステータスバーにも表示されます。 |
|
|
|
|
sapSysName (SAP) | SAP システム名です。 |
|
|
|
|
sapSysNumber (SAP) | SAP アプリケーション サーバーです。 |
|
|
|
|
sapSysSessionId (SAP) | 同一接続のすべての SAP GUI セッションは、同じ SysSessionId でサーバー上に表示されます。
|
|
|
|
|
sapTransaction (SAP) | 現在実行中の SAP トランザクションです。 |
|
|
|
|
sapUser (SAP) | システムにログインしている SAP ユーザーです。 |
|
|
|
HTML
|
属性 | 説明 |
あいまい |
正規表現 |
大文字と小文字を区別 |
|---|---|---|---|---|
|
url | 現在の要素を含む Web ページの URL です。 |
|
|
|
|
htmlwindowname |
|
|
| |
|
title | 要素のウィンドウのタイトルです。 |
|
|
|
|
class | 要素のアクセス可能なコンテキストのクラス名です。 |
|
|
|
|
app | UI 要素を含むアプリケーションのファイル名 |
|
|
|
|
idx | UI 要素のインスタンス番号です。 |
|
|
|
|
pid | UI 要素を含むアプリケーションのプロセス ID です。 |
|
|
|
|
tid | UI 要素を作成したスレッドの ID です。 |
|
|
|
|
excludehwnd |
|
|
| |
|
bsid (ブラウザー セッション ID) |
|
|
| |
|
isremoteapp |
|
|
|
WEBCTRL
tag および idx 属性は文字列値を使用します。その他の WEBCTRL 属性は、すべて動的な値を取ります。
|
属性 | 説明 |
あいまい |
正規表現 |
大文字と小文字を区別 |
|---|---|---|---|---|
|
tag | 要素の HTML タグです。 |
|
|
|
|
idx | UI 要素のインスタンス番号です。 |
|
|
|
|
aaname | UI 要素の「Active Accessibility」名です。 |
|
|
|
|
name | UI 要素の Name プロパティです。 |
|
|
|
|
id | UI 要素の一意の識別子です。 |
|
|
|
|
parentid | ID を持つ最初の親要素の HTML ID 属性です。 |
|
|
|
|
class |
|
|
| |
|
css-selector |
|
|
| |
|
innertext | HTML 要素の innerText プロパティです。 |
|
|
|
|
visibleinnertext |
|
|
| |
|
isleaf |
|
|
| |
|
parentclass | クラスを持つ最初の親要素の HTML クラス属性です。 |
|
|
|
|
parentname | 名前を持つ最初の親 UI 要素の HTML 名前属性です。 |
|
|
|
|
src | 要素の場所、またはソースを指定します。 |
|
|
|
|
href | リンク先のページの URL です。 |
|
|
|
|
tableCol | UI 要素を含む表の列番号です。 |
|
|
|
|
tableRow | UI 要素を含む表の行番号です。 |
|
|
|
|
colName | UI 要素を含む表の列の名前です。 |
|
|
|
|
rowName | UI 要素を含む表の行の名前です。 |
|
|
|
|
aria-label | 要素の Aria ラベル属性です。 |
|
|
|
|
aria-labelledby |
|
|
|
Ctrl
|
属性 | 説明 |
あいまい |
正規表現 |
大文字と小文字を区別 |
|---|---|---|---|---|
|
ロール | UI 要素の「Active Accessibility」ロール プロパティです。 |
|
|
|
|
name | UI 要素の Name プロパティです。 |
|
|
|
|
automationid | UI 要素の「UI Automation」ID です。 |
|
|
|
|
labeledby | UI 要素の属性によってラベル付けされた「UI Automation」です。 |
|
|
|
|
aastate | UI 要素の「Active Accessibility」ステートです。 |
|
|
|
|
virtualname | 基になるアクセシビリティ テクノロジによって指定された要素の名前です。 |
|
|
|
|
text | 画面に表示される UI 要素のテキストです。 |
|
|
|
|
rowName | UI 要素を含む表の行の名前です。 |
|
|
|
|
idx | UI 要素のインスタンス番号です。 |
|
|
|
UIA
|
属性 | 説明 |
あいまい |
正規表現 |
大文字と小文字を区別 |
|---|---|---|---|---|
|
accelkey (アクセラレータ キー) |
|
|
| |
|
acskey (アクセス キー) |
|
|
| |
|
automationid | UI 要素の「UI Automation」ID です。 |
|
|
|
|
cls | UI 要素を含むウィンドウのクラス名です。 |
|
|
|
|
helpText | UI 要素のヘルプ文字列です。 |
|
|
|
|
legacyAccHelp (レガシのアクセシビリティのヘルプ) |
|
|
| |
|
enabled |
|
|
| |
|
kbfocus (キーボード フォーカス可能) |
|
|
| |
|
ispwd (パスワードかどうか) |
|
|
| |
|
itemstatus |
|
|
| |
|
itemtype |
|
|
| |
|
rtid (ランタイム ID) |
|
|
| |
|
ロール | UI 要素の「Active Accessibility」ロール プロパティです。 |
|
|
|
|
name | UI 要素の Name プロパティです。 |
|
|
|
|
pid | UI 要素を含むアプリケーションのプロセス ID です。 |
|
|
|
|
tableRow | UI 要素を含む表の行番号です。 |
|
|
|
|
tableCol | UI 要素を含む表の列番号です。 |
|
|
|
|
rowName | UI 要素を含む表の行の名前です。 |
|
|
|
|
colName | UI 要素を含む表の列の名前です。 |
|
|
|
|
idx | UI 要素のインスタンス番号です。 |
|
|
|
Java
|
属性 | 説明 |
あいまい |
正規表現 |
大文字と小文字を区別 |
|---|---|---|---|---|
|
ロール | UI 要素の「Active Accessibility」ロール プロパティです。 |
|
|
|
|
name | UI 要素の Name プロパティです。 |
|
|
|
|
virtualname | 基になるアクセシビリティ テクノロジによって指定された要素の名前です。 |
|
|
|
|
javastate | 「Java Accessibility Bridge」によって提供される UI 要素のステートです。 |
|
|
|
|
tableRow | UI 要素を含む表の行番号です。 |
|
|
|
|
tableCol | UI 要素を含む表の列番号です。 |
|
|
|
|
rowName | UI 要素を含む表の行の名前です。 |
|
|
|
|
colName | UI 要素を含む表の列の名前です。 |
|
|
|
|
idx | UI 要素のインスタンス番号です。 |
|
|
|
SAP
|
属性 | 説明 |
あいまい |
正規表現 |
大文字と小文字を区別 |
|---|---|---|---|---|
|
id | UI 要素の一意の識別子です。 |
|
|
|
|
leafid |
この属性は id 属性と相互に排他的であるため [属性] パネルには表示されません。手動で追加できます。 |
|
|
|
|
tableRow | UI 要素を含む表の行番号です。 |
|
|
|
|
tableCol | UI 要素を含む表の列番号です。 |
|
|
|
|
colName | UI 要素を含む表の列の名前です。 |
|
|
|
|
relpath |
|
|
| |
|
itemId |
|
|
|
Silverlight
Silverlight タグは、あいまい、正規表現、大文字と小文字を区別する機能をサポートしない点にご注意ください。
セレクターを検証中
有効なセレクター
無効なセレクター
変更されたセレクター、再検証
