セレクターについて

UI Automation のセレクター: UI 要素の識別方法、タグの構造、属性の種類、ベスト プラクティスです。

ユーザー インターフェイス内の特定のアクションを自動化するには、さまざまなウィンドウ、ボタン、ドロップダウン リストなどを操作する必要があります。UI 要素を識別する方法の 1 つとして、画面上の要素の位置を使用する方法がありますが、これは信頼性が低いことがあります。

より確実な操作を行えるように、Studio ではセレクターと呼ばれる機能を使用します。セレクターは、グラフィカル ユーザー インターフェイス要素とその親要素の属性を XML フラグメントの形で格納します。

ほとんどの場合、セレクターは Studio によって自動的に生成されます。特に、自動化対象のアプリケーションのユーザー インターフェイスが起動するたびに変わるものでなければ、生成されたセレクターをユーザーが編集する必要はありません。

しかし、一部の Web アプリケーションなど、ソフトウェア プログラムによっては、レイアウトが変わるものや一時的な値を保持する属性ノードを持つものがあります。Studio はこうした変化を予測することはできないため、場合によってはユーザーがいくつかのセレクターを手動で記述する必要があります。

セレクターは次の構造を持っています。

<node_1/><node_2/>...<node_N/>

最後のノードは対象となる GUI 要素を表し、それより前のノードはすべてその要素の親を表します。<node_1> は通常、ルートノードと呼ばれ、アプリケーションのトップ ウィンドウを表します。

各ノードには 1 つ以上の属性があり、選択したアプリケーションの特定の階層を正しく識別するのに役立ちます。

各ノードは、次の形式で表されます。

<ui_system attr_name_1='attr_value_1' ... attr_name_N='attr_value_N'/>

すべての属性には値が割り当てられています。定数値を持つ属性を選択することが重要です。アプリケーションを起動するたびに属性の値が変わってしまう場合、セレクターは要素を正しく識別することができなくなります。

セレクターは、アクティビティの [プロパティ] パネルの [入力] > [ターゲット] > [セレクター] に表示されます。グラフィカル要素関連のアクティビティはすべてこのプロパティを持っています。

[選択オプション] ウィンドウでは、ターゲットを選択して編集できます。このウィンドウを開くには、[ ワークフロー デザイナー ] パネルでアクティビティの本体にあるオプション ボタンをクリックして [ 画面上でターゲットを指定 ] または [ ターゲットを編集] を選択します。

[ セレクター エディター ] ウィンドウでは、自動生成されたセレクターを表示して、セレクターとその属性を編集することができます。このウィンドウを開くには、[プロパティ] パネルの [セレクター] フィールドの横にある省略記号 ボタンを使用します。

オプション	説明
検証	このボタンは、セレクターの定義の有効性とターゲット要素の画面上での可視性を確認することにより、セレクターのステータスを表示します。 [検証] ボタンには以下の 3 つのステートがあります。 セレクターを検証中 有効なセレクター 無効なセレクター 変更されたセレクター、再検証 このボタンは、UI Explorer の検証ステートと相関しています。
要素を選択	新しい UI 要素を指定してます。
修復	同じターゲット UI 要素を再度指定して、セレクターを修復できます。この操作は、古いセレクターを完全に置き換えることはしません。このボタンは、セレクターが無効な場合にのみ使用可能です。
強調表示	ターゲット要素を前面に配置します。クリックによりオプションが無効化されるまで、強調表示は継続します。このボタンは、セレクターが有効な場合にのみ使用可能です。
属性を編集	ターゲット アプリケーション (ウィンドウ、ボタンなど) の識別に必要なすべてのアプリケーション コンポーネントを含みます。このセクションは編集できます。
セレクターを編集	実際のセレクターを保持します。このセクションは編集できます。
UI Explorer で開く	UI Explorer を起動します。このオプションは、有効なセレクターでのみ使用可能です。

注:

Studio とターゲット アプリケーションを異なる権限で起動した場合、セレクターが動作しないことがあります。これら 2 つのアプリケーションは常に同じ権限で開くことをお勧めします。

サポートされているタグと属性

下表は、セレクターの作成に使用するタグおよび属性と、サポートされているセレクターの機能を示したものです。

macOS では、セレクターの種類 wnd、ax、java、sap を使用して、以下のさまざまなユース ケースに対応できます。

• AX セレクターは、すべての種類の macOS デスクトップ アプリケーションに利用できます。

• SAP セレクターは、macOS の SAP GUI for Java に利用できます。スクリプトが有効化されている SAP サーバーが必要です。このセレクターは、SAP アプリケーションに対して最も高い安定性を示し、表データの抽出など、幅広い機能を提供します。

• Java セレクターは、Java アプリケーションに利用できます。SAP GUI for Java は Java ベースのアプリケーションでもあるため、セレクター ストラテジとして Java を使用し、既定のセレクターから Java セレクターに切り替えることができます。

  注:

  Java アプリケーション用に生成される複数の WND タグを含むセレクターは、イベントの監視に使用できません。

WND

属性	あいまい	正規表現	大文字と小文字を区別	OS
app	✅	✅	✅	Windows macOS
cls	✅	✅	✅	Windows
title	✅	✅	✅	Windows macOS
aaname	✅	✅	✅	Windows
ctrlname (WinForms)	✅	✅	✅	Windows
ctrlid (WinForms)	✅	✅	✅	Windows
idx	❌	❌	❌	Windows macOS
tid	❌	❌	❌	Windows macOS
pid	❌	❌	❌	Windows macOS
isremoteapp	❌	❌	❌	Windows
aastate	✅	✅	✅	Windows
ロール	✅	✅	✅	macOS
enabled	✅	✅	✅	macOS
focused	✅	✅	✅	macOS
選択済み	✅	✅	✅	macOS
展開済み	✅	✅	✅	macOS
sapClient (SAP)	✅	✅	✅	Windows macOS
sapLanguage (SAP)	✅	✅	✅	Windows macOS
sapProgram (SAP)	✅	✅	✅	Windows macOS
sapScreen (SAP)	❌	❌	❌	Windows macOS
sapSession (SAP)	❌	❌	❌	Windows macOS
sapSysName (SAP)	✅	✅	✅	Windows macOS
sapSysNumber (SAP)	❌	❌	❌	Windows macOS
sapSysSessionId (SAP)	✅	✅	✅	Windows macOS
sapTransaction (SAP)	✅	✅	✅	Windows macOS
sapUser (SAP)	✅	✅	✅	Windows macOS
curlApplet (curl)	✅	✅	✅	Windows

HTML

属性	あいまい	正規表現	大文字と小文字を区別	OS
url	✅	✅	✅	Windows macOS Linux
htmlwindowname	✅	✅	✅	Windows macOS Linux
title	✅	✅	✅	Windows macOS Linux
class	✅	✅	✅	Windows macOS Linux
app	❌	❌	❌	Windows macOS Linux
idx	❌	❌	❌	Windows macOS Linux
pid	❌	❌	❌	Windows macOS Linux
tid	❌	❌	❌	Windows macOS Linux
excludehwnd	❌	❌	❌	Windows macOS Linux
bsid (Browser Session ID)	❌	❌	❌	Windows macOS Linux
isremoteapp	❌	❌	❌	Windows macOS Linux

WEBCTRL

tag および idx 属性は文字列値を使用します。その他の WEBCTRL 属性は、すべて動的な値を取ります。

属性	あいまい	正規表現	大文字と小文字を区別	OS
tag	✅	✅	✅	Windows macOS Linux
idx	✅	✅	✅	Windows macOS Linux
aaname	✅	✅	✅	Windows macOS Linux
name	✅	✅	✅	Windows macOS Linux
id	✅	✅	✅	Windows macOS Linux
parentid	✅	✅	✅	Windows macOS Linux
class	✅	✅	✅	Windows macOS Linux
css-selector	❌	❌	❌	Windows macOS Linux
innertext	✅	✅	✅	Windows macOS Linux
visibleinnertext	✅	✅	✅	Windows macOS Linux
isleaf	✅	✅	✅	Windows macOS Linux
parentclass	✅	✅	✅	Windows macOS Linux
parentname	✅	✅	✅	Windows macOS Linux
src	✅	✅	✅	Windows macOS Linux
href	✅	✅	✅	Windows macOS Linux
tableCol	✅	✅	✅	Windows macOS Linux
tableRow	✅	✅	✅	Windows macOS Linux
colName	✅	✅	✅	Windows macOS Linux
rowName	✅	✅	✅	Windows macOS Linux
aria-label	✅	✅	✅	Windows macOS Linux
aria-labelledby	✅	✅	✅	Windows macOS Linux

Ctrl

属性	あいまい	正規表現	大文字と小文字を区別	OS
ロール	✅	✅	✅	Windows
name	✅	✅	✅	Windows
automationid	✅	✅	✅	Windows
labeledby	✅	✅	✅	Windows
aastate	✅	✅	✅	Windows
virtualname	✅	✅	✅	Windows
text	✅	✅	✅	Windows
rowName	✅	✅	✅	Windows
idx	❌	❌	❌	Windows

UIA

属性	あいまい	正規表現	大文字と小文字を区別	OS
accelkey (Accelerator Key)	✅	✅	✅	Windows
acskey (Access Key)	✅	✅	✅	Windows
automationid	✅	✅	✅	Windows
cls	✅	✅	✅	Windows
helpText	✅	✅	✅	Windows
legacyAccHelp (Legacy Accessible Help)	✅	✅	✅	Windows
enabled	✅	✅	✅	Windows
kbfocus (Is Keyboard Focusable)	✅	✅	✅	Windows
ispwd (Is Password)	✅	✅	✅	Windows
itemstatus	✅	✅	✅	Windows
itemtype	✅	✅	✅	Windows
rtid (Runtime ID)	✅	✅	✅	Windows
ロール	✅	✅	✅	Windows
name	✅	✅	✅	Windows
pid	✅	✅	✅	Windows
tableRow	❌	❌	❌	Windows
tableCol	❌	❌	❌	Windows
rowName	✅	✅	✅	Windows
colName	✅	✅	✅	Windows
idx	❌	❌	❌	Windows

Java

属性	あいまい	正規表現	大文字と小文字を区別	OS
ロール	✅	✅	✅	Windows macOS
name	✅	✅	✅	Windows macOS
virtualname	✅	✅	✅	Windows macOS
javastate	✅	✅	✅	Windows macOS
tableRow	❌	❌	❌	Windows macOS
tableCol	❌	❌	❌	Windows macOS
rowName	✅	✅	✅	Windows macOS
colName	✅	✅	✅	Windows macOS
idx	❌	❌	❌	Windows macOS
cls	✅	✅	✅	Windows macOS
accessibleClass	✅	✅	✅	Windows macOS

SAP

属性	あいまい	正規表現	大文字と小文字を区別	OS
id	✅	✅	✅	Windows macOS
リーフ IDこの属性は id 属性と相互に排他的であるため、[属性] パネルには公開されません。手動で追加できます。	✅	✅	✅	Windows macOS
tableRow	❌	❌	❌	Windows macOS
tableCol	❌	❌	❌	Windows macOS
colName	✅	✅	✅	Windows macOS
relpath	✅	✅	✅	Windows macOS
itemId	✅	✅	✅	Windows macOS

AX

属性	あいまい	正規表現	大文字と小文字を区別	OS
ロール	✅	✅	✅	macOS
subrole	✅	✅	✅	macOS
name	✅	✅	✅	macOS
title	✅	✅	✅	macOS
識別子	✅	✅	✅	macOS
ファイル名	✅	✅	✅	macOS
url	✅	✅	✅	macOS
help	✅	✅	✅	macOS
enabled	✅	✅	✅	macOS
focused	✅	✅	✅	macOS
選択済み	✅	✅	✅	macOS
展開済み	✅	✅	✅	macOS
idx	❌	❌	❌	macOS
rowCount	❌	❌	❌	macOS
columnCount	❌	❌	❌	macOS
tableRow	❌	❌	❌	macOS
tableCol	❌	❌	❌	macOS
rowName	✅	✅	✅	macOS
colName	✅	✅	✅	macOS

cURL

属性	あいまい	正規表現	大文字と小文字を区別	OS
cls	✅	✅	✅	Windows
ロール	✅	✅	✅	Windows
text	✅	✅	✅	Windows
title	✅	✅	✅	Windows
tableRow	❌	❌	❌	Windows
tableCol	❌	❌	❌	Windows
colHeader	✅	✅	✅	Windows
idx	❌	❌	❌	Windows

Silverlight

Silverlight タグでは、あいまい、正規表現、および大文字と小文字を区別する機能はサポートされていないことに注意してください。

属性	あいまい	正規表現	大文字と小文字を区別	OS
ロール	❌	❌	❌	Windows
name	❌	❌	❌	Windows
text	❌	❌	❌	Windows
idx	❌	❌	❌	Windows

RDP

RDP タグはリモート オートメーションに使用されます。その属性は WND タグと同じです。

属性	あいまい	正規表現	大文字と小文字を区別	OS
app	✅	✅	✅	Windows
cls	✅	✅	✅	Windows
title	✅	✅	✅	Windows
aaname	✅	✅	✅	Windows
ctrlname (WinForms)	✅	✅	✅	Windows
ctrlid (WinForms)	✅	✅	✅	Windows
idx	❌	❌	❌	Windows
tid	❌	❌	❌	Windows
pid	❌	❌	❌	Windows