- リリース ノート
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- ST-DBP-021 - ハードコードされたタイムアウト
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- SY-USG-013 - プライベート ファイルの呼び出し
- SY-USG-014 - 実行テンプレートのプレースホルダーの誤り
- UI Automation を使用して自動化されるアプリケーションと技術
- UiPath ブラウザー移行ツール
- Computer Vision レコーダー
- クリック
- ホバー
- SecureString で文字を入力
- ホットキーを押下
- 文字を入力
- チェック
- 項目を選択
- 複数の項目を選択
- テキストを取得
- テキストを設定
- アクティベーションする
- 強調表示
- フォーカスを設定
- アンカー ベース
- コンテキスト対応のアンカー
- 相対要素を探す
- 画面上で指定
- 要素の存在を確認
- 要素を探す
- 要素の消滅を待つ
- 子要素を探す
- 親要素を取得
- 要素スコープ
- 属性を取得
- クリッピング領域を設定
- 位置を取得
- スクリーンショットを作成
- 属性を待つ
- 要素が出現したとき
- 要素が消滅したとき
- テキストをクリック
- テキスト上でホバー
- テキスト位置を探す
- フル テキストを取得
- 表示中のテキストを取得
- 構造化データを抽出
- テキストの存在を確認
- OCR で検出したテキストをクリック
- OCR で検出したテキスト上でホバー
- OCR でテキストを取得
- OCR でテキスト位置を探す
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Microsoft Azure ComputerVision OCR
- Tesseract OCR
- Google Cloud Vision OCR
- OCR でテキストの存在を確認
- 画像をクリック
- 画像上でホバー
- 一致する画像を探す
- 画像の存在を確認
- 画像を探す
- 画像の消滅を待つ
- 画像が出現したとき
- 画像が消滅したとき
- 画像を読み込み
- 画像を保存
- ブラウザーにアタッチ
- タブを閉じる
- 前に戻る
- 次に進む
- ホームに移動
- JS スクリプトを挿入
- URL に移動
- ブラウザーを開く
- ブラウザーを更新
- Web 属性を設定
- ウィンドウにアタッチ
- ウィンドウを閉じる
- アクティブ ウィンドウを取得
- ウィンドウを隠す
- ウィンドウを最大化
- ウィンドウを最小化
- ウィンドウを移動
- ウィンドウを復元
- ウィンドウを表示
- UI ツリーをエクスポート
- ActiveX メソッドを呼び出し
- .NET コードを挿入
- クリック トリガー
- キー操作トリガー
- 画像クリック トリガー
- システム トリガー
- ホットキー トリガー
- マウス トリガー
- イベント情報を取得
- イベントを監視
- ソース要素を取得
- ユーザー イベントを再生
- ユーザー入力をブロック
- フォアグラウンドを使用
- 要素属性変更トリガー
- 要素ステート変更トリガー
- 吹き出し
- 選択されたテキストをコピー
- クリップボードから取得
- クリップボードに設定
- アプリケーションを閉じる
- アプリケーションを開く
- プロセスを開始
- パスワードを取得
- ツールチップ
- 画面上の画像をクリック
- ツールバー ボタンをクリック
- ステータス バーを読み取り
- カレンダーから日付を選択
- メニュー項目を選択
- ツリーを展開
- トランザクションを呼び出し
- SAP にログオン
- SAP にログイン
- 表のセル スコープ
- SAP セッション属性変更トリガー
- ALV ツリーを展開
- ALV 階層テーブルを展開
UI Automation モダン
UI Automation モダンでは、UI 要素を識別および特定するための技術 (完全セレクター、あいまいセレクター、画像) を組み合わせて、すべてアンカーベースのアルゴリズムにラップして使用します。
UI Automation モダンには、一般的なほとんどの UI 操作を自動化するうえで効果的なアクティビティが用意されています。UI の操作を自動化する最初の手順は、[アプリケーション/ブラウザーを使用] アクティビティを追加して、操作するデスクトップ アプリケーションまたは Web ページを定義することです。次に、[アプリケーション/ブラウザーを使用] アクティビティにアプリケーションまたは Web ブラウザーで自動化する操作のアクティビティを追加します。
この作業のスピードを上げるために、ユーザーの画面上の操作をキャプチャして自動的にアクティビティを生成する [アプリ/Web レコーダー] も使用できます。
Web ブラウザーのサポート
UI Automation Next パッケージは、次の Web ブラウザーをサポートしています。
- Internet Explorer 8.0 以降
- Google Chrome バージョン 64 以降
- Mozilla Firefox バージョン 52.0 以降
- Windows 10 バージョン 1803 以降での Microsoft Edge Chromium バージョン 79 以降。Edge Legacy はサポートされていません。
ターゲット メソッド
UI Automation Next は、以下のメソッドを組み合わせて使用して UI 要素を識別します。
- セレクター - 要素とその親要素の属性を格納する XML フラグメント。対象のアプリケーションを含みます。
-
あいまいセレクター - 要素の属性が変更される可能性を考慮し、完全一致ではなくパターンに基づいて識別するセレクターです。このメソッドは、アンカーとともに使用する場合に最適です。
セレクターについて詳しくは、『Studio ガイド』をご覧ください。
- 画像 - アイコンやボタンなど、要素を識別するアプリケーション ウィンドウ内の画像です。
ターゲットとアンカーについて
ターゲットは、たとえばクリックするボタン、入力を行うテキスト ボックス、またはテキストのコピー元である Web ページの一部など、対話を行う対象の UI 要素です。
アンカーは、ターゲットを一意に識別するのに役立つ、周辺にある別の要素です。ターゲットを指定すると、Studio はアンカーを識別し自動で選択しようとします。また、手動で 3 つまでアンカーを追加することもできます。
アンカーの使用が適切な場合
ターゲット要素が一意でない場合には、アンカーが役立ちます。たとえば、デスクトップ アプリケーションのフォームには、一般にさまざまなデータを入力する類似した複数のテキスト ボックスが含まれています。各テキスト ボックスにどのデータを入れる必要があるかを見分けるには、横にあるラベルを確認します。同様に、テキスト ボックスのラベルをアンカーとして追加すると、ロボットはアンカーを使用して、情報を入力するテキスト ボックスを識別します。
一部のシナリオでは、重複と呼ばれる他の類似の要素とターゲットを区別するために、複数のアンカーが必要です。たとえば、フォームに請求先住所および出荷先住所のセクションが含まれる場合、各セクションのテキスト ボックスは同じラベルで 2 回表示されます。したがって、正しいテキスト ボックスを識別するには、ラベル (「郵便番号」など) とセクション タイトル (「請求先住所」など) の両方をアンカーとして追加する必要があります。
ターゲットを指定する
ほとんどの場合、ターゲットを定義するために必要な操作は、画面上でそれをポイントし、クリックするだけです。ターゲットおよび適切なアンカーの識別に必要なメソッドが検出され、そのプロパティが自動的に生成されます。
ターゲットを指定するには
-
UI Automation Next アクティビティ内の [画面上でターゲットを指定] をクリックします。
ターゲット選択モードが開きます。マウスを動かすにつれて、認識されたすべての UI 要素が強調表示されます。[選択オプション] ウィンドウが画面に表示され、ターゲット識別ステータスおよび追加のオプションに関する情報が表示されます。
-
マウス ポインターを目的の要素上に置き、要素が強調表示されていることを確認してクリックします。
-
識別されたターゲット要素は緑色で強調表示されます。
- アンカーも自動的に選択された場合、これは青色で強調表示されます。
- アンカーが自動的に選択されなかった場合は、ターゲットの識別に役立つ隣接する要素 (ラベル、タイトルなど) をクリックして、アンカーとして追加できます。
- アンカーを追加するには、ターゲット要素上でホバーし、表示されるメニューから [アンカーを追加]
を選択した後で、アンカーとして追加する要素をクリックします。
-
画面上に類似する他の要素があまりにも多く存在するためにターゲットが識別されなかった場合、ターゲット要素は赤く強調表示され、類似の要素は重複であることを示す黄色で強調表示されます。画面上の別の要素をクリックして、アンカーとして追加します。
- 選択が有効な場合は、ターゲットとアンカーがそれぞれ緑色と青色で強調表示されます。
- ターゲットとアンカーが赤く強調表示される場合、選択はまだ無効です。ターゲットとして指定した要素上でホバーし、表示されるメニューから [アンカーを追加]
をクリックして 2 つ目のアンカーを追加します。必要に応じて、この操作を繰り返し、3 つ目のアンカーを追加します。
-
ターゲットの識別を完了するには、[選択オプション] ウィンドウで [確認] をクリックします。ターゲットのホバー メニューで
をクリックするか、キーボードの Enter キーを押しても確定できます。
ターゲットが設定され、ターゲットと追加されたアンカーのスクリーンショットがアクティビティに表示されます。
-
[選択オプション] ウィンドウで追加のオプションを利用して、要素を指定できます。
-
画面上に要素が表示されない場合またはアプリケーションのステートが正しくない場合は、キーボードの F2 キーを押して要素の選択を一時停止した状態でアプリケーションを正しいステートに設定します。
この操作は、追加のアクションが必要となる要素を画面に表示したり、簡単に画面から消す場合に有効です。たとえば、ドロップダウン メニューまたはホバー メニューで特定の要素を指定する場合、選択を一時停止して、ドロップダウンをクリックしたり、マウス ポインターをホバー メニュー上に移動してそれらをアクティブ化できます。
- 画像選択モードに切り替えます。キーボードの F3 キーを押して、画像ベースの識別のみに変更します。次にマウスを使用して、ターゲットまたはアンカーとして使用する可視領域をアプリケーション ウィンドウから選択します。
-
UI フレームワークを変更します。既定では、対象のアプリケーション ウィンドウへのアクセスに独自のフレームワークが使用されます。ターゲットが検出されない場合は、キーボードの F4 キーを押してフレームワークの変更をお試しください。古いアプリケーション用の AA (Active Accessibility) を選択するか、新しいアプリケーション用の UIA (Microsoft UI Automation) を選択します。ターゲットを選択すると、UI フレームワークを変更するオプションは使用できなくなります。
ターゲットを編集する
プロジェクトの実行中にターゲットが正しく識別されない場合は、アクティビティの本体で > [ターゲットを編集] を選択してターゲットを指定した後に、ターゲットとそのアンカーを編集できます。これにより、ターゲットおよび識別されたアンカーが強調表示された状態で選択モードが開きます。ターゲットまたはアンカー上でマウスをホバーすると、メニューが表示されます。
- ターゲットまたはアンカーを削除するには、削除対象の上でホバーし、表示されるメニューから [削除]
をクリックします。ターゲットを削除すると、最初にクリックする要素が新しいターゲットとして追加されます。
- ターゲットのアンカーを追加するには、アンカーとして追加する要素をクリックします。プロジェクトの設定によっては、最初にターゲットのホバー メニューから [アンカーを追加]
をクリックする必要があります。ターゲットごとに最大で 3 つのアンカーを追加できます。
-
ターゲットまたはアンカーを編集するには、削除対象の上でホバーし、表示されるメニューから [設定]
をクリックします。要素の検出に使用されるメソッドのプロパティは、[選択オプション] ウィンドウの [詳細設定] セクションから編集できます。
-
セレクター/あいまいセレクター
-
対応するテキスト ボックスを使用してセレクターを編集します。セレクターをコピーして他の要素に貼り付けたり、UI Explorer で編集したりするには、横にある [コピー]
をクリックします。
属性値に変数も使用できます。変数は二重中括弧で囲みます。たとえば、
<wnd name='da{{var1}}'/>
のように指定すると、var1
の値がセレクターに追加されます。変数の既定値は設計時に使用されます。 - あいまいセレクターについては、[セレクターの精度] レベルを、対応するスライダーを 0.4 から 1 の間でドラッグして変更できます。この測定単位は、検索しようとする属性と実際に見つける属性との間の最低限の類似度を表します。類似度の高い結果を見つけるには、値を大きくします。既定値は 0.7 です。
-
-
画像
- [画像の精度] レベルを、対応するスライダーを 0.4 から 1 の間でドラッグして変更します。この測定単位は、検索しようとする画像と実際に見つける画像との間の最低限の類似度を表します。見つける画像が検索しようとする画像とわずかに異なる可能性がある場合に便利です。既定値は 0.8 です。
- メソッドを有効化または無効化するには、メソッド名の横にあるチェック ボックスをオンまたはオフにします。
- メソッドの横にある [すべての一致を表示します。]
をクリックして、メソッドがどれだけ一意であるかを検証します。これによってウィンドウ内のすべての要素がチェックされ、現在選択されている要素と類似するものすべてが黄色で強調表示されます。
-
[適用] をクリックして変更を保存します。選択を検証する場合は、[検証] をクリックします。選択内容を保存するには、[確認] をクリックします。
-
選択内容を検証する
検証では、選択したすべてのメソッドとアンカーを使用してターゲットをチェックすることによって、現在の選択がターゲットの識別にどの程度効果的であるかをチェックできます。検証の結果は、[選択オプション] ウィンドウの上部に表示されます。調整が必要な場合は、選択内容を改善する方法を示すメッセージが表示されます。
各メソッドのパフォーマンスは、次のいずれかのアイコンを使用して [選択オプション] ウィンドウの [詳細設定] セクションに表示されます。

要素の識別に成功した最初のメソッドです。
要素の識別に成功しました。
非常に多くの重複が見つかったため、要素の識別に失敗しました。
要素の識別に失敗しました。