UI Automation モダン

UI Automation モダンでは、UI 要素を識別および特定するための技術 (完全セレクター、あいまいセレクター、画像) を組み合わせて、すべてアンカーベースのアルゴリズムにラップして使用します。

重要: v2020.10 以降、UI Automation Next パッケージは非推奨となっており、UI Automation Next でこれまで利用可能だった最新の機能をすべて含めるよう、既存の UI Automation パッケージが拡張されています。統合版の UI Automation アクティビティ パッケージは、v2020.4.1 以前のバージョンの Studio でもインストールできます。インストールすると、[アクティビティ] パネルにはクラシック アクティビティとモダン アクティビティがすべて表示されます。詳細については、「モダン デザイン エクスペリエンス」をご覧ください。

UI Automation モダンには、一般的なほとんどの UI 操作を自動化するうえで効果的なアクティビティが用意されています。UI の操作を自動化する最初の手順は、[アプリケーション/ブラウザーを使用] アクティビティを追加して、操作するデスクトップ アプリケーションまたは Web ページを定義することです。次に、[アプリケーション/ブラウザーを使用] アクティビティにアプリケーションまたは Web ブラウザーで自動化する操作のアクティビティを追加します。

この作業のスピードを上げるために、ユーザーの画面上の操作をキャプチャして自動的にアクティビティを生成する [アプリ/Web レコーダー] も使用できます。

注: [表データを抽出] アクティビティとアプリ/Web レコーダーは、バージョン 2019.10.4 以前の Studio には対応していません。

Web ブラウザーのサポート

UI Automation Next パッケージは、次の Web ブラウザーをサポートしています。

• Internet Explorer 8.0 以降
• Google Chrome バージョン 64 以降
• Mozilla Firefox バージョン 52.0 以降
• Windows 10 バージョン 1803 以降での Microsoft Edge Chromium バージョン 79 以降。Edge Legacy はサポートされていません。

ターゲット メソッド

UI Automation Next は、以下のメソッドを組み合わせて使用して UI 要素を識別します。

• セレクター - 要素とその親要素の属性を格納する XML フラグメント。対象のアプリケーションを含みます。

• あいまいセレクター - 要素の属性が変更される可能性を考慮し、完全一致ではなくパターンに基づいて識別するセレクターです。このメソッドは、アンカーとともに使用する場合に最適です。

  セレクターについて詳しくは、『Studio ガイド』をご覧ください。

• 画像 - アイコンやボタンなど、要素を識別するアプリケーション ウィンドウ内の画像です。

ターゲットとアンカーについて

ターゲットは、たとえばクリックするボタン、入力を行うテキスト ボックス、またはテキストのコピー元である Web ページの一部など、対話を行う対象の UI 要素です。

アンカーは、ターゲットを一意に識別するのに役立つ、周辺にある別の要素です。ターゲットを指定すると、Studio はアンカーを識別し自動で選択しようとします。また、手動で 3 つまでアンカーを追加することもできます。

アンカーの使用が適切な場合

ターゲット要素が一意でない場合には、アンカーが役立ちます。たとえば、デスクトップ アプリケーションのフォームには、一般にさまざまなデータを入力する類似した複数のテキスト ボックスが含まれています。各テキスト ボックスにどのデータを入れる必要があるかを見分けるには、横にあるラベルを確認します。同様に、テキスト ボックスのラベルをアンカーとして追加すると、ロボットはアンカーを使用して、情報を入力するテキスト ボックスを識別します。

一部のシナリオでは、重複と呼ばれる他の類似の要素とターゲットを区別するために、複数のアンカーが必要です。たとえば、フォームに請求先住所および出荷先住所のセクションが含まれる場合、各セクションのテキスト ボックスは同じラベルで 2 回表示されます。したがって、正しいテキスト ボックスを識別するには、ラベル (「郵便番号」など) とセクション タイトル (「請求先住所」など) の両方をアンカーとして追加する必要があります。

ターゲットを指定する

ほとんどの場合、ターゲットを定義するために必要な操作は、画面上でそれをポイントし、クリックするだけです。ターゲットおよび適切なアンカーの識別に必要なメソッドが検出され、そのプロパティが自動的に生成されます。

ターゲットを指定するには

1. UI Automation Next アクティビティ内の [画面上でターゲットを指定] をクリックします。

   ターゲット選択モードが開きます。マウスを動かすにつれて、認識されたすべての UI 要素が強調表示されます。[選択オプション] ウィンドウが画面に表示され、ターゲット識別ステータスおよび追加のオプションに関する情報が表示されます。

2. マウス ポインターを目的の要素上に置き、要素が強調表示されていることを確認してクリックします。

   • 識別されたターゲット要素は緑色で強調表示されます。

     • アンカーも自動的に選択された場合、これは青色で強調表示されます。
     • アンカーが自動的に選択されなかった場合は、ターゲットの識別に役立つ隣接する要素 (ラベル、タイトルなど) をクリックして、アンカーとして追加できます。
     • アンカーを追加するには、ターゲット要素上でホバーし、表示されるメニューから [アンカーを追加] を選択した後で、アンカーとして追加する要素をクリックします。

   • 画面上に類似する他の要素があまりにも多く存在するためにターゲットが識別されなかった場合、ターゲット要素は赤く強調表示され、類似の要素は重複であることを示す黄色で強調表示されます。画面上の別の要素をクリックして、アンカーとして追加します。

     • 選択が有効な場合は、ターゲットとアンカーがそれぞれ緑色と青色で強調表示されます。
     • ターゲットとアンカーが赤く強調表示される場合、選択はまだ無効です。ターゲットとして指定した要素上でホバーし、表示されるメニューから [アンカーを追加] をクリックして 2 つ目のアンカーを追加します。必要に応じて、この操作を繰り返し、3 つ目のアンカーを追加します。

   • ターゲットの識別を完了するには、[選択オプション] ウィンドウで [確認] をクリックします。ターゲットのホバー メニューで をクリックするか、キーボードの Enter キーを押しても確定できます。

     ターゲットが設定され、ターゲットと追加されたアンカーのスクリーンショットがアクティビティに表示されます。

     
     

     

     
     

[選択オプション] ウィンドウで追加のオプションを利用して、要素を指定できます。

• 画面上に要素が表示されない場合またはアプリケーションのステートが正しくない場合は、キーボードの F2 キーを押して要素の選択を一時停止した状態でアプリケーションを正しいステートに設定します。

  この操作は、追加のアクションが必要となる要素を画面に表示したり、簡単に画面から消す場合に有効です。たとえば、ドロップダウン メニューまたはホバー メニューで特定の要素を指定する場合、選択を一時停止して、ドロップダウンをクリックしたり、マウス ポインターをホバー メニュー上に移動してそれらをアクティブ化できます。

• 画像選択モードに切り替えます。キーボードの F3 キーを押して、画像ベースの識別のみに変更します。次にマウスを使用して、ターゲットまたはアンカーとして使用する可視領域をアプリケーション ウィンドウから選択します。

• UI フレームワークを変更します。既定では、対象のアプリケーション ウィンドウへのアクセスに独自のフレームワークが使用されます。ターゲットが検出されない場合は、キーボードの F4 キーを押してフレームワークの変更をお試しください。古いアプリケーション用の AA (Active Accessibility) を選択するか、新しいアプリケーション用の UIA (Microsoft UI Automation) を選択します。ターゲットを選択すると、UI フレームワークを変更するオプションは使用できなくなります。

  
  

  

  
  

ターゲットを編集する

プロジェクトの実行中にターゲットが正しく識別されない場合は、アクティビティの本体で > [ターゲットを編集] を選択してターゲットを指定した後に、ターゲットとそのアンカーを編集できます。これにより、ターゲットおよび識別されたアンカーが強調表示された状態で選択モードが開きます。ターゲットまたはアンカー上でマウスをホバーすると、メニューが表示されます。

• ターゲットまたはアンカーを削除するには、削除対象の上でホバーし、表示されるメニューから [削除] をクリックします。ターゲットを削除すると、最初にクリックする要素が新しいターゲットとして追加されます。
• ターゲットのアンカーを追加するには、アンカーとして追加する要素をクリックします。プロジェクトの設定によっては、最初にターゲットのホバー メニューから [アンカーを追加] をクリックする必要があります。ターゲットごとに最大で 3 つのアンカーを追加できます。

• ターゲットまたはアンカーを編集するには、削除対象の上でホバーし、表示されるメニューから [設定] をクリックします。要素の検出に使用されるメソッドのプロパティは、[選択オプション] ウィンドウの [詳細設定] セクションから編集できます。

  • セレクター/あいまいセレクター

    • 対応するテキスト ボックスを使用してセレクターを編集します。セレクターをコピーして他の要素に貼り付けたり、UI Explorer で編集したりするには、横にある [コピー] をクリックします。

      属性値に変数も使用できます。変数は二重中括弧で囲みます。たとえば、<wnd name='da{{var1}}'/> のように指定すると、var1 の値がセレクターに追加されます。変数の既定値は設計時に使用されます。

    • あいまいセレクターについては、[セレクターの精度] レベルを、対応するスライダーを 0.4 から 1 の間でドラッグして変更できます。この測定単位は、検索しようとする属性と実際に見つける属性との間の最低限の類似度を表します。類似度の高い結果を見つけるには、値を大きくします。既定値は 0.7 です。

  • 画像

    • [画像の精度] レベルを、対応するスライダーを 0.4 から 1 の間でドラッグして変更します。この測定単位は、検索しようとする画像と実際に見つける画像との間の最低限の類似度を表します。見つける画像が検索しようとする画像とわずかに異なる可能性がある場合に便利です。既定値は 0.8 です。
  • メソッドを有効化または無効化するには、メソッド名の横にあるチェック ボックスをオンまたはオフにします。
  • メソッドの横にある [すべての一致を表示します。] をクリックして、メソッドがどれだけ一意であるかを検証します。これによってウィンドウ内のすべての要素がチェックされ、現在選択されている要素と類似するものすべてが黄色で強調表示されます。

  • [適用] をクリックして変更を保存します。選択を検証する場合は、[検証] をクリックします。選択内容を保存するには、[確認] をクリックします。

    
    

    

    
    

選択内容を検証する

検証では、選択したすべてのメソッドとアンカーを使用してターゲットをチェックすることによって、現在の選択がターゲットの識別にどの程度効果的であるかをチェックできます。検証の結果は、[選択オプション] ウィンドウの上部に表示されます。調整が必要な場合は、選択内容を改善する方法を示すメッセージが表示されます。

各メソッドのパフォーマンスは、次のいずれかのアイコンを使用して [選択オプション] ウィンドウの [詳細設定] セクションに表示されます。

要素の識別に成功した最初のメソッドです。

要素の識別に成功しました。

非常に多くの重複が見つかったため、要素の識別に失敗しました。

要素の識別に失敗しました。