通知を受け取る

UiPath StudioX

UiPath StudioX ガイド

UI 操作の自動化

UI 操作の自動化とは、デスクトップ アプリケーションおよび Web ブラウザーの操作の自動化を指します。ボタン、チェック ボックス、テキスト ボックス、ドロップダウン リストなど、さまざまなユーザー インターフェイス要素のクリックや入力を再現できます。これらの要素の操作方法を理解すれば、オートメーションを迅速かつ容易に設計できます。StudioX ではアプリケーションまたは Web 系のアクティビティを使用して、ほとんどのアプリケーションの UI 要素を自動化できます。

📘

注:

StudioX は Microsoft Office、Outlook 365、Gmail、およびファイル システムとの緊密な連携が可能です。ExcelメールWordPowerPoint、およびファイルとフォルダーの操作を自動化する場合は、専用のアクティビティを使用します。Excel または PowerPoint のインターフェイスの操作を自動化するには、[Excel ファイルを使用] または [PowerPoint プレゼンテーションを使用] アクティビティ内に UIAutomation アクティビティを配置します。

どの UI 操作も、入力 (アプリケーションへのデータの送信または追加) と出力 (アプリケーションからのデータの取得) に分割できます。入力アクションの例としては、ボタンのクリック、テキスト ボックスへのテキストの入力などが挙げられます。出力アクションの例としては、ブラウザー ページからのテキストの取得が挙げられます。

StudioX には、一般的なほとんどの UI 操作を自動化するうえで効果的なアクティビティが用意されています。UI の操作を自動化する最初のステップは、[アプリケーション/ブラウザーを使用] アクティビティを追加して、操作するデスクトップ アプリケーションまたは Web ページを定義することです。次に、[アプリケーション/ブラウザーを使用] アクティビティにアプリケーションまたは Web ブラウザーで自動化する操作のアクティビティを追加します。

You can automate the interface of Excel and PowerPoint by placing UIAutomation activities directly inside a Use Excel File or Use PowerPoint File activity just like you would in a Use Application/Browser activity.

To speed up the process, you can use the App/Web Recorder that automatically generates activities by capturing your actions on the screen.

UI Automation による自動化については、このセクションのチュートリアルをご覧ください。

アプリケーションまたは Web 系のアクティビティの詳細については、このセクションの各アクティビティの詳しい説明をご覧ください。

ターゲットとアンカーについて

ターゲットは、たとえばクリックするボタン、入力を行うテキスト ボックス、またはテキストのコピー元である Web ページの一部など、対話を行う対象の UI 要素です。
アンカーは、ターゲットを一意に識別するのに役立つ、周辺にある別の要素です。ターゲットを指定すると、Studio はアンカーを識別し自動で選択しようとします。また、手動で 3 つまでアンカーを追加することもできます。

ターゲットを選択すると、[オプションを選択] ウィンドウの [ウィンドウ セレクター] セクションで即座にセレクターを編集できます。ここから UIExplorer を開いて高度なセレクター編集を行うこともできます。

309309

アンカーの使用が適切な場合

ターゲット要素が一意でない場合には、アンカーが役立ちます。たとえば、デスクトップ アプリケーションのフォームには、一般にさまざまなデータを入力する類似した複数のテキスト ボックスが含まれています。各テキスト ボックスにどのデータを入れる必要があるかを見分けるには、横にあるラベルを確認します。同様に、テキスト ボックスのラベルをアンカーとして追加すると、ロボットはアンカーを使用して、情報を入力するテキスト ボックスを識別します。

一部のシナリオでは、重複と呼ばれる他の類似の要素とターゲットを区別するために、複数のアンカーが必要です。たとえば、フォームに請求先住所および出荷先住所のセクションが含まれる場合、各セクションのテキスト ボックスは同じラベルで 2 回表示されます。したがって、正しいテキスト ボックスを識別するには、ラベル (「郵便番号」など) とセクション タイトル (「請求先住所」など) の両方をアンカーとして追加する必要があります。

ターゲットの指定

ほとんどの場合、ターゲットを定義するために必要な操作は、画面上でそれをポイントし、クリックするだけです。ターゲットおよび適切なアンカーの識別に必要なメソッドが検出され、そのプロパティが自動的に生成されます。

ターゲットを指定するには

  1. アプリケーション/Web 系のアクティビティ内の [画面上でターゲットを指定] をクリックします。
    ターゲット選択モードが開きます。マウスを動かすにつれて、認識されたすべての UI 要素が強調表示されます。[選択オプション] ウィンドウが画面に表示され、ターゲット識別ステータスおよび追加のオプションに関する情報が表示されます。
  2. マウス ポインターを目的の要素上に置き、要素が強調表示されていることを確認してクリックします。
    • 識別されたターゲット要素は緑色で強調表示されます。
      • アンカーも自動的に選択された場合、これは青色で強調表示されます。
      • アンカーが自動的に選択されなかった場合は、ターゲットの識別に役立つ隣接する要素 (ラベル、タイトルなど) をクリックして、アンカーとして追加できます。
      • アンカーを追加するには、ターゲット要素上でホバーし、表示されるメニューから [アンカーを追加] edit_element_add_anchoredit_element_add_anchor を選択した後で、アンカーとして追加する要素をクリックします。
    • 画面上に類似する他の要素があまりにも多く存在するためにターゲットが識別されなかった場合、ターゲット要素は赤く強調表示され、類似の要素は重複であることを示す黄色で強調表示されます。画面上の別の要素をクリックして、アンカーとして追加します。
      • 選択が有効な場合は、ターゲットとアンカーがそれぞれ緑色と青色で強調表示されます。
      • ターゲットとアンカーが赤く強調表示される場合、選択はまだ無効です。ターゲットとして指定した要素上でホバーし、表示されるメニューから [アンカーを追加] edit_element_add_anchoredit_element_add_anchor をクリックして 2 つ目のアンカーを追加します。必要に応じて、この操作を繰り返し、3 つ目のアンカーを追加します。
  3. ターゲットの識別を完了するには、[選択オプション] ウィンドウで [確認] をクリックします。ターゲットのホバー メニューで edit_element_confirmedit_element_confirm をクリックするか、キーボードの Enter キーを押しても確定できます。
    ターゲットが設定され、ターゲットと追加されたアンカーのスクリーンショットがアクティビティに表示されます。
12921292

[選択オプション] ウィンドウで追加のオプションを利用して、要素を指定できます。

  • 画面上に要素が表示されない場合またはアプリケーションのステートが正しくない場合は、キーボードの F2 キーを押して要素の選択を一時停止した状態でアプリケーションを正しいステートに設定します。
    この操作は、追加のアクションが必要となる要素を画面に表示したり、簡単に画面から消す場合に有効です。たとえば、ドロップダウン メニューまたはホバー メニューで特定の要素を指定する場合、選択を一時停止して、ドロップダウンをクリックしたり、マウス ポインターをホバー メニュー上に移動してそれらをアクティブ化できます。
  • 画像選択モードに切り替えます。キーボードの F3 キーを押して、画像ベースの識別のみに変更します。次にマウスを使用して、ターゲットまたはアンカーとして使用する可視領域をアプリケーション ウィンドウから選択します。
  • UI フレームワークを変更します。既定では、対象のアプリケーション ウィンドウへのアクセスに独自のフレームワークが使用されます。ターゲットが検出されない場合は、キーボードの F4 キーを押してフレームワークの変更をお試しください。古いアプリケーション用の AA (Active Accessibility) を選択するか、新しいアプリケーション用の UIA (Microsoft UI Automation) を選択します。ターゲットを選択すると、UI フレームワークを変更するオプションは使用できなくなります。
343343

ターゲットの編集

プロジェクトの実行中にターゲットが正しく識別されない場合は、アクティビティの本体で Options buttonOptions button > [ターゲットを編集] を選択してターゲットを指定した後に、ターゲットとそのアンカーを編集できます。これにより、ターゲットおよび識別されたアンカーが強調表示された状態で選択モードが開きます。ターゲットまたはアンカー上でマウスをホバーすると、メニューが表示されます。

11681168
  • ターゲットまたはアンカーを削除するには、削除対象の上でホバーし、表示されるメニューから [削除] delete_element_menudelete_element_menu をクリックします。ターゲットを削除すると、最初にクリックする要素が新しいターゲットとして追加されます。
  • ターゲットのアンカーを追加するには、アンカーとして追加する要素をクリックします。プロジェクトの設定によっては、最初にターゲットのホバー メニューから [アンカーを追加] edit_element_add_anchoredit_element_add_anchor をクリックする必要があります。ターゲットごとに最大で 3 つのアンカーを追加できます。
  • ターゲットまたはアンカーを編集するには、編集対象の上でホバーし、表示されるメニューから [設定] edit_element_menuedit_element_menu をクリックします。要素の検出に使用されるメソッドのプロパティは、[選択オプション] ウィンドウの [詳細設定] セクションから編集できます。
    • セレクター/あいまいセレクター
      • Edit the selector using the corresponding text box. To copy the selector for pasting in another element or for editing in the UI Explorer, click Copy copy_buttoncopy_button next to it.
        You can use variables in attribute values. The variables must be surrounded in double curly brackets, for example <wnd name='da{{var1}}'/> adds the value of var1 to the selector. The default value of the variable is used at design time. For information on how to create variables for selectors, see Creating Variables for Use in Selectors.
      • あいまいセレクターについては、[セレクターの精度] レベルを、対応するスライダーを 0.4 から 1 の間でドラッグして変更できます。この測定単位は、検索しようとする属性と実際に見つける属性との間の最低限の類似度を表します。類似度の高い結果を見つけるには、値を大きくします。既定値は 0.7 です。
        You can find more information about selectors in the Studio guide.
    • 画像
      • [画像の精度] レベルを、対応するスライダーを 0.4 から 1 の間でドラッグして変更します。この測定単位は、検索しようとする画像と実際に見つける画像との間の最低限の類似度を表します。見つける画像が検索しようとする画像とわずかに異なる可能性がある場合に便利です。既定値は 0.8 です。
    • メソッドを有効化または無効化するには、メソッド名の横にあるチェック ボックスをオンまたはオフにします。
    • メソッドの横にある [すべての一致を表示します。] eye_buttoneye_button をクリックして、メソッドがどれだけ一意であるかを検証します。これによってウィンドウ内のすべての要素がチェックされ、現在選択されている要素と類似するものすべてが黄色で強調表示されます。
    • [適用] をクリックして変更を保存します。選択を検証する場合は、[検証] をクリックします。選択内容を保存するには、[確認] をクリックします。
345345

選択内容を検証する

検証では、選択したすべてのメソッドとアンカーを使用してターゲットをチェックすることによって、現在の選択がターゲットの識別にどの程度効果的であるかをチェックできます。検証の結果は、[選択オプション] ウィンドウの上部に表示されます。調整が必要な場合は、選択内容を改善する方法を示すメッセージが表示されます。

各メソッドのパフォーマンスは、次のいずれかのアイコンを使用して [選択オプション] ウィンドウの [詳細設定] セクションに表示されます。
Validate firstValidate first The method was the first to successfully identify the element.
Validate successValidate success The method successfully identified the element.
Validate duplicateValidate duplicate The method failed to identify the element because too many duplicates were found.
Validate failValidate fail The method failed to identify the element.

セレクターで使用する変数の作成

You can create variables from the Use Application/Browser activity and most other container activities. The scope of the variable is within the activity where it is created.

セレクターで使用する変数を作成するには、次の操作を実行します。

  1. コンテナー アクティビティのタイトル バーで、[設定] container settingscontainer settings > [値マッピング] を選択します。
  2. [値マッピング] ウィンドウで [追加] をクリックし、以下の情報を入力します。
    • 名前 - 変数の名前を入力します。名前は命名規則に従う必要があります。
    • - フィールドの右側にあるプラス記号 plus buttonplus button をクリックし、表示されるメニューのオプションを 1 つ使用して、実行時に使用する値を指定します。たとえば、テキストの入力、Excel ファイルのセルの選択、あるいは後で使用するために以前保存したテキスト値の選択が可能です。変数の型は文字列です。
750750

After a variable is created, you can add it to selectors in activities added inside the container where it was created. For more information, see Editing a Target. The variable can also be selected from the Plus plus buttonplus button menu of compatible activity fields inside the container.

セレクターで変数を使用する方法の例については、以下のビデオをご覧ください。

11 か月前に更新


UI 操作の自動化


改善の提案は、API リファレンスのページでは制限されています

改善を提案できるのは Markdown の本文コンテンツのみであり、API 仕様に行うことはできません。