アクティビティ

高度な記述子の設定

[選択] 画面のより高度な機能の使用について詳しくは、以下のビデオをご覧ください。

重複

ターゲットを指定すると、重複が生まれる可能性があります。重複は、ターゲット UI 要素と極めて類似していると認識される別の UI 要素であり、実行時にオートメーションが失敗する原因となることがあります。重複が見つかった場合は、黄色で強調表示され、その上に各重複を検出したターゲットメソッドに対応する文字を含むラベルが付けられます。

重複を避ける最適な方法の 1 つは、アンカーを指定することです。

アンカー

信頼性の高い記述子を作成するには、ターゲットを指定した後にアンカーを指定することをお勧めします。1 つのターゲットに対して最大 3 つのアンカーを指定できます。アンカーは、以下に説明するように、いくつかのシナリオで見つかります。

自動で見つかったアンカー

ターゲットを指定すると、それに対するアンカーの自動識別が試行されます。

重要: アンカーが見つからないことが 100% 確実である場合、または重複が見つかった場合、それは自動アンカーと見なされません。

自動アンカーが正常に検出されると、青色で強調表示され、選択オプションのヘルパーによってターゲットとそのアンカーが検出されたことが確認されます。

アンカーの識別方法

このセクションでは、この検索の実行方法についての技術的な詳細を確認できます。

ターゲットを指定すると、指定された UI 要素の種類が識別されます。検索対象は次の要素と方向です。

ボタン - 要素の内部。
チェックボックス - 要素の右側。
ドロップダウン - 要素の左側と上部。
入力ボックス - 要素の左側と上部。ブラウザーの自動化の場合は、入力ボックス内でラベルも検索対象となり、AreaLabeledBy 属性が検索されます。このラベルが識別されない場合、tag=label および for='id of the input box' を持つ要素が検索対象となります。
ラジオボタン - 要素の右側。
画像 - 要素の右側と下部。

識別された要素の種類に応じて、その要素で対応するアンカーが自動的に検索されます。

自動的に識別されたアンカーは、ターゲット要素の近くに常に存在するテキスト要素の形式であるため、実行時により高い精度で要素を識別するのに使用できます。

上記の方向のいずれにおいても結果が生成されない場合は、汎用のケースが使用され、要素階層で適切なアンカーが検索されます。

アンカーを手動で追加する

アンカーが自動的に検出されず、指定したターゲットに追加されなかった場合、選択オプションのヘルパーによって次のスクリーンショットに示すような通知が表示されます。

この状況では、ターゲット要素にアンカーを手動で選択できます。別の要素上でホバーすると、その要素が青色で強調表示され、選択したターゲットと線で接続されます。希望のアンカーを選択するには、アンカーとして使用するテキストをクリックします。

ホバーメニュー

ターゲット要素上にホバーしたときに表示されるメニューにアクセスして、特定の要素 (ターゲットまたはアンカー) を編集することもできます。このメニューには、次のような複数のオプションがあります。

ボタンをクリックすると、指定するプロセスを閉じて、行った変更を保存します。

ボタンをクリックすると、特定のテキストのコンテンツに関係なく、要素をターゲット指定できます。これは、リストに何が含まれるかはっきりわからないときに、検索のリストの最初の要素を選択しようとしている場合や、さまざまな理由でラベルが変更される動的な要素を操作している場合に役立ちます。ターゲットを指定する際にこの機能を使用すると、あいまいセレクターメソッドのみが識別に使用され、あいまいセレクターが取り除かれて、ラベルの変更に関係なく要素が指定されるようになります。

ボタンをクリックすると、追加のアンカーとして機能する隣接する UI 要素を選択できます。任意のターゲットに対して最大 3 つのアンカーを指定できます。

ボタンをクリックすると [選択オプション] の [ターゲット] セクションが展開され、現在の記述子で使用されるターゲットメソッドを設定できるようになります。

ボタンをクリックすると、指定したターゲットが削除され、別のターゲットを選択できます。

記述子を設定する

オプション

[オプション] セクションを展開すると、次のオプションが表示されます。

変更を自動適用 - オンにすると、ターゲット要素とアンカー要素の変更を自動適用します。
レスポンシブ対応の Web サイト - 選択すると、アンカーをターゲットの左から上に、またはターゲットの上から左に移動して、レスポンシブ対応の Web サイトを自動化できます。
要素の可視性 - UI 要素が表示されているかどうかを確認します。ドロップダウンメニューで、次の 3 つのオプションを使用できます。
- なし - 可視性を確認しません。
- 対話型 (あいまいセレクター用) - 既定のオプションです。要素が表示される可能性があるかどうかを確認します。確認時、ページをスクロールしないと表示されない、他のアプリで隠れている、アプリケーションが最小化されているという点は無視されます。この確認は、DOM に存在するものの表示されていない非表示の要素をターゲット要素として設定しないようにする場合に便利です。
- 完全に表示されている - 要素が画面上に表示されていることを確認します。

ウィンドウセレクター

[ウィンドウセレクター] セクションを展開して、指定した対象のアプリケーションのセレクターを表示および編集することができます。[UI Explorer で開く] ボタンを使用して、UI Explorer でウィンドウセレクターを編集することもできます。

ターゲット

UI 要素を見つける内部のプロセスでは、いくつかのターゲットメソッドが使用されます。

これらのターゲットメソッドは互いに冗長です。ランキングが指定され、これに従ってターゲットメソッドが使用されます。階層では、各ターゲットメソッドのターゲット識別能力および UI の変更に対する回復性が考慮されます。したがって、UI 要素を見つける順序は次のようになります。

プライマリターゲットメソッドはセレクターです。厳密セレクターまたはあいまいセレクター
第 2 (セカンダリ) のターゲットメソッドは Computer Vision です。
第 3 (ターシャリ) のターゲットメソッドは画像です (既定では無効化されています)。

設計時は第 1 ターゲットメソッドの横にアイコンが表示され、実行時のシナリオがシミュレートされます。

複数のテクノロジにまたがるターゲットメソッドの既定のプロジェクト設定

以下の表は、複数のテクノロジにまたがるターゲットメソッドの既定のプロジェクト設定を示しています。

ターゲットメソッド	デスクトップアプリケーション	Web ブラウザー	Java	SAP
厳密セレクター
あいまいセレクター
Computer Vision
画像

プロジェクト設定: プライマリターゲットメソッドがタイムアウトするまで待機

また、[プライマリターゲットメソッドがタイムアウトするまで待機] ([プロジェクト設定] > [UI Automation モダン]) は、アクティビティパッケージバージョン 23.10.3 以降の新しいプロジェクトでは既定で有効化されており、このアクティビティパッケージバージョンより前のバージョンで作成されたプロジェクトでは手動で有効化できます。これにより、フォールバックターゲットメソッドを使用できるようになるまで、プライマリターゲットメソッドがフルタイムアウトを消費するための時間が追加されます。

プライマリターゲットメソッドの 1 つがタイムアウトの期限までに UI 要素を見つけることができた場合、そのメソッドが UI 要素と対話するメソッドとして使用されます。厳密セレクターは最初に UI 要素を検索するターゲットメソッドです。その後すぐにあいまいセレクターが続きます。また、厳密セレクターはあいまいセレクターよりも優先されます。

タイムアウトの期限が過ぎるまでプライマリターゲットメソッドで UI 要素が見つからないときに、割り当てられたタイムアウト時間内のすべてのリトライにおいて厳密セレクターもあいまいセレクターも UI 要素を見つけられなかった場合に限り、セカンダリおよびターシャリターゲットメソッドがそれぞれのタイムアウト時間内に UI 要素の検索を開始します。

また、このプロジェクト設定により、セレクターに関連する問題の予測可能性と可視性が向上するため、UI 要素のターゲット設定をより適切に制御できると同時に、Computer Vision が提供する確実なフォールバックを利用できます。

このプロジェクト設定を無効にすると、すべてのターゲットメソッドが 1 回のタイムアウトで競合して階層に従って UI 要素を探します。ランクの低いターゲットメソッドで見つかったターゲットは、ランクの高いターゲットメソッドで検出できなかった場合にのみ使用されます。

プロジェクト設定: 要素が見つからないことを示すエラーメッセージ内に、最も近い一致を表示

[要素が見つからないことを示すエラーメッセージ内に、最も近い一致を表示] ([プロジェクト設定] > [UI Automation モダン]) は、アクティビティパッケージバージョン 23.10.3 以降の新規プロジェクトでは既定で有効化されています。また、このアクティビティパッケージバージョンより前のプロジェクトで作成されたプロジェクトでも手動で有効化できます。この設定を有効化すると、セレクターが失敗した場合、警告がログに表示され、UI 要素の検索に使用されたメソッドと、エラーが発生したセレクターの置き換えに使用できる最も近いセレクターの一致に関する 10 個の提案が表示されます。

記述子を手動で編集することはお勧めしません。これは、このプロセス全体がユーザーにとってシームレスなものとなり、高度な設定の必要なく優れた結果を提供するよう、入念に設計されているためです。それでも、記述子にさらに高度な機能を設定したい場合は、ターゲットメソッドを有効化、無効化、および編集できます。

厳密セレクター

セレクターは、UI 要素とその親要素の属性を含む XML フラグメントです。セレクターは、要素とその属性を検証し、セレクターの属性と照合することで、画面上の UI 要素をターゲット指定するために使用されます。UiPath エコシステム内のセレクターの機能について詳しくは、こちらのページをご覧ください。

ターゲット要素の厳密セレクターは、[選択オプション] ウィンドウの専用のセクションから編集できます。[UI Explorer で開く] ボタンを使用して、UI Explorer でセレクターを編集することもできます。

[厳密セレクター] フィールドは、コンテキストメニュー (右クリックでアクセス可能) からの変数と引数の使用および作成をサポートします。

また、セレクターの一部を選択し、コンテキストメニューを使用して、それを選択内容が事前に入力された変数に直接変換することもできます。

[変数名] ドロップダウンメニューから作成済みの変数を選択して、セレクターで使用することもできます。

[既定値を上書き] チェックボックスでは、定義済みの変数の値を現在の選択内容に置き換えることができます。

[確認] ボタンは、セレクターで加えた変更を保存します。

次のホットキーを使用できます。

Ctrl+Space: 変数を選択
Ctrl+Shift+Space: 引数を選択
Ctrl+K: 変数を作成
Ctrl+M: 引数を作成

重要:

同じ名前の変数と引数がある場合、実行時には常に既定で変数が使用されます。

変数と同じ名前の引数は、[選択] 画面の変数選択メニューには表示されません。

変数や引数に加えた変更を、その変数や引数が見つかった他のすべてのインスタンスに反映できます。たとえば、ある変数が [厳密セレクター] フィールドと [あいまいセレクター] フィールドの両方で使用されている場合、1 つのフィールドで変数を変更すると、もう 1 つのフィールドで同じ値が見つかったことを知らせるメッセージが生成され、すべてのインスタンスを新しい値に置き換えるオプションが提供されます。

厳密セレクターではワイルドカードもサポートします。これは、文字列内のゼロまたは複数の文字を置換するために使用できます。この機能について詳しくは、こちらをご覧ください。

あいまいセレクター

あいまいセレクターは厳密セレクターと非常に似ていますが、属性が完全一致ではなくあいまい一致である点が異なっています。これは、厳密セレクターは一度に 1 つの要素を出力するのに対し、あいまいセレクターは複数の要素を出力できることを意味しています。

あいまいセレクターは、[選択オプション] ウィンドウの専用のセクションから編集できます。

あいまいセレクターの照合の精度は、レーベンシュタイン距離アルゴリズムに基づいて、セレクターの類似性をカウントします。既定値は 0.5 です。[精度] スライダーから設定することも、有効な値を入力フィールドに直接入力して設定することもできます。照合の精度は 0.4 から 1 の範囲内で設定できます。値が小さいほどあいまい度が高くなり、あいまいセレクターで出力される要素の数が多くなります。また、値が大きいほどあいまい度が低くなり、出力される要素の数が少なくなります。

厳密セレクターと同様に、あいまいセレクターのフィールドでも変数と引数を使用および作成できます。また、ワイルドカードもサポートされています。詳しくは、上記の情報をご覧ください。

指定した要素にテキストが含まれている場合、テキストはあいまいセレクターの編集ウィンドウの下にある入力ボックスに表示されます。テキストがこの入力ボックスに表示されている場合、一致と見なされるためには、実行時にこのテキストが要素自体において見つかる必要があります。

入力ボックスの横にあるドロップダウンメニューには、次のオプションがあります。

次のテキスト/次の innerText/次のフルテキスト (使用するテキストスクレイピングメソッドによる) - スクレイピングしたテキストを表示します。最適なスクレイピングメソッドは自動的に識別され、そのメソッドを使用することをお勧めします。
テキストを無視 - 入力ボックスで指定されたテキストが無視されます。

Computer Vision

Computer Vision は、UiPath のロボットがコンピューター画面上のすべての UI 要素を認識および理解できるようにする AI 搭載エンジンです。Computer Vision によりターゲットの設定が強化されます。ドライバーで「認識」できない UI 要素があっても、Computer Vision で UI 操作の自動化を実現できます。したがって、UI ベースのオートメーションの変更に対する信頼性と回復性が向上するとともに、他のターゲットメソッドの強力な代替機能になります。

画像

ターゲットに画像の自動化が使用されている場合は、要素のスクリーンショットを表示することも、画像の精度を調整することもできます。既定値は 0.8 です。[精度] スライダーから設定することも、有効な値を入力フィールドに直接入力して設定することもできます。精度は 0.4 から 1 の範囲内で設定できます。詳しくは、「画像とテキストの自動化」セクションをご覧ください。

画像のみのターゲットを定義したい場合は、[画像領域の選択] (F3) を使用するか、指定時にターゲット/アンカーとして使用する領域を四角で囲んで選択します。

要素を指定した後に要素の画像が変更された場合、[更新] ボタンを使用して、選択した画像を手動で更新することもできます。

画像ターゲットメソッドは、[プロジェクト設定] で既定で無効化されています。

プロジェクトレベルで有効化するには、[プロジェクト設定] > [UI Automation モダン] > [ターゲットメソッド - デスクトップアプリケーション] / [ターゲットメソッド - Web ブラウザー] / [ターゲットメソッド - Java] / [ターゲットメソッド - SAP] (自動化するアプリケーションの種類に応じて) > [画像] > [True] を選択します。

指定した要素に対してこのメソッドを有効化するには、その要素が有効である必要があります。