- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-DBP-031 - アクティビティの検証
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- アプリケーション イベント トリガー
- ユーザー入力をブロック
- チェック/チェック解除
- アプリのステートを確認
- 要素を確認
- クリック
- クリック イベント トリガー
- ドラッグ アンド ドロップ
- 表データを抽出
- 繰り返し (各 UI 要素)
- ブラウザーのデータを取得
- クリップボードを取得
- テキストを取得
- URL を取得
- URL に移動
- 強調表示
- ホバー
- JS スクリプトを挿入
- キーボード ショートカット
- キー押下イベント トリガー
- マウス スクロール
- ブラウザー内を移動
- 項目を選択
- ブラウザーのデータを設定
- クリップボードに設定
- ランタイム ブラウザーを設定
- フォーカスを設定
- テキストを設定
- スクリーンショットを作成
- 文字を入力
- ユーザー入力のブロックを解除
- アプリケーション/ブラウザーを使用
- ウィンドウ操作
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル

UI Automation のアクティビティ
UiPath.UIAutomationNext.Activities.NHighlight
選択した UI 要素を強調表示します。
このアクティビティは [アプリケーション/ブラウザーを使用] アクティビティに追加する必要があります。
このアクティビティを [アプリケーション/ブラウザーを使用] アクティビティの外で使用するには、入力要素を指定する必要があります。
このアクティビティはオブジェクト リポジトリに対応しています。
- 作業スコープ - 自動化対象の Web アプリケーションを表示するブラウザー タブを選択します。
-
画面上でターゲットを指定 - ターゲットとして使用する UI 要素を指定します。
ターゲットを指定したら、プラス ボタンをクリックします。以下のオプションが表示されます。
- 画面上でターゲットを指定 - ターゲットをもう一度指定します。
- ターゲットを編集 - 選択モードを開いて、ターゲットを設定します。
- 継続時間 - ターゲット要素を強調表示する時間 (秒単位) です。既定値は 2 秒です。または、プラス ボタンをクリックし、メニューのその他のオプションの 1 つを使用して、継続時間を指定できます。
Proprieties
入力/出力
- 入力要素 - アクティビティの実行対象となる UI 要素で、
UIElementオブジェクトに保存されます。このフィールドではUIElementオブジェクトのみがサポートされています。このオブジェクトは、他の UI Automation アクティビティの [出力要素] プロパティ フィールドから取得できます。 - 出力要素 - ターゲット UI 要素を出力して、
UIElementオブジェクトに保存し、他のアクティビティで同じ要素をターゲットとして使用できるようにします。
- 色 - ドロップダウン メニューから、強調表示する要素を囲むボックスの色を選択します。既定値は Gold です。
- Healing Agent モード - プロセス レベルまたはジョブ レベルでのガバナンスまたは Orchestrator の設定に基づいて、このアクティビティでの Healing Agent の動作を設定します。
- 無効化 - このアクティビティの Healing Agent をオフにします。
- ジョブの設定を継承 - ガバナンスまたは Orchestrator で定義された設定を、プロセス レベルまたはジョブ レベルで適用します。
- 推奨事項のみ - Healing Agent が、実行中のジョブの UI Automation の問題を修正するための推奨事項を提供できるようにします。ただし、ガバナンスまたは Orchestrator の設定で許可されている場合に限ります。
- アプリ/ブラウザーと同一 - 親の [アプリケーション/ブラウザーを使用] アクティビティの設定を継承します。
- Continue on error - Specifies if the automation should continue even when the activity throws an error. This field only supports Boolean values (True, False). The default value is False. As a result, if the field is blank and an error is thrown, the execution of the project stops. If the value is set to True, the execution of the project continues regardless of any error.
- Expand target properties - Display target and anchor properties. This will hide the other activity properties and display only those related to the target.
- Collapse target properties - Hide target and anchor properties. This will hide target related properties and display the activity properties.
- ターゲット メソッド - 要素の識別に使用するセレクターの種類です。このプロパティには、ドロップダウン メニュー内の任意の組み合わせを設定できます。
- None
- Strict selector - The strict selector generated for the target UI element.
- Fuzzy selector - The fuzzy selector parameters.
-
Computer Vision - ターゲット メソッドとして Computer Vision を使用するには、[プロジェクト設定] > [Computer Vision] に移動し、正しいサーバー エンドポイントを設定する必要があります。このフィールドはそのままにして、既定で入力されている「UiPath Cloud」を使用するか、他のパブリック エンドポイントを選択して別の値を入力できます。別の値を入力する場合、サーバー リージョンまたは独自のオンプレミス サーバー専用のエンドポイントを選択します。
Another way of using Computer Vision as a targeting method is to set Use Local Server to True. This implies that the UiPath.ComputerVision.LocalServer package is installed in your project. When Local Server is enabled, the server value is over-written. However, the Local Server is not available in cross-platform projects.
- CV コントロールの種類 - Computer Vision で識別するコントロールの種類を指定します。
- CV テキスト - Computer Vision で識別するテキストを指定します。
- CV Text occurrence - Indicates a specific occurrence to be used, when multiple matches are found.
- CV Text accuracy - Indicates the accuracy level for OCR text matching.
- Semantic selector - Leverages large language models (LLMs) to generate functional, human-like descriptions of UI elements. These descriptions are highly reliable making them adaptable to UI changes and significantly improving automation resilience when traditional selectors fail.
- Image (Windows only)
- Image accuracy - Indicates the accuracy level for image matching.
- Image occurrence - Indicates a specific occurrence to be used, when multiple matches are found.
- Native text (Windows only)
- Native text - The text to find to identify the UI element.
- Native text occurrence - Indicates a specific occurrence to be used, when multiple matches are found.
- Window selector (Application instance) - Selector for the application window. Only applicable when window attach mode is set to application instance.
- Wait for page load - Before performing the action, wait for the application to becaome ready to accept input. The options are:
- なし - ターゲットの準備ができるまで待機しません。
- 対話型 - アプリの一部のみが読み込まれるまで待機します。
- 完了 - アプリ全体が読み込まれるまで待機します。
- Visibility check - When enabled, the activity also checks whether the UI element is visible or not. You can choose one of three options from the drop-down menu:
- なし - 可視性を確認しません。
- 対話型 (あいまいセレクター用) - 既定のオプションです。要素が表示される可能性があるかどうかを確認します。確認時、ページをスクロールしないと表示されない、他のアプリで隠れている、アプリケーションが最小化されているという点は無視されます。この確認は、DOM に存在するものの表示されていない非表示の要素をターゲット要素として設定しないようにする場合に便利です。
- 完全に表示されている - UI 要素が表示されるかどうかを確認します。
- レスポンシブ対応の Web サイト - レスポンシブ対応の Web サイトのレイアウトを有効化します。
Target - Clipping region
- アンカー ポイント - [X のオフセット] プロパティと [Y のオフセット] プロパティで設定したオフセットが追加される、カーソルの開始位置を表します。指定できるオプションは、TopLeft、 TopRight、BottomLeft、BottomRight および Center です。既定では、Center が選択されています。
- X のオフセット - カーソルの位置を、[アンカー ポイント] プロパティで選択した位置から水平方向にずらす距離を指定します。既定値は 300 秒です。このフィールドは、Int32 型変数のみをサポートします。
- Y のオフセット - カーソルの位置を、[アンカー ポイント] プロパティで選択した位置から垂直方向にずらす距離を指定します。既定値は 300 秒です。このフィールドは、Int32 型変数のみをサポートします。
- Offset width - Width of the offset region.
- Offset height - Height of the offset region.
タイミング
-
実行前の待機時間 - 前のアクティビティが完了してから、現在のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.2 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
実行後の待機時間 - 現在のアクティビティが完了してから、次のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.3 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
タイムアウト - エラーを発生させる前にアクティビティの実行を待機する時間を秒単位で指定します。既定値は 30 秒です。
-
[アプリ/ブラウザーで指定] を選択して、ターゲットとして使用する UI 要素を指定します。
ターゲットを指定したら、メニュー
ボタンをクリックします。以下のオプションが表示されます。
- 画面上でターゲットを指定 - ターゲットをもう一度指定します。
- ターゲットを編集 - 選択モードを開いて、ターゲットを設定します。
- 参考スクリーンショットを削除 - 対象のアプリケーションまたは Web ページのスクリーンショットを削除します。
- オブジェクト リポジトリに追加 - 現在の UI 要素をライブラリ プロジェクトに追加し、オートメーション プロセス全体で要素を再利用することができます。
-
継続時間 - ターゲット要素を強調表示する時間 (秒単位) です。ドロップダウン メニューから、あらかじめ定義された値 (1 (s)、3 (s)、または 5 (s) のいずれか) を選択できます。既定値は 2 秒です。または、プラス
ボタンをクリックし、メニューのその他のオプションの 1 つを使用して、継続時間を指定できます。
プロパティ パネル
共通
-
エラー発生時に実行を継続 - アクティビティでエラーが発生した場合でも、オートメーションを継続するかどうかを指定します。このフィールドでは、
Boolean値 (True、False) のみがサポートされています。既定値は False です。そのため、フィールドが空白でエラーが発生すると、プロジェクトの実行が停止します。値を True に設定すると、プロジェクトの実行はエラーに関係なく継続されます。 -
実行後の待機時間 - 現在のアクティビティが完了してから、次のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.3 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
実行前の待機時間 - 前のアクティビティが完了してから、現在のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.2 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
表示名 - デザイナー パネルに表示される、アクティビティの名前です。表示名は、ターゲットを指定すると自動的に生成されます。
-
タイムアウト - エラーを発生させる前にアクティビティの実行を待機する時間を秒単位で指定します。既定値は 30 秒です。
-
ターゲット - ターゲット要素です。ターゲット要素を設定する必要があります。画面で指定する前は、このフィールドは
(null)に設定されています。ターゲットを指定すると、指定した要素に関連するすべてのプロパティが表示されます。- CV コントロールの種類 - Computer Vision で識別するコントロールの種類を指定します。
- CV テキスト - Computer Vision で識別するテキストを指定します。
- あいまいセレクター - あいまいセレクターのパラメーターです。
- ネイティブ テキスト - UI 要素の識別に使用されるテキストです。
- レスポンシブ対応の Web サイト - レスポンシブ対応の Web サイトのレイアウトを有効化します。
- 厳密セレクター - UI 要素に対して生成される厳密セレクターです。
- ターゲット メソッド - 要素の識別に使用するセレクターの種類です。このプロパティには、ドロップダウン メニュー内の任意の組み合わせを設定できます。
- None
- 厳密セレクター
- あいまいセレクター
- 画像
- ネイティブ テキスト
- Computer Vision - ターゲット メソッドとして Computer Vision を使用するには、[プロジェクト設定] > [Computer Vision] に移動し、正しいサーバー エンドポイントを設定する必要があります。このフィールドはそのままにして、既定で入力されている「UiPath Cloud」を使用するか、他のパブリック エンドポイントを選択して別の値を入力できます。別の値を入力する場合、サーバー リージョンまたは独自のオンプレミス サーバー専用のエンドポイントを選択します。
Computer Vision をターゲット メソッドとして使用するもう 1 つの方法は、[ローカル サーバーを使用] を [True] に設定することです。これは、UiPath.ComputerVision.LocalServer パッケージがプロジェクトにインストールされていることを意味します。ローカル サーバーが有効な場合、サーバーの値は上書きされます。ただし、ローカル サーバーはクロスプラットフォーム プロジェクトでは利用できません。
- セマンティック セレクター - 大規模言語モデル (LLM) を活用して、人間が書くような UI 要素の機能的な記述を生成します。これらの記述は信頼性が高いため、UI の変更に適応でき、従来のセレクターが失敗した場合のオートメーションの回復性が大幅に向上します。
- 可視性を確認 - UI 要素が表示されているかどうかを確認します。ドロップダウン メニューの次の 3 つのオプションのいずれかを選択できます。
- なし - 可視性を確認しません。
- 対話型 (あいまいセレクター用) - 既定のオプションです。要素が表示される可能性があるかどうかを確認します。確認時、ページをスクロールしないと表示されない、他のアプリで隠れている、アプリケーションが最小化されているという点は無視されます。この確認は、DOM に存在するものの表示されていない非表示の要素をターゲット要素として設定しないようにする場合に便利です。
- 完全に表示されている - UI 要素が表示されるかどうかを確認します。
- ページの読み込みを待機 - アプリケーションが入力を受け入れる準備が完了するまで、アクションの実行を待機します。ドロップダウン メニューの次の 3 つのオプションのいずれかを選択できます。
- なし - ターゲットの準備ができるまで待機しません。
- 対話型 - アプリの一部のみが読み込まれるまで待機します。
- 完了 - アプリ全体が読み込まれるまで待機します。
- ウィンドウ セレクター (アプリケーション インスタンス) - アプリケーション ウィンドウに使用されるセレクターです。[ウィンドウ アタッチ モード] が [アプリケーション インスタンス] に設定されている場合にのみ適用されます。
- 入力要素 - アクティビティの実行対象となる UI 要素で、
UIElementオブジェクトに保存されます。このフィールドではUIElementオブジェクトのみがサポートされています。このオブジェクトは、他の UI Automation アクティビティの [出力要素] プロパティ フィールドから取得できます。 - 出力要素 - ターゲット UI 要素を出力して、
UIElementオブジェクトに保存し、他のアクティビティで同じ要素をターゲットとして使用できるようにします。
- プライベート - オンにすると、変数および引数の値が Verbose レベルでログに出力されなくなります。このフィールドでは、
Boolean値 (True、False) のみがサポートされています。既定値は False です。
- 色 - ドロップダウン メニューから、強調表示する要素を囲むボックスの色を選択します。既定値は Gold です。
- 継続時間 - デザイナー パネルの [継続時間] の説明をご覧ください。