- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-DBP-031 - アクティビティの検証
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- アプリケーション イベント トリガー
- ユーザー入力をブロック
- チェック/チェック解除
- アプリのステートを確認
- 要素を確認
- クリック
- クリック イベント トリガー
- ドラッグ アンド ドロップ
- 表データを抽出
- 繰り返し (各 UI 要素)
- ブラウザーのデータを取得
- クリップボードを取得
- テキストを取得
- URL を取得
- URL に移動
- 強調表示
- ホバー
- JS スクリプトを挿入
- キーボード ショートカット
- キー押下イベント トリガー
- マウス スクロール
- ブラウザー内を移動
- 項目を選択
- ブラウザーのデータを設定
- クリップボードに設定
- ランタイム ブラウザーを設定
- フォーカスを設定
- テキストを設定
- スクリーンショットを作成
- 文字を入力
- ユーザー入力のブロックを解除
- アプリケーション/ブラウザーを使用
- ウィンドウ操作
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル

UI Automation のアクティビティ
UiPath.UIAutomationNext.Activities.NGetText
UI 要素からテキストを抽出してコピーします。
このアクティビティは [アプリケーション/ブラウザーを使用] アクティビティに追加する必要があります。
このアクティビティを [アプリケーション/ブラウザーを使用] アクティビティの外で使用するには、入力要素を指定する必要があります。
このアクティビティはオブジェクト リポジトリに対応しています。
- 作業スコープ - 自動化対象の Web アプリケーションを表示するブラウザー タブを選択します。
-
画面上でターゲットを指定 - ターゲットとして使用する UI 要素を指定します。
ターゲットを指定したら、プラス ボタンをクリックします。以下のオプションが表示されます。
- 画面上でターゲットを指定 - ターゲットをもう一度指定します。
- ターゲットを編集 - 選択モードを開いて、ターゲットを設定します。
Proprieties panel
入力/出力
- テキスト値 - 指定された UI 要素からのテキストを変数に格納できます。このフィールドで作成される変数は
String型です。 - 文字情報 - 画面座標など、取得したテキストの追加情報は、このフィールドで指定した変数に保存されます。このフィールドでは
NWordInfo型の変数のみがサポートされています。 - 入力要素 - アクティビティの実行対象となる UI 要素で、
UIElementオブジェクトに保存されます。このフィールドではUIElementオブジェクトのみがサポートされています。このオブジェクトは、他の UI Automation アクティビティの [出力要素] プロパティ フィールドから取得できます。 - 出力要素 - ターゲット UI 要素を出力して、
UIElementオブジェクトに保存し、他のアクティビティで同じ要素をターゲットとして使用できるようにします。
- スクレイピング メソッド - 使用するスクレイピング メソッドを示します。次のオプションを使用できます。
- 既定 - 使用できるスクレイピング メソッド ([テキスト属性]、[フル テキスト] の順) を確認し、データが返される最初のメソッドで停止します。テキストが返されても正しいテキストが返されない場合にのみ、既定のメソッドを変更する必要があります。既定のメソッドで何も返されない場合は、他のスクレイピング メソッドでも同様です。
- テキスト属性 - 指定した UI 要素のテキスト属性値を抽出します。
- フルテキスト - UI 要素とその子要素のフル テキストを抽出します。このメソッドは、複数の子要素を含むコンテナー要素のフル テキストを抽出する場合に便利です。
- OCR - Extracts the text using the OCR engine.
- Scraping options:
- Text formatting
- Ignore hidden text
- Word coordinates
- Healing Agent モード - プロセス レベルまたはジョブ レベルでのガバナンスまたは Orchestrator の設定に基づいて、このアクティビティでの Healing Agent の動作を設定します。
- 無効化 - このアクティビティの Healing Agent をオフにします。
- ジョブの設定を継承 - ガバナンスまたは Orchestrator で定義された設定を、プロセス レベルまたはジョブ レベルで適用します。
- 推奨事項のみ - Healing Agent が、実行中のジョブの UI Automation の問題を修正するための推奨事項を提供できるようにします。ただし、ガバナンスまたは Orchestrator の設定で許可されている場合に限ります。
- アプリ/ブラウザーと同一 - 親の [アプリケーション/ブラウザーを使用] アクティビティの設定を継承します。
- Continue on error - Specifies if the automation should continue even when the activity throws an error. This field only supports Boolean values (True, False). The default value is False. As a result, if the field is blank and an error is thrown, the execution of the project stops. If the value is set to True, the execution of the project continues regardless of any error.
- Expand target properties - Display target and anchor properties. This will hide the other activity properties and display only those related to the target.
- Collapse target properties - Hide target and anchor properties. This will hide target related properties and display the activity properties.
- ターゲット メソッド - 要素の識別に使用するセレクターの種類です。このプロパティには、ドロップダウン メニュー内の任意の組み合わせを設定できます。
- None
- Strict selector - The strict selector generated for the target UI element.
- Fuzzy selector - The fuzzy selector parameters.
-
Computer Vision - ターゲット メソッドとして Computer Vision を使用するには、[プロジェクト設定] > [Computer Vision] に移動し、正しいサーバー エンドポイントを設定する必要があります。このフィールドはそのままにして、既定で入力されている「UiPath Cloud」を使用するか、他のパブリック エンドポイントを選択して別の値を入力できます。別の値を入力する場合、サーバー リージョンまたは独自のオンプレミス サーバー専用のエンドポイントを選択します。
Another way of using Computer Vision as a targeting method is to set Use Local Server to True. This implies that the UiPath.ComputerVision.LocalServer package is installed in your project. When Local Server is enabled, the server value is over-written. However, the Local Server is not available in cross-platform projects.
- CV コントロールの種類 - Computer Vision で識別するコントロールの種類を指定します。
- CV テキスト - Computer Vision で識別するテキストを指定します。
- CV Text occurrence - Indicates a specific occurrence to be used, when multiple matches are found.
- CV Text accuracy - Indicates the accuracy level for OCR text matching.
- Semantic selector - Leverages large language models (LLMs) to generate functional, human-like descriptions of UI elements. These descriptions are highly reliable making them adaptable to UI changes and significantly improving automation resilience when traditional selectors fail.
- Image (Windows only)
- Image accuracy - Indicates the accuracy level for image matching.
- Image occurrence - Indicates a specific occurrence to be used, when multiple matches are found.
- Native text (Windows only)
- Native text - The text to find to identify the UI element.
- Native text occurrence - Indicates a specific occurrence to be used, when multiple matches are found.
- Window selector (Application instance) - Selector for the application window. Only applicable when window attach mode is set to application instance.
- Wait for page load - Before performing the action, wait for the application to becaome ready to accept input. The options are:
- なし - ターゲットの準備ができるまで待機しません。
- 対話型 - アプリの一部のみが読み込まれるまで待機します。
- 完了 - アプリ全体が読み込まれるまで待機します。
- Visibility check - When enabled, the activity also checks whether the UI element is visible or not. You can choose one of three options from the drop-down menu:
- なし - 可視性を確認しません。
- 対話型 (あいまいセレクター用) - 既定のオプションです。要素が表示される可能性があるかどうかを確認します。確認時、ページをスクロールしないと表示されない、他のアプリで隠れている、アプリケーションが最小化されているという点は無視されます。この確認は、DOM に存在するものの表示されていない非表示の要素をターゲット要素として設定しないようにする場合に便利です。
- 完全に表示されている - UI 要素が表示されるかどうかを確認します。
- レスポンシブ対応の Web サイト - レスポンシブ対応の Web サイトのレイアウトを有効化します。
Target - Clipping region
- アンカー ポイント - [X のオフセット] プロパティと [Y のオフセット] プロパティで設定したオフセットが追加される、カーソルの開始位置を表します。指定できるオプションは、TopLeft、 TopRight、BottomLeft、BottomRight および Center です。既定では、Center が選択されています。
- X のオフセット - カーソルの位置を、[アンカー ポイント] プロパティで選択した位置から水平方向にずらす距離を指定します。既定値は 300 秒です。このフィールドは、Int32 型変数のみをサポートします。
- Y のオフセット - カーソルの位置を、[アンカー ポイント] プロパティで選択した位置から垂直方向にずらす距離を指定します。既定値は 300 秒です。このフィールドは、Int32 型変数のみをサポートします。
- Offset width - Width of the offset region.
- Offset height - Height of the offset region.
タイミング
-
実行前の待機時間 - 前のアクティビティが完了してから、現在のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.2 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
実行後の待機時間 - 現在のアクティビティが完了してから、次のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.3 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
タイムアウト - エラーを発生させる前にアクティビティの実行を待機する時間を秒単位で指定します。既定値は 30 秒です。
-
[アプリ/ブラウザーで指定] を選択して、ターゲットとして使用する UI 要素を指定します。
ターゲットを指定したら、メニュー
ボタンをクリックします。以下のオプションが表示されます。
- 画面上でターゲットを指定 - ターゲットをもう一度指定します。
- ターゲットを編集 - 選択モードを開いて、ターゲットを設定します。
- 参考スクリーンショットを削除 - 対象のアプリケーションまたは Web ページのスクリーンショットを削除します。
- オブジェクト リポジトリに追加 - 現在の UI 要素をライブラリ プロジェクトに追加し、オートメーション プロセス全体で要素を再利用することができます。
- 抽出プレビュー - [テキストを取得] - 抽出結果のプレビュー ウィザードが開き、ターゲットから取得したテキストをリアルタイムで確認できます。
- 保存先 - 指定された UI 要素からのテキストを変数に格納できます。このフィールドで作成される変数は
String型です。
抽出結果のプレビュー
[テキストを取得] - 抽出結果のプレビュー ウィザードでは、使用するスクレイピング メソッドを選択し、選択したメソッドを使用して表示されるテキストをリアルタイムで表示できます。抽出されたテキストは [抽出結果のプレビュー] テキスト ボックスに表示され、[クリップボードにコピー] ボタンを使用してコピーできます。
ウィザードを使用しない場合、すべてのスクレイピング メソッドが既定で試行され、最適なメソッドが自動的に選択されます。[抽出結果のプレビュー] ウィンドウでスクレイピング メソッドを選択すると、このメカニズムが上書きされ、そのメソッドのみが使用されるようになります。
次のメソッドを使用できます。
- 既定 (Default)
- テキスト属性
- フルテキスト - このメソッドには [非表示のテキストを無視] オプションがあります。このオプションは、該当するチェック ボックスをオンにしてアクティブ化できます。
- ネイティブ - このメソッドでは、書式設定を許可し、各単語の画面座標を取得できます。それには、各機能のチェック ボックスをオンにします。
スクレイピングに使用するメソッドを選択した後、[保存して閉じる] をクリックすると、ウィザードが閉じて、アクティビティの [プロパティ] パネルで加えた変更が反映されます。
プロパティ パネル
共通
-
エラー発生時に実行を継続 - アクティビティでエラーが発生した場合でも、オートメーションを継続するかどうかを指定します。このフィールドでは、
Boolean値 (True、False) のみがサポートされています。既定値は False です。そのため、フィールドが空白でエラーが発生すると、プロジェクトの実行が停止します。値を True に設定すると、プロジェクトの実行はエラーに関係なく継続されます。 -
実行後の待機時間 - 現在のアクティビティが完了してから、次のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.3 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
実行前の待機時間 - 前のアクティビティが完了してから、現在のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.2 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
表示名 - デザイナー パネルに表示される、アクティビティの名前です。表示名は、ターゲットを指定すると自動的に生成されます。
-
タイムアウト - エラーを発生させる前にアクティビティの実行を待機する時間を秒単位で指定します。既定値は 30 秒です。
ドロップダウン メニューから、あらかじめ定義された値 (10 (s)、20 (s)、または 30 (s) のいずれか) を選択することもできます。
-
- 既定 - 使用できるスクレイピング メソッド ([テキスト属性]、[フル テキスト] の順) を確認し、データが返される最初のメソッドで停止します。テキストが返されても正しいテキストが返されない場合にのみ、既定のメソッドを変更する必要があります。既定のメソッドで何も返されない場合は、他のスクレイピング メソッドでも同様です。
- テキスト属性 - 指定した UI 要素のテキスト属性値を抽出します。
- フルテキスト - UI 要素とその子要素のフル テキストを抽出します。このメソッドは、複数の子要素を含むコンテナー要素のフル テキストを抽出する場合に便利です。
- ネイティブ - 指定した UI 要素に対して表示されるテキストを抽出します。
-
注: このアクティビティのターゲットとしてオンになっているチェック ボックスを指定した場合、返されるテキストは
checkedになります。このアクティビティのターゲットとして画像を指定した場合、画像のaltテキストが返されます。- CV コントロールの種類 - Computer Vision で識別するコントロールの種類を指定します。
- CV テキスト - Computer Vision で識別するテキストを指定します。
- あいまいセレクター - あいまいセレクターのパラメーターです。
- ネイティブ テキスト - UI 要素の識別に使用されるテキストです。
- レスポンシブ対応の Web サイト - レスポンシブ対応の Web サイトのレイアウトを有効化します。
- 厳密セレクター - UI 要素に対して生成される厳密セレクターです。
- ターゲット メソッド - 要素の識別に使用するセレクターの種類です。このプロパティには、ドロップダウン メニュー内の任意の組み合わせを設定できます。
- None
- 厳密セレクター
- あいまいセレクター
- 画像
- ネイティブ テキスト
- Computer Vision - ターゲット メソッドとして Computer Vision を使用するには、[プロジェクト設定] > [Computer Vision] に移動し、正しいサーバー エンドポイントを設定する必要があります。このフィールドはそのままにして、既定で入力されている「UiPath Cloud」を使用するか、他のパブリック エンドポイントを選択して別の値を入力できます。別の値を入力する場合、サーバー リージョンまたは独自のオンプレミス サーバー専用のエンドポイントを選択します。
Computer Vision をターゲット メソッドとして使用するもう 1 つの方法は、[ローカル サーバーを使用] を [True] に設定することです。これは、UiPath.ComputerVision.LocalServer パッケージがプロジェクトにインストールされていることを意味します。ローカル サーバーが有効な場合、サーバーの値は上書きされます。ただし、ローカル サーバーはクロスプラットフォーム プロジェクトでは利用できません。
- セマンティック セレクター - 大規模言語モデル (LLM) を活用して、人間が書くような UI 要素の機能的な記述を生成します。これらの記述は信頼性が高いため、UI の変更に適応でき、従来のセレクターが失敗した場合のオートメーションの回復性が大幅に向上します。
- 可視性を確認 - UI 要素が表示されているかどうかを確認します。ドロップダウン メニューの次の 3 つのオプションのいずれかを選択できます。
- なし - 可視性を確認しません。
- 対話型 (あいまいセレクター用) - 既定のオプションです。要素が表示される可能性があるかどうかを確認します。確認時、ページをスクロールしないと表示されない、他のアプリで隠れている、アプリケーションが最小化されているという点は無視されます。この確認は、DOM に存在するものの表示されていない非表示の要素をターゲット要素として設定しないようにする場合に便利です。
- 完全に表示されている - UI 要素が表示されるかどうかを確認します。
- ページの読み込みを待機 - アプリケーションが入力を受け入れる準備が完了するまで、アクションの実行を待機します。ドロップダウン メニューの次の 3 つのオプションのいずれかを選択できます。
- なし - ターゲットの準備ができるまで待機しません。
- 対話型 - アプリの一部のみが読み込まれるまで待機します。
- 完了 - アプリ全体が読み込まれるまで待機します。
- ウィンドウ セレクター (アプリケーション インスタンス) - アプリケーション ウィンドウに使用されるセレクターです。[ウィンドウ アタッチ モード] が [アプリケーション インスタンス] に設定されている場合にのみ適用されます。
- 入力要素 - アクティビティの実行対象となる UI 要素で、
UIElementオブジェクトに保存されます。このフィールドではUIElementオブジェクトのみがサポートされています。このオブジェクトは、他の UI Automation アクティビティの [出力要素] プロパティ フィールドから取得できます。 - 出力要素 - ターゲット UI 要素を出力して、
UIElementオブジェクトに保存し、他のアクティビティで同じ要素をターゲットとして使用できるようにします。
- プライベート - オンにすると、変数および引数の値が Verbose レベルでログに出力されなくなります。このフィールドでは、
Boolean値 (True、False) のみがサポートされています。既定値は False です。
- テキスト - デザイナー パネルの [保存先] の説明をご覧ください。
- 文字情報 - 画面座標など、取得したテキストの追加情報は、このフィールドで指定した変数に保存されます。このフィールドでは
NWordInfo型の変数のみがサポートされています。