- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-DBP-031 - アクティビティの検証
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- アプリケーション イベント トリガー
- ユーザー入力をブロック
- チェック/チェック解除
- アプリのステートを確認
- 要素を確認
- クリック
- クリック イベント トリガー
- ドラッグ アンド ドロップ
- 表データを抽出
- 繰り返し (各 UI 要素)
- ブラウザーのデータを取得
- クリップボードを取得
- テキストを取得
- URL を取得
- URL に移動
- 強調表示
- ホバー
- JS スクリプトを挿入
- キーボード ショートカット
- キー押下イベント トリガー
- マウス スクロール
- ブラウザー内を移動
- 項目を選択
- ブラウザーのデータを設定
- クリップボードに設定
- ランタイム ブラウザーを設定
- フォーカスを設定
- テキストを設定
- スクリーンショットを作成
- 文字を入力
- ユーザー入力のブロックを解除
- アプリケーション/ブラウザーを使用
- ウィンドウ操作
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル

UI Automation のアクティビティ
UiPath.UIAutomationNext.Activities.NTakeScreenshot
指定した UI 要素またはアプリケーションのスクリーンショットを作成して、画像ファイルとして保存します。
このアクティビティは、[アプリケーション/ブラウザーを使用] アクティビティの内部と外部の両方で使用できます。
[アプリケーション/ブラウザーを使用] アクティビティの内部に追加した場合、対象のアプリケーションのみがキャプチャされます。アプリケーション カードの外部に追加した場合は、ターゲットが指定されないため、デスクトップ全体がキャプチャされます。
このアクティビティはオブジェクト リポジトリに対応しています。
- 作業スコープ - 自動化対象の Web アプリケーションを表示するブラウザー タブを選択します。
-
画面上でターゲットを指定 - ターゲットとして使用する UI 要素を指定します。
ターゲットを指定したら、プラス ボタンをクリックします。以下のオプションが表示されます。
- 画面上でターゲットを指定 - ターゲットをもう一度指定します。
- ターゲットを編集 - 選択モードを開いて、ターゲットを設定します。
- スクリーンショットの対象範囲 - [ページ全体] または [要素] を選択して、ページ全体のスクリーンショットを作成するか、1 つの要素のスクリーンショットを作成するかを選択します。既定のオプションは [ページ全体] です。
- Output to (for Windows) - Use the radio buttons to choose the output type:
- ファイル - スクリーンショットを指定した場所にあるファイルに保存します。既定のオプションです。
- 画像 - スクリーンショットを指定した画像に保存します。
- クリップボード - 後から使用するために、スクリーンショットをクリップボードに画像として保存します。
- ファイル名 - 指定した UI 要素のスクリーンショットを保存するファイルの名前です。
- 自動インクリメント - ファイル名が競合する際、ファイル名に追加する文字列を定義します。ドロップダウン メニューから以下のいずれかのオプションを選択します。
- なし (上書き) - ファイル名は指定した値と完全に一致します。同じ名前の別のファイルが既に存在する場合は、そのファイルが上書きされます。これは既定のオプションです。
- インデックス - パターン
Filename (XX)と一致するファイルが既に 1 つまたは複数存在する場合、新しく作成されるファイルの名前はFilename (N+1)となります。N は既存ファイルの最大のインデックスを示します。 - YYYY.MM.DD at HH.MM.SS - 指定した名前のファイルが 1 つ既に存在する場合は、
Filename YYYY.MM.DD at HH.MM.SSという名前で新しいファイルが作成されます。Filename YYYY.MM.DD at HH.MM.SSという名前のファイルが既に存在し、インデックスが追加されている場合は、[インデックス] の場合と同様にFilename YYYY.MM.DD at HH.MM.SS (1)というファイルが生成されます。
プロパティ パネル
入力/出力
- スクリーンショットのファイル -
.pngファイルとして保存されるスクリーンショットです。 - Input element - The UI element on which the activity is executed, stored in an UIElement object. This field supports only UIElement objects. This object can be obtained from the Output Element property field of other UI Automation activities.
- Output element - Outputs a target UI Element and stores it in a UIElement object, which can be further used to target the same element with other activities.
オプション
- Healing Agent モード - プロセス レベルまたはジョブ レベルでのガバナンスまたは Orchestrator の設定に基づいて、このアクティビティでの Healing Agent の動作を設定します。
- 無効化 - このアクティビティの Healing Agent をオフにします。
- ジョブの設定を継承 - ガバナンスまたは Orchestrator で定義された設定を、プロセス レベルまたはジョブ レベルで適用します。
- 推奨事項のみ - Healing Agent が、実行中のジョブの UI Automation の問題を修正するための推奨事項を提供できるようにします。ただし、ガバナンスまたは Orchestrator の設定で許可されている場合に限ります。
- アプリ/ブラウザーと同一 - 親の [アプリケーション/ブラウザーを使用] アクティビティの設定を継承します。
-
エラー発生時に実行を継続 - アクティビティでエラーが発生した場合でも、オートメーションを継続するかどうかを指定します。このフィールドでは、
Boolean値 (True、False) のみがサポートされています。既定値は False です。そのため、フィールドが空白でエラーが発生すると、プロジェクトの実行が停止します。値を True に設定すると、プロジェクトの実行はエラーに関係なく継続されます。
-
実行前の待機時間 - 前のアクティビティが完了してから、現在のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.2 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
実行後の待機時間 - 現在のアクティビティが完了してから、次のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.3 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
タイムアウト - エラーを発生させる前にアクティビティの実行を待機する時間を秒単位で指定します。既定値は 30 秒です。
-
[アプリ/ブラウザーで指定] を選択して、ターゲットとして使用する UI 要素を指定します。
ターゲットを指定したら、メニュー
ボタンをクリックします。以下のオプションが表示されます。
- 画面上でターゲットを指定 - ターゲットをもう一度指定します。
- ターゲットを編集 - 選択モードを開いて、ターゲットを設定します。
- 参考スクリーンショットを削除 - 対象のアプリケーションまたは Web ページのスクリーンショットを削除します。
- オブジェクト リポジトリに追加 - 現在の UI 要素をライブラリ プロジェクトに追加し、オートメーション プロセス全体で要素を再利用することができます。
-
出力先 - ラジオ ボタンを使用して、出力の種類を選択します。
- ファイル - スクリーンショットを指定した場所にあるファイルに保存します。既定のオプションです。
- 画像 - スクリーンショットを指定した画像に保存します。
- クリップボード - 後から使用するために、スクリーンショットをクリップボードに画像として保存します。
- File Name - The name of the file where the screenshot of the specified UI element is saved. Click Browse for File, then browse to the folder where to save the screenshot, and specify the file name and extension to use.
-
自動インクリメント - ファイル名が競合する場合に、スクリーンショットの保存時にファイル名に追加する文字列を選択します。たとえば、保存するファイルと同じ名前のファイルが既に存在する場合、[インデックス] を選択するとファイル名は保持され、スクリーンショットごとに新しいファイルが作成され、それぞれに連続するインデックス番号が追加されます。
- なし (上書き) - 同じ名前のファイルが既に存在する場合は置き換えます。
- インデックス - ファイル名に数値を追加します (例:
screenshot (1).png)。 - YYYY.MM.DD at HH.MM.SS - スクリーンショットの作成日時をファイル名に追加します (例:
screenshot 2020.06.22 at 10:22:32)。
プロパティ パネル
共通
-
エラー発生時に実行を継続 - アクティビティでエラーが発生した場合でも、オートメーションを継続するかどうかを指定します。このフィールドでは、
Boolean値 (True、False) のみがサポートされています。既定値は False です。そのため、フィールドが空白でエラーが発生すると、プロジェクトの実行が停止します。値を True に設定すると、プロジェクトの実行はエラーに関係なく継続されます。 -
実行後の待機時間 - 現在のアクティビティが完了してから、次のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.3 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
実行前の待機時間 - 前のアクティビティが完了してから、現在のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.2 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
-
表示名 - デザイナー パネルに表示される、アクティビティの名前です。表示名は、ターゲットを指定すると自動的に生成されます。
-
タイムアウト - エラーを発生させる前にアクティビティの実行を待機する時間を秒単位で指定します。既定値は 30 秒です。
- 自動インクリメント - デザイナー パネルの [自動インクリメント] の説明をご覧ください。
- ファイル名 - デザイナー パネルの [ファイル名] の説明をご覧ください。
-
ターゲット - ターゲット要素です。ターゲット要素を設定する必要があります。画面で指定する前は、このフィールドは
(null)に設定されています。ターゲットを指定すると、指定した要素に関連するすべてのプロパティが表示されます。- CV コントロールの種類 - Computer Vision で識別するコントロールの種類を指定します。
- CV テキスト - Computer Vision で識別するテキストを指定します。
- あいまいセレクター - あいまいセレクターのパラメーターです。
- ネイティブ テキスト - UI 要素の識別に使用されるテキストです。
- レスポンシブ対応の Web サイト - レスポンシブ対応の Web サイトのレイアウトを有効化します。
- 厳密セレクター - UI 要素に対して生成される厳密セレクターです。
- ターゲット メソッド - 要素の識別に使用するセレクターの種類です。このプロパティには、ドロップダウン メニュー内の任意の組み合わせを設定できます。
- None
- 厳密セレクター
- あいまいセレクター
- 画像
- ネイティブ テキスト
- Computer Vision - ターゲット メソッドとして Computer Vision を使用するには、[プロジェクト設定] > [Computer Vision] に移動し、正しいサーバー エンドポイントを設定する必要があります。このフィールドはそのままにして、既定で入力されている「UiPath Cloud」を使用するか、他のパブリック エンドポイントを選択して別の値を入力できます。別の値を入力する場合、サーバー リージョンまたは独自のオンプレミス サーバー専用のエンドポイントを選択します。
Computer Vision をターゲット メソッドとして使用するもう 1 つの方法は、[ローカル サーバーを使用] を [True] に設定することです。これは、UiPath.ComputerVision.LocalServer パッケージがプロジェクトにインストールされていることを意味します。ローカル サーバーが有効な場合、サーバーの値は上書きされます。ただし、ローカル サーバーはクロスプラットフォーム プロジェクトでは利用できません。
- セマンティック セレクター - 大規模言語モデル (LLM) を活用して、人間が書くような UI 要素の機能的な記述を生成します。これらの記述は信頼性が高いため、UI の変更に適応でき、従来のセレクターが失敗した場合のオートメーションの回復性が大幅に向上します。
- 可視性を確認 - UI 要素が表示されているかどうかを確認します。ドロップダウン メニューの次の 3 つのオプションのいずれかを選択できます。
- なし - 可視性を確認しません。
- 対話型 (あいまいセレクター用) - 既定のオプションです。要素が表示される可能性があるかどうかを確認します。確認時、ページをスクロールしないと表示されない、他のアプリで隠れている、アプリケーションが最小化されているという点は無視されます。この確認は、DOM に存在するものの表示されていない非表示の要素をターゲット要素として設定しないようにする場合に便利です。
- 完全に表示されている - UI 要素が表示されるかどうかを確認します。
- ページの読み込みを待機 - アプリケーションが入力を受け入れる準備が完了するまで、アクションの実行を待機します。ドロップダウン メニューの次の 3 つのオプションのいずれかを選択できます。
- なし - ターゲットの準備ができるまで待機しません。
- 対話型 - アプリの一部のみが読み込まれるまで待機します。
- 完了 - アプリ全体が読み込まれるまで待機します。
- ウィンドウ セレクター (アプリケーション インスタンス) - アプリケーション ウィンドウに使用されるセレクターです。[ウィンドウ アタッチ モード] が [アプリケーション インスタンス] に設定されている場合にのみ適用されます。
- 入力要素 - アクティビティの実行対象となる UI 要素で、
UIElementオブジェクトに保存されます。このフィールドではUIElementオブジェクトのみがサポートされています。このオブジェクトは、他の UI Automation アクティビティの [出力要素] プロパティ フィールドから取得できます。 - 出力要素 - ターゲット UI 要素を出力して、
UIElementオブジェクトに保存し、他のアクティビティで同じ要素をターゲットとして使用できるようにします。
- プライベート - オンにすると、変数および引数の値が Verbose レベルでログに出力されなくなります。このフィールドでは、
Boolean値 (True、False) のみがサポートされています。既定値は False です。
- 保存先のファイル パス - 追加されたサフィックスを含む (該当する場合)、スクリーンショットを保存するファイルのフル パスです。[自動インクリメント] プロパティがインデックス付きのスクリーンショット ファイルを保存する場所も指定します。
- 保存された画像 - 画像として保存されるスクリーンショットです。出力を [画像] に設定した場合に使用します。