- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation のアクティビティ
画像が消滅したとき
UiPath.Core.Activities.OnImageVanish
画像が表示されなくなるまで待機するコンテナーであり、他のアクティビティを実行できます。
入力
- Image.Image - 検索する既存の画像です。このフィールドでは Image 変数のみサポートされています。
- Image.Accuracy - 検索しようとする画像と実際に見つける画像との間の最低限の類似度を表す 0 ~ 1 の測定単位です。見つける画像が検索しようとする画像とわずかに異なる場合に便利です。既定値は 0.8 です。
- Image.Profile - 使用する画像検出アルゴリズムを変更することができます。 Basic は、平均的な速度とリソースコストを持つ古典的なアルゴリズムです。 Enhanced は、より多くのリソースを犠牲にして、より正確な結果を提供することができます。既定では、このフィールドはBasic に設定されています。
- Target.Selector - アクティビティの実行時に特定の UI 要素の検索に使用する Text プロパティです。実際には、検索しようとする GUI 要素とそのいくつかの親要素の属性を指定する XML フラグメントです。
- Target.TimeoutMS - アクティビティの実行が完了するまで待機する時間をミリ秒で指定します。指定した時間が経過しても実行が完了しない場合には、
SelectorNotFoundException
例外をスローします。既定値は 30000 ミリ秒 (30 秒) です。 -
Target.WaitForReady - アクションを実行する前に、ターゲットが準備完了になるまで待ちます。次のオプションを使用できます。
- NONE - ターゲット要素以外の要素の読み込みを待たずに、アクションを実行します。たとえば、UI 要素がすべて読み込まれるまで待つことなく、Web ページからテキストを取得したり、特定のボタンをクリックしたりする場合に、このオプションを使用できます。ボタンがまだ読み込まれていない要素 (スクリプトなど) に依存している場合、これは望ましくない結果を招く可能性があります。
-
Interactive/Complete - 実際に操作を実行する前に、対象アプリのすべての UI 要素が存在するようになるまで待ちます。
アプリケーションが対話または完了のどちらのステートにあるか調べるには、以下のタグを検証します。
- Desktop applications -
<wnd>
タグ、<ctrl>
タグ、<java>
タグ、または<uia>
タグの存在を確認するためにwm_null
メッセージが送信されます。存在する場合、アクティビティが実行されます。 - Web アプリケーション:
- Internet Explorer -
<webctrl>
タグは、HTML ドキュメントの Ready ステートが Complete に設定されているかどうかを確認するために使用されます。また、Busy ステートは「False」に設定されている必要があります。 - Others -
<webctrl>
タグは、HTML ドキュメントの Ready ステートが Complete であるかどうかを確認するために使用されます。
- SAP applications - 最初に
<wnd>
タグを確認した後、SAP 固有の API を使用して、セッションがビジーかどうかを検出します。
- Target.Element - 別のアクティビティから返される UiElement 変数を使用します。このプロパティを Selector プロパティと一緒に使用することはできません。このフィールドでは UiElement 変数のみサポートされています。
- Target.ClippingRegion - UiElement を基準とし、左、上、右、下の方向で、クリッピング四角形 (ピクセル単位) を定義します。正と負の両方の値をサポートしています。
共通
- 表示名 - アクティビティの表示名です。
-
エラー発生時に実行を継続 - アクティビティが例外をスローした場合でも、ワークフローを継続するかどうかを指定します。このフィールドでは Boolean 値 (True、False) のみサポートされています。既定値は False です。その結果、フィールドが空白で例外がスローされると、プロジェクトの実行が停止します。値を True に設定すると、プロジェクトの実行はエラーに関係なく継続されます。
注: このアクティビティが [トライ キャッチ] に含まれていて、[エラー発生時に実行を継続] プロパティの値が True の場合、プロジェクトが実行されたときにエラーは発生しません。
オプション
- 無限に繰り返す - アクティビティでイベントを継続的に監視するかどうかを指定します。このフィールドでは Boolean 値 (True、False) のみサポートされています。True - 指定した画像が表示されるたびにブロックが実行されます。これが既定値です。False - アクティビティが 1 回だけ実行されます。
その他
- プライベート - オンにした場合、変数および引数の値が Verbose レベルでログに出力されなくなります。
[画像が消滅したとき] アクティビティは、特定の画像が Web サイトから消える時点をチェックします。このアクティビティは、Web サイトからのフローを確認するために使用され、オートメーション プロセスのトリガーとして使用できます。
このアクティビティの使用方法を例示するために、選択した Web サイトで速度テストを実行し、特定のパフォーマンス グレードを割り当てる例を作成しました。自動化されたプロセスはブラウザーを開き、画像が消えるタイミングを検証します。これは、テストが開始されたことを示します。 2番目の [画像が消滅したとき] アクティビティは、テストの完了を確認します。
サンプルと同等のオートメーション プロセスは以下のように構築できます。
- Studio を開いて、新しいプロセスを作成します。
-
[シーケンス] アクティビティをワークフロー デザイナーにドラッグします。
-
次の変数を作成します。
変数名
変数の型
既定値
website
文字列
-
-
[代入] アクティビティを [シーケンス] コンテナー内部にドラッグします。
- [プロパティ] パネルで、式
"Insert Website URL"
を [ラベル] フィールドに追加します。 - 式
"Website"
を Title フィールドに追加します。 - Result (値) フィールドに変数
website
を追加します。
- [プロパティ] パネルで、式
-
[ブラウザーを開く] アクティビティを、[入力ダイアログ] アクティビティの下に配置します。
- 式
"https://tools.pingdom.com"
を Url フィールドに追加します。 - [プロパティ] フィールドで、[ブラウザーの種類] ドロップダウン リストから
IE
オプションを選択します。 - [新しいセッション] オプションのチェックボックスをオンにします。これにより、選択したブラウザーの新しいセッションが開始されます。
- 式
-
[文字を入力] アクティビティを [ブラウザーを開く] アクティビティの [Do] コンテナー内にドラッグします。
- [プロパティ] パネルで、[ターゲット] ドロップダウン リストから
Target
オプションを選択します。 - 式
"<webctrl id='urlInput' tag='INPUT' />"
を Selector (セレクタ) フィールドに追加します。 - WaitForReady ドロップダウン リストから
INTERACTIVE
オプションを選択します。 - [テキスト] フィールドに変数
website
を追加します。 - [アクティベート] オプションのチェックボックスをオンにします。これにより、ブラウザーが前面に表示され、テキストが書き込まれる前にアクティブ化されます。
- [プロパティ] パネルで、[ターゲット] ドロップダウン リストから
-
[クリック] アクティビティを、[文字を入力] アクティビティの下に配置します。
- [プロパティ] パネルで、[実行後の待機時間] フィールドに値
1000
を追加します。 - [クリックの種類] ドロップダウン リストから
CLICK_SINGLE
オプションを選択します。 - MouseButton ドロップダウン リストから
BTN_LEFT
オプションを選択します。 - Target ドロップダウン リストから
Target
オプションを選択します。 - 式
"<webctrl tag='INPUT' type='submit' />"
を Selector (セレクタ) フィールドに追加します。 - WaitForReady ドロップダウン リストから
INTERACTIVE
オプションを選択します。 - CursorPosition ドロップダウン リストから
CursorPosition
オプションを選択します。 - Position ドロップダウン リストから
Center
オプションを選択します。 - KeyModifiers ドロップダウン リストから
None
オプションを選択します。
- [プロパティ] パネルで、[実行後の待機時間] フィールドに値
-
[待機] アクティビティを、[クリック] アクティビティの下にドラッグします。
- [プロパティ] パネルで、[待機期間] フィールドに値
00:00:02
を追加します。これにより、アクティビティの間に 2 秒間の遅れが許可されます。
- [プロパティ] パネルで、[待機期間] フィールドに値
-
[画像が消滅したとき] アクティビティを、[待機] アクティビティの下に配置します。
- [プロパティ] フィールドで、[画像] ドロップダウン リストから
ImageTarget
オプションを選択します。 - Accuracy (精度) フィールドに値
0.8
を追加します。 - Profile ドロップダウン リストから
Basic
オプションを選択します。 - Target ドロップダウン リストから
Target
オプションを選択します。 - WaitForReady ドロップダウン リストから
INTERACTIVE
オプションを選択します。 - RepeatForever フィールドに値
False
を追加します。
- [プロパティ] フィールドで、[画像] ドロップダウン リストから
-
新しい [画像が消滅したとき] クティビティを、前の [画像が消滅したとき] アクティビティの [Do] コンテナー内にドラッグします。
-
[プロパティ] フィールドで、[画像] ドロップダウン リストから
ImageTarget
オプションを選択します。- Accuracy (精度) フィールドに値
0.8
を追加します。 - Profile ドロップダウン リストから
Basic
オプションを選択します。 - Target ドロップダウン リストから
Target
オプションを選択します。 - 式
"<webctrl id='speedometer' tag='svg' />"
を Selector (セレクタ) フィールドに追加します。 - WaitForReady ドロップダウン リストから
INTERACTIVE
オプションを選択します。 - RepeatForever フィールドに値
False
を追加します。
- Accuracy (精度) フィールドに値
-
[画像が消滅したとき] アクティビティの [Do] コンテナーを選択して、次の変数を作成します。
変数名
変数の型
既定値
grade
文字列
-
-
[Do] コンテナー内部に [テキストを取得] アクティビティをドラッグします。
- [プロパティ] パネルで、[ターゲット] ドロップダウン リストから
Target
オプションを選択します。 - [セレクター] フィールドに式
"<html title='Pingdom Tools' /><webctrl parentname='Performance grade' tag='app-grade-badge' />"
を追加します。これにより、Web サイトからパフォーマンス グレードが取得され、その値が変数grade
に格納されます。 - WaitForReady ドロップダウン リストから
INTERACTIVE
オプションを選択します。 - Values (値) フィールドに変数
grade
を追加します。
- [プロパティ] パネルで、[ターゲット] ドロップダウン リストから
-
[メッセージ ボックス] アクティビティを、[テキストを取得] アクティビティの下に配置します。
- [プロパティ] パネルで、[ボタン] ドロップダウン リストから
Ok
オプションを選択します。 - 式
"Performance Grade is " + grade
を Text (テキスト) フィールドに追加します。これにより、提供した Web サイトにより取得したグレードが表示されます。 - TopMost オプションのチェックボックスをします。メッセージ ボックスが常に前面に表示されます。
- [プロパティ] パネルで、[ボタン] ドロップダウン リストから
-
プロセスを実行します。ロボットは、Web サイトのアドレスを入力するよう求め、新しいブラウザーを開いて、www.pingdom.com Web サイトにアクセスし、追加したアドレスのパフォーマンスを検証し、パフォーマンス グレードが記載されたメッセージ ボックスを返します。