- 概要
- UI Automation
- UI Automation アクティビティ パッケージについて
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-DBP-031 - アクティビティの検証
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- アクセシビリティ チェック
- アプリケーション イベント トリガー
- ユーザー入力をブロック
- チェック/チェック解除
- アプリのステートを確認
- 要素を確認
- クリック
- クリック イベント トリガー
- ドラッグ アンド ドロップ
- 表データを抽出
- 要素を探す
- 繰り返し (各 UI 要素)
- ブラウザーのデータを取得
- クリップボードを取得
- テキストを取得
- URL を取得
- URL に移動
- 強調表示
- ホバー
- JS スクリプトを挿入
- キーボード ショートカット
- キー押下イベント トリガー
- マウス スクロール
- ブラウザー内を移動
- 画像を保存
- 項目を選択
- ブラウザーのデータを設定
- クリップボードに設定
- ランタイム ブラウザーを設定
- フォーカスを設定
- テキストを設定
- スクリーンショットを作成
- 文字を入力
- ユーザー入力のブロックを解除
- アプリケーション/ブラウザーを使用
- ウィンドウ操作
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル

UI Automation アクティビティ
テキスト オートメーションの使用例
テキスト認識のアクティビティを使用したプロセス オートメーションの例を紹介するため、ここでは、Internet Explorer を開いて米ドルに関連した為替レートの履歴の表のある Wikipedia 記事に移動するオートメーションを作成しました。これは、近年の表からデータを抽出して [出力] パネルに表示し、通貨 Euro が表で見つかるかチェックします。
Web オートメーションは、Internet Explorer 11 以上、Mozilla Firefox 50 以上、または Google Chrome の最新バージョンで実行することを推奨します。
- Internet Explorer を開き、https://en.wikipedia.org/wiki/Tables_of_historical_exchange_rates_to_the_United_States_dollar#Table_for_recent_years にアクセスします。
- Studio で、新しいオートメーション プロセスを作成します。
- [ アクティビティ] パネルから デザイナー パネルに[ブラウザーを開く] アクティビティを追加して、[ URL] フィールドに「
"https://en.wikipedia.org/wiki/Tables_of_historical_exchange_rates_to_the_United_States_dollar#Table_for_recent_years"」と入力します。
- [デザイン] リボン タブの [ウィザード] グループで、[データ スクレイピング] を選択します。抽出ウィザードが表示されます。
- [次へ] をクリックして Web ページ上の近年の表からセルを選択し、全体の表からデータを抽出するようにプロンプトが表示されたら、[はい] をクリックします。データのプレビューがデータのプレビュー ウィザードの手順に表示されます。
- [結果の最大数] フィールドで 200 と入力し、[完了] をクリックします。表には多数のエントリが含まれており、表全体が抽出されるようにするため、これを行う必要があります。
- データは複数のページにまたがらないため、[ 次のリンクを表示する ] で [いいえ ] をクリックします。プロセスが更新され、[ データ スクレイピング] シーケンスが デザイナー パネルに表示されます。このシーケンスでは、表の内容を取得する[データを抽出] アクティビティを含む [ ブラウザーにアタッチ] アクティビティが生成されます。データは自動的に生成される DataTable 変数
ExtractDataTableに格納されます。

-
範囲をシーケンスに設定した
GetTextと呼ばれる新しい文字列変数を作成します。 -
[ ブラウザーにアタッチ] アクティビティの[Do] コンテナー内で、[ データを抽出] アクティビティの後に [ データ テーブルを出力] アクティビティを追加します。このアクティビティは [ 出力 ] パネルに表示できる文字列に表のデータを変換します。
-
[データ テーブルを出力] アクティビティを選択し [データ テーブル] フィールドに
ExtractDataTable変数を追加し、[テキスト] フィールドにGetText変数を追加します。 -
[ データ テーブルを出力] アクティビティの後に[1
GetText行を書き込み] アクティビティを追加し、[ テキスト] フィールドに 変数を追加します。このように、表から抽出されたデータが [出力 ] パネルに書き込まれます。
-
[データ スクレイピング] シーケンスの後に [ 待機] アクティビティを追加し、[ 期間] プロパティを
00:00:03(3 秒) に設定します。この遅延の目的は、次のアクティビティの実行前に Web ページが完全に読み込まれるようにすることです。
-
[変数] パネルで
GetExistsという新しい変数を作成し、その型を Boolean に、範囲をシーケンスに設定します。 -
[テキストの存在を確認] アクティビティを [待機] アクティビティの後に追加し、[テキスト] フィールドに「
"Euro"」と入力します。[ 画面上で指定 ] ボタンをクリックしてから、前に開いたブラウザー ページで Euro を含む表のセルをクリックします。UI 要素のセレクターが生成されます。この場合、アクティビティは表に単語 [Euro] が見つかったかどうかをチェックします。
-
[テキストの存在を確認] アクティビティを選択し、[プロパティ] パネルの [存在を確認] フィールドに
GetExists変数を挿入します。 -
[ 条件分岐 (if)] アクティビティの [ Then] セクションと [ Else] セクションの 2 か所に [ メッセージ ボックス] アクティビティを追加します。
- [Then] セクションの [メッセージ ボックス] アクティビティを選択して、[テキスト] フィールドに
"Euro appears in the table."と入力します。このメッセージは、表にEuroという単語が見つかった場合に表示されます。 - [Else] セクションの [メッセージ ボックス] アクティビティを選択して、[テキスト] フィールドに
"Euro does not appear in the table."と入力します。このメッセージは、表にEuroという単語が見つからなかった場合に表示されます。
- [Then] セクションの [メッセージ ボックス] アクティビティを選択して、[テキスト] フィールドに
ワークフローは次のようになります。

- F5 キーを押し、プロジェクトを実行します。最近の為替レートの表からのデータが抽出されて [出力] パネルに表示されます。メッセージ ボックスが表示され、
Euroが見つかったかどうかを通知します。