- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- Activities index
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation のアクティビティ
画像を検索する
以下の例は、異なる名前を持つ同じ画像の出現回数を識別する方法を説明しています。[一致する画像を探す] および [画像を探す] などのアクティビティを使用します。これらのアクティビティは、UiPath.UIAutomation.Activities パッケージに含まれています。
サンプルと同等のオートメーション プロセスは以下のように構築できます。
-
Studio を開いて、新しいプロセスを作成します。
注: この例を実行するには、定義済みのデザインを備えたシンプルな Web ページが必要です。必ず独自の Web ページを作成/使用するか、ダウンロード可能な例で提供されている Web ページを使用してください。 -
ワークフロー デザイナーに [シーケンス] コンテナーをドラッグし、「Count Errors」という名前を付けます。
-
次の変数を作成します。
変数名
変数の型
既定値
CurrentDirectory
文字列
XMatches
System.Collections.Generic.IEnumerable<UiPath.Core.UiElement>
PagePath
文字列
-
- [Count Errors] コンテナー内部に [シーケンス] コンテナーをドラッグして、その名前を「Init PagePath」とします。
-
[Init PagePath] シーケンスを開き、中に [代入] アクティビティを追加します。
- [左辺値 (To)/宛先] フィールドに変数
CurrentDirectory
を追加します。 - 式
Environment.CurrentDirectory
を Value (値) フィールドに追加します。
- [左辺値 (To)/宛先] フィールドに変数
-
前のアクティビティの下に別の [代入] アクティビティを配置します。
- [左辺値 (To)/宛先] フィールドに変数
PagePath
を追加します。 - 式
Path.Combine(CurrentDirectory,"DemoPage","Table.html")
を Value (値) フィールドに追加します。 -
Init PagePath シーケンスは、次のようになります。
- [左辺値 (To)/宛先] フィールドに変数
- Main (メイン) 画面に戻ります。
-
[ブラウザーを開く] アクティビティをドラッグし、[Init PagePath] シーケンスの下に配置します。
- [URL] フィールドに変数
PagePath
を追加します。
- [URL] フィールドに変数
-
[ブラウザーを開く] アクティビティの [Do] コンテナーを選択して、次の変数を作成します。
変数名
変数の型
既定値
Type1Err
Int32
0
Type2Err
Int32
0
- [Do] コンテナー内部に [ウィンドウを最大化] アクティビティをドラッグします。
-
[クリック] アクティビティを、[ウィンドウを最大化] アクティビティの下に配置します。
-
アクティビティ内部の [ブラウザー内で要素を指定] オプションをクリックします。以下の GIF のように、[ブロックされたコンテンツを許可する] ボタンを選択します。
- [プロパティ] パネルで、[エラー発生時に実行を継続] フィールドに値
True
を追加します。 - [クリックをシミュレート] オプションのチェック ボックスを選択します。そうすることで、クリックは対象のアプリケーションのテクノロジを使用します。これは最速の方法で、バックグラウンドでも機能します。このオプション、また[ウィンドウ メッセージを送信] オプションのどちらも選択されていない場合は、クリックが最も遅いハードウェア メソッドを使い、バックグラウンドで実行することはできません。
-
-
[一致する画像を探す] アクティビティを、[クリック] アクティビティの下にドラッグします。
-
アクティビティ内部の [Indicate screenshot inside browser (ブラウザー内でスクリーンショットを指定)] オプションをクリックします。以下の GIF のように目的のボタンを選択します。
- [プロパティ] パネルの [準備完了まで待機] ドロップダウン リストから [
COMPLETE
] を選択します。 - Matches フィールドに
XMatches
変数を追加します。
-
-
[メッセージをログ] アクティビティを [一致する画像を探す] アクティビティの下に配置します。
- 式
"Total number of errors: "+XMatches.Count.ToString
を Message フィールドに追加します。
- 式
-
[繰り返し (コレクションの各要素)] アクティビティを [メッセージをログ] アクティビティの下にドラッグします。
- 値
element
を [繰り返し] フィールドに、変数XMatches
を [値] フィールドに追加します。
- 値
-
[ホバー] アクティビティを [繰り返し (コレクションの各要素)] アクティビティの [本体] コンテナー内にドラッグします。
- [プロパティ] パネルの [要素] フィールドに値
element
を追加します。 - WaitForReady ドロップダウン リストから
COMPLETE
オプションを選択します。
- [プロパティ] パネルの [要素] フィールドに値
- Pick アクティビティを [ホバー] アクティビティの下に配置します。
- [分岐] アクティビティを [分岐を選択] アクティビティ内にドラッグし、
PickBranch Type1
という名前を付けます。 -
[画像を探す] アクティビティを、[トリガー] コンテナー内部に配置します。
-
アクティビティ内部の [ブラウザー内で要素を指定] オプションをクリックします。以下の GIF のように目的のボタンを選択します。
-
-
[代入] アクティビティを Action 内部に配置します。
- [左辺値 (To)/宛先] フィールドに変数
Type1Err
を追加します。 - [右辺値 (Value)] フィールドに式
Type1Err+1
を追加します。
- [左辺値 (To)/宛先] フィールドに変数
- [分岐を選択] アクティビティ内部に [分岐] アクティビティをもう 1 つドラッグし、先ほど追加した同じアクティビティの隣に配置して、その名前を
PickBranch Type2
とします。 -
[画像を探す] アクティビティを、[トリガー] コンテナー内部に配置します。
-
アクティビティ内部の [ブラウザー内で要素を指定] オプションをクリックします。以下の GIF のように目的のボタンを選択します。
-
-
[代入] アクティビティを Action 内部に配置します。
- [左辺値 (To)/宛先] フィールドに変数
Type2Err
を追加します。 - [右辺値 (Value)] フィールドに式
Type2Err+1
を追加します。
- [左辺値 (To)/宛先] フィールドに変数
-
[メッセージをログ] アクティビティを [繰り返し (コレクションの各要素)] アクティビティの下にドラッグします。
- 式
"Errors of type 1: "+ Type1Err.ToString
を Message フィールドに追加します。
- 式
-
[メッセージをログ] アクティビティを [メッセージをログ] アクティビティの下にドラッグします。
- 式
"Errors of type 2: "+ Type2Err.ToString
を Message フィールドに追加します。
- 式
- プロセスを実行します。ロボットは、タイトルが
Type1
である画像 の数と、名前がType2
である画像の数を識別します。