- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation のアクティビティ
アプリ/Web レコーダー
アプリ/Web レコーダーについて
レコーディングを使用すると、タスクを自動化する際に時間を大幅に節約できます。ユーザーが画面上でアクションを実行すると、App/Web レコーダーがアクションをキャプチャして [アプリケーション/ブラウザーを使用] アクティビティを生成し、アクションに基づく一連のアクティビティをこのアクティビティ内に含めます。
記録中はユーザー インターフェイス要素がすべて強調表示されるので、正しいボタン、フィールド、またはメニューが選択されていることを確認できます。レコーダーは、UI 要素の種類ごとに既定のアクションをキャプチャします。また、目的のアクションを手動で選択してから実行することもできます。
レコーダーには、プロジェクトに追加されるアクティビティのプレビューがリアルタイムで表示されます。プレビューには、オートメーション プロジェクトのアクティビティに追加される参考スクリーンショットも含まれます。[プレビュー] セクションは、[記録した手順] ヘッダーをクリックして折りたたむことができます。
記録されるアクションごとに、アクティビティが生成されます。以下に、記録できるアクションと、アクションに対して生成されるアクティビティのリストを示します。一部のアクションは自動的に記録され、該当するアクティビティが自動的に生成されます。一方、記録するには事前に手動で選択しなければならないアクションもあります。
自動的にレコーディングされるアクション |
レコーディング前に選択する必要があるアクション |
---|---|
|
|
アクションを記録する
- 自動化するアプリケーションまたは Web ブラウザー ページを開きます。
-
Studio のリボンで [アプリ/Web レコーダー] をクリックするか、キーボードで Ctrl + Alt + R を押します。設定によっては、このオプションは [レコーディング] の下にある場合もあります。
[アプリ/Web レコーダー] ウィンドウが表示されます。
-
(任意) 既定では、操作する UI 要素を指定した後にターゲットの選択が自動的に行われます。アンカーを追加/削除したり、一度指定したターゲットを削除して追加し直したり、レコーディング手順の前に選択内容を確認したりできるようにするには、[すべての手順を確認] を選択します。
このオプションを選択しない場合でも、レコーディングの各手順で簡単に有効化できます。それには、Shift キーを押しながら、操作する UI 要素をクリックするか、[アクションを選択] ホバー メニューからオプションを選択します。
-
レコーダーを開いたら、アクションを記録できます。一時停止する場合は、[記録] をクリックしてレコーディングを再開できます。
注:ワークフロー デザイナーで [アプリケーション/ブラウザーを使用] アクティビティが選択されているときに [アプリ/Web レコーダー] を開いた場合、そのアクティビティの対象として設定されているアプリケーションまたはブラウザーの要素に対するアクションのみ指定できます。
[アプリケーション/ブラウザーを使用] アクティビティが選択されていない場合は、マシンで開かれているすべてのアプリケーションに対するアクションを記録できます。
- (任意) ボタンをクリックして、レコーダーに対するオブジェクト リポジトリのサポートを有効化できます。これにより、既存のオブジェクト リポジトリ オブジェクトを使用したり、必要に応じて新しいものを作成できるようになります。
-
アクションを実行する要素をクリックして指定します。ウィンドウ内の個々の要素は、要素の上にマウスを移動すると強調表示されます。
- 操作する UI 要素の既定のアクションを記録するには、ターゲット要素をクリックします。
-
既定ではないアクション ([テキストを取得]、[ホバー] などのアクティビティによって実行されるアクションなど) を実行するには、ターゲット要素の上にマウスをホバーしてから、要素の横に表示される [アクションを選択] ホバー メニューからオプションを選択します。
アプリケーション内の領域をドラッグし、[アクションを選択] メニューから実行するアクションを選択して、画像オートメーションを使用することもできます。
手動で追加したアクションが記録されると、レコーダーは自動選択モードに戻ります。
メニューのレイアウトをアイコンのみ表示とリスト ビューの間で変更したり、メニュー右上のボタンを使用してピン留めにし、レコーディング中、常に表示することができます。
-
一部のアクションは、アクティビティが生成される前にユーザー入力が必要であるため、求められたら必要な情報を入力して、キーボードの Enter を押すか、[確認] をクリックします。たとえば、テキスト ボックスを選択すると、[文字を入力] アクションが検出され、入力するテキストを指定するよう求められます。
注: 意図する要素に対して確実にアクションが実行されるように、現在のターゲット要素にアクションが実行されるまで、他の UI 要素の上にマウスを移動させないでください。 - アクションが実行され、アクティビティが生成されます。続行するには、同様の方法で次に操作する要素を選択し、すべてのアクションが記録されるまで、この手順を繰り返します。
-
アクションの記録が完了したら、[保存して Studio に戻る] をクリックしてレコーダーを閉じて、プロジェクトにアクティビティを追加します。
レコーダーの開始時に、デザイナー パネルでコンテナー アクティビティが選択されていた場合、生成されたアクティビティはその中に追加されます。コンテナーでないアクティビティが選択されていた場合、選択されたアクティビティの後に、生成されたアクティビティが追加されます。
レコーディング中、以下の操作を行うことができます。
- キーボードの F2 を押して、要素の選択に 5 秒の待機時間を追加できます。たとえば、操作する要素が画面の表示領域にないため、下にスクロールする時間が必要な場合に、この操作を実行できます。
- [一時停止] をクリックして、いつでも記録を一時停止できます。記録を再開するには、[記録] を再びクリックします。
- 修飾子キー Alt、Ctrl、Shift を使用できます。
-
[記録した手順] の下のプレビューを使用して、これまでに追加されたアクティビティを管理できます。
- アクティビティの右上の [削除] をクリックして、アクティビティを削除できます。
-
一部のアクティビティの入力または出力を設定できます。
- [文字を入力] に入力するテキストを編集します。
- [項目を選択] の選択内容を更新します。
- [チェック/チェック解除] のアクションを変更します。
- [キーボード ショートカット] に記録したシーケンスを削除します。
-
[テキストを取得] のためにコピーしたテキストを保存する場所を選択します。
[アプリ/Web レコーダー] ウィンドウでは、アクションの記録時とワークフローの実行時の両方で使用される、アクションの [入力メソッド] を選択できます。これにより、特定の要素の入力メソッドをリアル タイムでテストできます。たとえば、記録されたアクションが実行されていないように見える場合は、入力メソッドを [ハードウェア イベント] に変更してみてください。これは、その要素が他の入力メソッドをサポートしていない可能性があるためです。 をクリックするとメニューが表示され、[Chromium API]、[ウィンドウ メッセージ]、[ハードウェア イベント]、[シミュレート] の中から選択できます。既定では、入力メソッドは [自動] に設定されており、プロジェクト設定に基づいて最適な入力メソッドが自動検出されます。
ボタンをクリックすると、ターゲットおよび保存された値の完全な設定が有効化なります。有効化されている場合は、ターゲットの上にマウス ポインターを合わせると表示される青いボタンを使用して、すべてのターゲットを確認する必要があります (選択画面と同様)。記録中にアンカーをさらに追加または別のアンカーを追加する必要がある場合は、このモードを使用する必要があります。
オブジェクト リポジトリとの連携
記録の実行中にオブジェクト リポジトリ オブジェクトを生成すると、両者の優れている点を組み合わせて、拡張可能な方法で素早くオートメーションを作成できます。
レコーダーで スイッチがアクティブ化されている場合、記録中に指定された要素はすべて、オブジェクト リポジトリのオブジェクトと照合され、以下の 3 つのシナリオのいずれかになります。
- オブジェクトが見つからない場合、指定された要素に対して新しいオブジェクトが作成され、簡単に再利用できます。
- オブジェクトが見つかった場合、記録されたアクティビティにリンクされます。
-
指定された要素に一致する複数のオブジェクトが見つかった場合、いずれかを選択するか、新しく作成するよう求めるメッセージが表示されます。
注: レコーダーで大きなオブジェクト リポジトリを使用すると、実行速度が遅くなることがあります。
自動的に生成されたアクティビティ
以下のアクティビティは、対応するアクションが検出されたときに自動的に生成されます。必要に応じて、記録の完了後にアクティビティのプロパティを更新できます。
-
クリック - 記録中にボタンまたはリンクを選択したときに生成されます。クリックの種類とマウス ボタンも記録されます。
-
文字を入力 - 記録中にテキスト ボックスまたはその他の編集可能な UI 要素を選択したときに生成されます。
テキスト フィールドを選択すると、テキストを入力してアクションを完了するよう求められます。[プレーン テキスト] を選択してダイアログ ボックスに直接テキストを入力するか、[式] を選択して Excel データを選択するか、プラス メニュー (StudioX) または式 (Studio) から後で使用するために保存する値を選択できます。既定では、入力する前に既存のテキストを削除するために、[フィールド内を削除] オプションが選択されています。
-
項目を選択 - 記録中にドロップダウン リストやコンボ ボックスを選択したときに生成されます。ドロップダウンを選択すると、リストから項目を選択してアクションを完了するよう求められます。
-
チェック/チェック解除 - ラジオ ボタンやチェック ボックスを選択したときに生成されます。チェック ボックスに対して実行される既定のアクションはトグルです。
- キーボード ショートカット - 記録中にキーボード ショートカットの組み合わせを押したときに生成されます。
手動で生成されたアクティビティ
場合によっては、アクションを記録してアクティビティを生成する前に、次に実行するアクションを手動で選択する必要があります。
-
次のアクションは、自動的に記録できません。
- 自動的に記録されるアクションが、目的のアクションではないことがあります。たとえば、メモ帳のテキスト領域に入力するためにクリックしたとします。しかし、既定で記録されるアクションは「クリック」です。この場合、既定で追加されたアクションを削除し、目的のアクティビティを手動で追加できます。
記録中に UI 要素の横に表示される [アクションを選択] ホバー メニューから、実行するアクションを手動で選択できます。