- 概要
- UI Automation
- UI Automation アクティビティ パッケージについて
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-DBP-031 - アクティビティの検証
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- アクセシビリティ チェック
- アプリケーション イベント トリガー
- ユーザー入力をブロック
- チェック/チェック解除
- アプリのステートを確認
- 要素を確認
- クリック
- クリック イベント トリガー
- ドラッグ アンド ドロップ
- 要素スコープ
- 表データを抽出
- 要素を探す
- 繰り返し (各 UI 要素)
- ブラウザーのデータを取得
- クリップボードを取得
- テキストを取得
- URL を取得
- URL に移動
- 強調表示
- ホバー
- JS スクリプトを挿入
- キーボード ショートカット
- キー押下イベント トリガー
- マウス スクロール
- ブラウザー内を移動
- 画像を保存
- 項目を選択
- ブラウザーのデータを設定
- クリップボードに設定
- CV サーバを設定
- ランタイム ブラウザーを設定
- フォーカスを設定
- プロジェクト設定を行う
- テキストを設定
- スクリーンショットを作成
- 文字を入力
- ユーザー入力のブロックを解除
- ブラウザーの自動化モード
- ウィンドウ操作
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UiPath で利用可能なブラウザー自動化メソッド (ブラウザー拡張機能、WebDriver、Chromium オートメーション) の概要と、それらのメソッド間の選択方法。
UiPath ではブラウザーを自動化するための複数の方法がサポートされており、それぞれが異なるデプロイ環境やブラウザー ターゲットに適しています。[ ブラウザーの自動化モード ] 設定では、使用するメソッドを選択できます。特定のワークフロー スコープに対して [ アプリケーション/ブラウザーを使用 ] アクティビティを使用するか、 UI Automation モダンの [プロジェクト設定] の [アプリケーション/ブラウザー] でプロジェクト全体の既定値として使用するか>。
オートメーションのメソッド
UiPath には、基になる 3 つのオートメーション メソッドが用意されており、次の 5 つのモードとして公開されています。
ブラウザー拡張機能 は、Web ページを直接操作するために、ブラウザーに UiPath 拡張機能を挿入します。拡張機能をインストールする必要がありますが、最も豊富な自動化カバレッジを提供し、サポートされている 4 つの主要なブラウザー (Chrome、Edge、Firefox、Safari) すべてに対応しています。
WebDriver は、W3C WebDriver プロトコルを使用して、ブラウザー固有のドライバー バイナリ ( のchromedriver、 msedgedriver、 geckodriver) を介して専用のブラウザー セッションを開いて制御します。UiPath 拡張機能がなくても動作し、4 つの主要なブラウザーすべてをサポートします。ヘッドレスバリアントは、ウィンドウを表示せずにブラウザを実行します。
Chromium Automation は 、Chrome DevTools Protocol (CDP) を使用して Chromium ベースのブラウザーを直接制御します。拡張機能やドライバーのダウンロードは必要ありません。Chrome と Edge での設定が最も簡単です。ヘッドレスバリアントも利用できます。
使用可能なモード
ブラウザーの拡張機能
UiPath ブラウザー拡張機能を使用して、ターゲット ブラウザーを自動化します。拡張機能は、ページを操作するためのスクリプトを Web ページに挿入し、要素の情報をロボットに報告します。
- 必要なもの: 対象のブラウザー プロファイルに UiPath ブラウザー拡張機能をインストールし、有効化する必要があります
- サポートされているブラウザー: Chrome、Edge、Firefox、Safari
- ブラウザー ウィンドウ: 表示
これは既定のモードです。標準の有人オートメーションまたは無人オートメーションの場合に選択します。ブラウザーがロボットと同じマシン上で実行され、拡張機能をインストールできる場合です。
シークレット (プライベート) モードでページを自動化するには、chrome://extensions を開き、UiPath 拡張機能を見つけて、[シークレット モードでの実行を許可する] と [ファイルの URL へのアクセスを許可する] を有効化します。
WebDriver - GUI
W3C WebDriver プロトコルによって制御される、新しい可視ブラウザー セッションを開きます。UiPath は、ブラウザー固有の WebDriver サーバーを介してブラウザーと通信します。
- 必要なもの: インストールされているブラウザーのバージョンと互換性のある WebDriver バイナリ
- サポートされているブラウザー: Chrome、Edge、Firefox
- ブラウザー ウィンドウ: 表示
WebDriver はセッションごとに新しい user-data-dir を作成し、ユーザーのデスクトップで既に開いているブラウザー インスタンスには接続できません。このため、WebDriver は有人オートメーションには適していません。無人オートメーションでは、この制限はありません。
WebDriver - ヘッドレス
GUI を使用した WebDriver と同じですが、ブラウザーはウィンドウを表示せずに実行されます。
- 必要なもの: インストールされているブラウザーのバージョンと互換性のある WebDriver バイナリ
- サポートされているブラウザー: Chrome、Edge、Firefox
- ブラウザー ウィンドウ: なし (ヘッドレス)
ネイティブのドラッグアンドドロップやハードウェアマウスシミュレーションなど、ウィンドウの表示を必要とする一部の操作は、ヘッドレスモードではサポートされていません。
GUI を使用した WebDriver と同様に、このモードでは新しい user-data-dir が作成され、既に開いているブラウザーには接続できません。実行時に、対応する WebDriver バイナリをダウンロードする必要があります。シークレット モードは追加の設定なしでサポートされます。
Chromium の自動化
Chrome DevTools Protocol (CDP) を使用してブラウザーを直接制御します。拡張機能のインストールや WebDriver のバイナリは不要で、UiPath がブラウザー セッションを内部で起動して管理します。
- 必要なもの:
--remote-debugging-port=0フラグで起動されたブラウザー プロセス - サポートされているブラウザー: Chrome、Edge、およびすべての Chromium ベースのブラウザー
- ブラウザー ウィンドウ: 表示
このモードは、Chrome または Edge での最も簡単な設定に選択します。Firefox や Safari はサポートしていません。
Chromium Automation はセッションごとに新しい user-data-dir を作成し、ユーザーのデスクトップで既に開いているブラウザー インスタンスには接続できません。このため、有人オートメーションには適していません。無人オートメーションでは、この制限はありません。
シークレット モードは追加の設定なしでサポートされます。
Chromium の自動化 - ヘッドレス
Chromium の操作の自動化と同じですが、ブラウザーはウィンドウを表示せずに実行されます。
- 必要なもの:
--remote-debugging-port=0フラグで起動されたブラウザー プロセス - サポートされているブラウザー: Chrome、Edge、およびすべての Chromium ベースのブラウザー
- ブラウザー ウィンドウ: なし (ヘッドレス)
このモードは、ゼロ構成のセットアップとヘッドレス実行を組み合わせたものであり、サーバーや CI/CD パイプラインでの無人オートメーションに適しています。
Chromium のオートメーションと同様に、このモードも新しい user-data-dir を作成し、 DeveloperToolsAvailability グループ ポリシーが [ 2] に設定されている場合はブロックされます。シークレット モードは追加の設定なしでサポートされます。
比較
セットアップ要件
各モードが動作する前に何に依存しているか。
| モード | 延長が必要 | WebDriver が必要です | ヘッドレス | 追加設定 |
|---|---|---|---|---|
| ブラウザーの拡張機能 | ✅ | ❌ | ❌ | UiPath 拡張機能をインストールする |
| WebDriver - GUI | ❌ | ✅ | ❌ | WebDriver バイナリをダウンロードする |
| WebDriver - ヘッドレス | ❌ | ✅ | ✅ | WebDriver バイナリをダウンロードする |
| Chromium の自動化 | ❌ | ❌ | ❌ | --remote-debugging-port=0フラグでブラウザを起動する |
| Chromium の自動化 - ヘッドレス | ❌ | ❌ | ✅ | --remote-debugging-port=0フラグでブラウザを起動する |
機能
各モードの実行後にサポートする内容。
| モード | 有人オートメーション | シークレット (設定なし) | サポートされているブラウザー |
|---|---|---|---|
| ブラウザーの拡張機能 | ✅ | ❌ | Chrome、Edge、Firefox、Safari |
| WebDriver - GUI | ❌ | ✅ | Chrome、Edge、Firefox |
| WebDriver - ヘッドレス | ❌ | ✅ | Chrome、Edge、Firefox |
| Chromium の自動化 | ❌ | ✅ | Chrome、Edge、Chromium ベース |
| Chromium の自動化 - ヘッドレス | ❌ | ✅ | Chrome、Edge、Chromium ベース |
モードを選択する
| シナリオ | 推奨モード |
|---|---|
| Standard Desktop Automation (拡張機能をインストール可能) | ブラウザーの拡張機能 |
| 有人オートメーション (ユーザーが既に開いているブラウザーで操作) | ブラウザーの拡張機能 |
| 拡張機能をインストールできません。ブラウザーは表示されている必要があります | WebDriver - GUI |
| 拡張機能をインストールできず、表示できません | WebDriver - ヘッドレス |
| ChromeまたはEdge、可能な限り簡単なセットアップ | Chromium の自動化 |
| Chrome/Edge での無人オートメーションまたはサーバー オートメーション、表示なし | Chromium の自動化 - ヘッドレス |
| 拡張機能のない Firefox または Safari | GUI を使用した WebDriver または WebDriver ヘッドレス |
DeveloperToolsAvailability グループ ポリシーによる開発者ツールの制限 | ブラウザー拡張機能または WebDriver |
モードを構成する
特定のアクティビティについて
- ワークフローに [ アプリケーション/ブラウザーを使用 ] アクティビティを追加します。
- [プロパティ] パネルで [ブラウザーの操作の自動化モード] を見つけます。
- ドロップダウンから目的のモードを選択します。
結果: 選択したモードは、この [アプリケーション/ブラウザーを使用] コンテナーをスコープとするすべての UI Automation アクティビティに適用されます。
プロジェクトの既定値として
- [プロジェクト] パネルの歯車アイコンから [プロジェクト設定] を開きます。
- UI Automation モダンの [アプリケーション/ブラウザー>] に移動します。
- ブラウザー操作の自動化モードを任意の既定値に設定します。
- [保存] を選択します。
結果: プロジェクトに追加した新しい [アプリケーション/ブラウザーを使用 ] アクティビティは、特定のアクティビティで上書きされない限り、選択されたモードを使用します。
アクティビティ レベルの設定は、そのスコープ内でのプロジェクトの既定値よりも優先されます。
[アプリケーション/ブラウザーを使用] アクティビティの [ブラウザーの自動化モード] プロパティと、UI Automation モダンのプロジェクト設定 > [アプリケーション/ブラウザー] は、UI Automation v26.10.0 以降で利用できます。
制限事項
- Chromium の自動化モードでは 、Chromium ベースのブラウザーのみがサポートされています。Firefox または Safari で使用するとエラーが返されます。自動フォールバックは発生しません。
- ヘッドレス モードでは 、ハードウェア マウスのドラッグ アンド ドロップ操作や特定のスクリーンショット操作など、表示されているウィンドウまたは OS レベルのレンダリングに依存する操作はサポートされていません。
- WebDriver と Chromium Automation は、セッションごとに新しい
user-data-dirを作成します。ユーザーのデスクトップで既に開いているブラウザーには接続できないため、有人オートメーションには適していません。これは無人オートメーションに限ったことではありません。 - WebDriver と Chromium のオートメーション のセッションでは、分離されたブラウザー プロファイルが使用されます。既定のブラウザー プロファイルの拡張機能、保存されたパスワード、ユーザー セッション Cookie は使用できません。
- WebDriver では、ブラウザー固有のバイナリ (
chromedriver、msedgedriver、またはgeckodriver) を実行時にダウンロードし、インストールしたブラウザーのバージョンとの互換性を維持する必要があります。ブラウザー拡張機能 と Chromium オートメーションには 、そのような外部バイナリ依存関係はありません。 - DeveloperToolsAvailability グループ ポリシーが
2(デベロッパー ツールの使用を禁止) に設定されている場合、 Chromium の自動化 はブロックされます。このポリシーが適用されている環境では、ブラウザー拡張機能または WebDriver を使用します。 - シークレット モードでページを自動化するには、ブラウザー拡張機能の追加の追加による手動設定が必要です。chrome://extensions ファイルを開き、UiPath 拡張機能を見つけて、[シークレット モードでの実行を許可する] と [ファイルの URL へのアクセスを許可する] を有効化する必要があります。WebDriver と Chromium Automation は、追加の設定なしでシークレット モードをサポートします。