- 概要
- UI Automation
- UI Automation アクティビティ パッケージについて
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-DBP-031 - アクティビティの検証
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- アプリ/Web レコーダー
- 高度なセレクター エディター
- UI 要素の抽出
- 表抽出
- Linux 環境のロボット
- UI Automation ブラウザー コネクション
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- アクセシビリティ チェック
- アプリケーション イベント トリガー
- ユーザー入力をブロック
- チェック/チェック解除
- アプリのステートを確認
- 要素を確認
- クリック
- クリック イベント トリガー
- ドラッグ アンド ドロップ
- 表データを抽出
- 要素を探す
- 繰り返し (各 UI 要素)
- ブラウザーのデータを取得
- クリップボードを取得
- テキストを取得
- URL を取得
- URL に移動
- 強調表示
- ホバー
- JS スクリプトを挿入
- キーボード ショートカット
- キー押下イベント トリガー
- マウス スクロール
- ブラウザー内を移動
- 項目を選択
- ブラウザーのデータを設定
- クリップボードに設定
- ランタイム ブラウザーを設定
- フォーカスを設定
- テキストを設定
- スクリーンショットを作成
- 文字を入力
- ユーザー入力のブロックを解除
- アプリケーション/ブラウザーを使用
- ウィンドウ操作
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル

UI Automation アクティビティ
UI Automation ブラウザー コネクション
説明
UI Automation ブラウザー コネクション機能を使用すると、オートメーションを無人オートメーションがクラウド上でサーバーレスで実行するときに、ユーザーではなくロボットが認証を行えます。
この機能は、特に n 要素認証の自動化シナリオに対応します。最も一般的な Web エンタープライズ ビジネス アプリケーションでは、n 要素認証を使用します。このような認証メカニズムでは、アプリケーションの機能モジュールにアクセスする前に、ユーザーがセキュリティ コードを挿入する、CAPTCHA を解決する、セキュリティ トークンを使用して認証を完了するといった操作が必要です。
クラウド オートメーションの実行中は、ユーザーが介入して認証を行うことはできません。さらに、推奨もされません。UI Automation ブラウザー コネクション機能を使用すると、ロボットがオートメーションの作成時に指定された情報に基づいて認証プロセスを自動的に解決します。これはスケジュールに従って実行され、ユーザーによる入力を必要としません。
コネクションを追加する
コネクションを追加するには、以下の手順を実行します。
- [アクティビティを追加] ボタンをクリックして、ワークフローに [ブラウザーを使用] アクティビティを追加します。
- [作業スコープ] フィールドのドロップダウン メニューを選択し、自動化するタブを選択します。
- [認証の要否] トグルをオンにします。
- [コネクション] フィールドで、プラス記号のボタンを選択して [コネクションを追加] を選択します。
- [コネクション名] に、コネクションの一意の名前を入力します。
- (任意) [コネクションの説明] にコネクションの説明を入力します。
- サインイン用の URL は、選択内容に基づいて自動的に入力されます。[送信] をクリックします。
- [UI Automation ブラウザー コネクション] 画面が表示されます。資格情報を使用してサインインする必要があります。
- サインインに成功したら、[完了] ボタンをクリックします。新しいコネクションが追加されたプロジェクトが表示されます。
プロセス全体は次のようになっている必要があります。

コネクションを編集する
コネクションを編集するには、以下の手順を実行します。
- [コネクション] フィールドで、プラス記号のボタンを選択して [コネクションを編集] を選択します。
- [UI Automation ブラウザー コネクション] 画面が表示されます。必要に応じて再認証できます。
ブラウザーを設定する
UI Automation のブラウザー コネクション機能は、認証のほかにブラウザーの構成にも使用できます。
実行マシンは常に新しいマシンなので、ブラウザーは常に新しいステートです。そのため、実行時に特定のポップアップが表示されてオートメーションが失敗することがあります。
そこで、この機能を使用してワークフローの構築時にブラウザーを正しいステートに設定できます。その後はロボットが、オートメーションの開始時に同じステートが設定されていることを確認します。
制限事項
Azure Active Directory 認証
Azure Active Directory アカウントを認証に使用している状態で UI Automation ブラウザー コネクション機能を使用すると、オートメーションはクラウド環境で繰り返し実行されます。これにより、Active Directory サーバーの ID 保護メカニズムがトリガーされる可能性があります。その場合、ユーザーは CAPTCHA の解決やアカウント パスワードの変更などを求められます。
これを回避するには、ロボット用に特別に構成された専用のサービス アカウントを使用することを強くお勧めします。
Orchestrator の共有フォルダー
UI Automation ブラウザー コネクションは、Orchestrator の共有フォルダーでは使用できません。Orchestrator の個人用ワークスペースでのみ使用できます。
アプリケーションの制限
この機能は、ユーザーがブラウザーを閉じたときに認証 Cookie を削除する Web アプリケーションでは機能しないため、ログアウトが模倣されます。たとえば、 www.salesforce.com です。
デスクトップ版の Studio
デスクトップ版の Studio ではコネクションを作成または編集できません。
サーバーベースのロボット
実行時には、この機能はサーバーレス ロボットでのみサポートされます。そうでない場合は例外がスローされます。たとえば、Windows ロボットがある場合は、ランタイム例外「platform not supported」が発生します。