- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation のアクティビティ
v23.4
公開日: 2024 年 4 月 3 日
Computer Vision の実行時の分析を追跡できるようにし、デバッグ速度を向上させるために、HTTP 要求のヘッダーで DesignTime ScreenId が送信されるようになりました。
公開日: 2023 年 10 月 5 日
-
<ctrl />
セレクターが失敗していた原因である、Chrome および Edge バージョン 117 で IFrame の要素または PDF を含む Web ページに対する破損した Active Accessibility のサポートを修正しました。また、[ブラウザーを開く] / [ブラウザーを使用] アクティビティを使用して開いたブラウザーに、追加のコマンド ライン引数を渡すオプションを追加しました。これは、[環境変数を設定] アクティビティを使用して適切な環境変数を設定することで実行できます。UIPATH_EXTRA_CMD_ARGS_CHROME
UIPATH_EXTRA_CMD_ARGS_EDGE
UIPATH_EXTRA_CMD_ARGS_FIREFOX
これらの変数を使用して、Chrome および Edge で Active Accessibility のサポートを強制的に有効化することで、バージョン 114 および 117 の Chrome/Edge Active Accessibility サポートの破損などの問題を回避できます。
Chrome の場合は、環境変数UIPATH_EXTRA_CMD_ARGS_CHROME
に値--force-renderer-accessibility=complete
を設定します。Edge の場合は、環境変数UIPATH_EXTRA_CMD_ARGS_EDGE
に値--force-renderer-accessibility=complete
を設定します。
公開日: 2023 年 8 月 2 日
公開日: 2023 年 6 月 7 日
公開日: 2023 年 4 月 27 日
UI Automation ブラウザー コネクションがクロスプラットフォーム プロジェクトで使用できるようになりました。
コネクションは Studio Web (現在プレビュー中) でのみ作成および編集でき、Studio Web とデスクトップ版の Studio の両方で使用できます。
この機能は、Automation Cloud™ ロボット - サーバーレスでのみ実行できます。ローカル ロボットで実行しようとすると、エラーが発生します。
詳しくは、「UI Automation ブラウザー コネクション」をご覧ください。
公開日: 2023 年 4 月 27 日
- UiPath.UIAutomation.Activities - 設計時パッケージ
- UiPath.UIAutomation.Activities.Runtime - ランタイム パッケージ。対象は Windows プロジェクトと Windows - レガシ プロジェクトです。
- UiPath.UIAutomation.Activities.Runtime.Portable - ポータブル パッケージ用のランタイム パッケージ。対象はクロスプラットフォーム プロジェクトです。
UIPATH_OPEN_BROWSER_TIMEOUT_SECONDS
環境変数を使用して設定することもできます。
[アプリケーションを開く] アクティビティと [アプリケーション/ブラウザーを使用] アクティビティを使用して、Power BI Desktop アプリケーションを開けるようになりました。
[チェック] アクティビティでサポートされるチェックボックスの種類を増やしました。
[項目を選択] アクティビティを改良し、ネイティブではないドロップダウンや Sap Fiori/Salesforce 以外のドロップダウンなどの、複雑な HTML ドロップダウンがサポートされるようにしました。
UiPathRemoteRuntime.msi
の正しいバージョンのダウンロード リンクが表示されるようになりました。
UI Explorer のセレクターに、ツリー ノードの非表示のルートが含まれなくなりました。
UI Explorer で要素を指定した後に Studio ウィンドウが復元されなくなりました。
Modifiers
フィールドが NKeyModifier
列挙型にマッピングされるようになり、toString()
メソッドが呼び出されたときに整数ではなく文字列 (Shift、Alt、Ctrl など) を返すようになりました。
モダン アクティビティをプロジェクトで使用すると、この情報がパブリッシュされたパッケージに含まれるようになり、その後 Orchestrator で利用できるようになりました。この機能を使用するには、v2023.4 以降の Studio が必要です。
webRequest
権限を追加し、webRequest
API を使用できるようにしました。これに伴い、Chrome および Edge 拡張機能の v2023.4 を新しい拡張機能 ID で Chrome ウェブ ストアに公開しました。また、グループ ポリシーのオフライン インストールで使用される自己ホスト型の拡張機能にもこの権限を追加しました。ただし、拡張機能 ID に変更はありません。
ネイティブ ホストのみの設定で拡張機能をインストールすると、自己ホスト型の拡張機能のファイルも生成され、ExtensionInstallForceList ポリシーに追加できるようになりました。
Chromium ベースの埋め込みブラウザーのサポートに関する改良
Chromium ベースの埋め込みブラウザー (Electron、CEF 103+) のサポートに関する改良を行い、孤立した WebView2 ウィンドウのサポートを追加しました。
Chromium Native のバージョン 108、109、110 のサポートを追加しました。
Chromium Native の埋め込みブラウザーでクロス オリジンの呼び出しの転送がサポートされるようになりました。CEF ネイティブのコントロールと Electron の Web コントロールが対象です。
複数の UI スレッドを持つアプリケーションに埋め込まれた CefSharp ウィジェットの操作を自動化できるようになりました。
複数の BrowserView を 1 つの BrowserWindow 内に作成する Electron のアプリケーションのサポートに関する改良を行い、各ビューの操作を自動化できるようになりました。
<wnd>
タグと <ctrl>
タグ、Web は <webctrl>
タグ、Java は <java>
タグ) によってサポートされており、[アプリケーション イベント トリガー] アクティビティをとおして使用できます。このアクティビティでは、あらゆる種類の UI 要素に対するネイティブ イベントに基づいたトリガーを設定できます。
また、最も使用されているクラシックの「トリガー」系アクティビティをモダン フレームワークに移行しました。新しく追加したモダンの [クリック イベント トリガー] アクティビティと [キー押下イベント トリガー] アクティビティは、より使いやすいユーザー インターフェイスを備えており、統合ターゲットの概念を通じて要素を識別したり、オブジェクト リポジトリの要素を使用したりできます。
これらのトリガーには元のイベントをブロックして後で再生したり、無視したりする機能があるため、すべてのフィールドが正しく入力されるまでフォームの送信を停止する、といった実装シナリオを実現できます。トリガーを、トリガーベースの有人オートメーション ソリューションの一部として提供する重要な理由がここにあります。
クラシック アクティビティの [クリック トリガー] および [キー操作トリガー] は、 [アクティビティ] タブの [クラシック] フィルターがオンになっている場合は、このパッケージ バージョンでも表示されます。
- アクティビティが [トリガー スコープ] 内にある場合、アクティビティの [スケジュール モード] プロパティと [有効] プロパティは表示されません。この場合、[トリガー スコープ] アクティビティの [スケジュール モード] プロパティが利用できます。
- アクティビティを [トリガー スコープ] なしで追加すると、[トリガー スコープ] が自動的に生成され、アクティビティの [スケジュール モード] プロパティと [有効] プロパティが表示されます。
- ホットキー トリガー
- マウス トリガー
- 画像クリック トリガー
- システム トリガー
- SAP セッション属性変更トリガー
- 要素ステート変更トリガー
- 要素属性変更トリガー
ただし、[要素ステート変更トリガー] アクティビティと [要素属性変更トリガー] アクティビティは、アクティビティ パッケージ内では非表示になりました。ワークフロー内に表示されている場合は使用できますが、デザイン パネルに追加することはできなくなりました。
[テキストを設定] アクティビティにモダン バージョンを追加しました。統合ターゲットの概念を通じてターゲットを識別し、オブジェクト リポジトリに保存された要素を使用できます。さらに、ターゲット要素をキャッシュして、繰り返し実行する場面 (たとえば、複数の UI 要素間でテキストを同期する場合) での実行速度を向上させることもできます。
Active Accessibility を使用して WPF アプリケーションの操作を自動化できるようになりました。Active Accessibility は、そのアプリケーションに対してアクセシビリティのサポートが無効化されていない限り、既定で使用できます。たとえば、アプリケーションの更新後にアクセシビリティのサポートが失われる可能性があります。その場合、特定の領域内の個々の要素をターゲットに設定できないことがあります。
<wpf>
属性を含むセレクターを使用して WPF アプリケーションの操作を確実に自動化できます。
この機能は、新しいプロジェクト設定 [UI Automation モダン] > [ターゲット メソッド - デスクトップ アプリケーション] > [ネイティブの WPF セレクターを生成 (プレビュー)] から使用できます。このオプションの既定値は [False] です。
今後のバージョンで重大な変更が発生する可能性があるため、v2023.4 では、この機能はプレビュー段階です。
[JS スクリプトを挿入] アクティビティ (クラシックとモダンの両方) に新しい [実行環境] プロパティ フィールドを追加しました。このプロパティを使用すると、スクリプトを実行する JavaScript 環境を設定できます。[分離] オプションはアクティビティの以前の機能を使用するための設定で、コンテンツ スクリプトがページと競合することなく JavaScript 環境に変更を加えることができます。新しい [ページ] オプションを使用すると、スクリプトがページと対話することもできます。
モダン アクティビティ パッケージには、[要素を確認] アクティビティも追加しました。有効化または無効化された要素の状態をキュレーションされた方法で確認し、その結果に基づいてアクションを実行できます。たとえば、複数ページのアプリケーション内を移動してデータをスクレイピングし、最後のページに到達したときに次ページへのボタンが無効化され、スクレイピングを停止する必要があるオートメーションの作成時に使用できます。
UiElement
を受け取る場合は、アプリケーション カード/スコープを使用する必要がなくなりました。これに伴い、すべてのモダン アクティビティを更新しました。
StudioX で [属性を取得] アクティビティを使用して Excel に出力を保存する際に、要素のリストを書き込めるようになりました。
スケール ファクター (設計時/実行時) を使用して、画像セレクターの照合機能を改良しました。
[属性を取得] アクティビティを改良し、選択した属性に基づいたオブジェクト型が返されるようにしました。
表抽出レコーダーで、列名が重複する場合に赤いインジケーターが表示されるようになりました。
sapweb-ls
(LightSpeed コントロールの場合) や sapweb-
(SAP Scripting コントロールの場合) の属性が安定しました。また、ハードウェア イベントを使用した UI Automation アクティビティ ([クリック]、[文字を入力]、[項目を選択] など) の信頼性が向上しました。今回のリリースでは、SAP のボタン (アイコン、プッシュ ボタン、ラジオ ボタン)、SAP の入力フィールド、SAP のドロップダウン リスト、SAP のチェックボックスの要素に対して、専用のサポートを追加しました。
SAP Fiori のカレンダーがサポートされるようになりました。[カレンダーから日付を選択] アクティビティを追加し、SAP S/4HANA や SAP SuccessFactors など、すべての SAP Fiori ベースのシステムのカレンダーの操作を簡単に自動化できるようにしました。
ui5c-
が付いており、JSON 形式で表される複雑な属性の概念も導入しました。なお、新しい属性の内容は永続的ですが、文字列は信頼できません。たとえば、最初の呼び出しでは {“a”:”value1”, “b”:”value2”}
が返され、次の呼び出しでは {“b”:”value2”, “a”:”value1”}
が返される可能性があります。
Computer Vision を統合ターゲット ソリューションに追加し、セレクターと Computer Vision の記述子の両方が必要な UI ベースのオートメーションを構築しやすくしました。
この追加により、UI ベースのオートメーションに変更が発生した場合の信頼性と回復性が向上しました。ユーザーがアプリケーションの UI 変更をコントロールすることはほとんどなく、UiPath のロボットが、UI の確定的な変更によってオートメーションが破損したり、影響を受けたりしないように対応する必要があります。
Computer Vision は、まれにドライバーが特定の UI 要素を「確認」できない場合や、VDI 操作の自動化などの、使用できるテクノロジが他にない場面で UI 要素をターゲット設定するためのメソッドです。Computer Vision を使用するユース ケースは他にも数多くあります。
ネイティブ ウィンドウで指定したオートメーションは、ウィンドウ セレクターを置き換えればリモート デスクトップ環境で再利用できるため、移植性があります。
[プロジェクト設定] > [UI Automation モダン] の [デスクトップ アプリケーション]、[Java]、[Web ブラウザー] では、Computer Vision は既定で有効化されていますが、SAP では既定で無効化されています。SAP は厳密セレクターを使用するためです。
Computer Vision は、[選択オプション] ヘルパーの新しいアイコン、またはキーボード ショートカット (F8) で有効化できます。
[CV 更新] アクティビティがパッケージに表示されなくなり、新しいプロジェクトで使用できなくなりました。
[WebView2 のネイティブな自動化を有効化] ( [プロジェクト設定] > [UI Automation クラシック] > [ブラウザー]) を [True] に設定すると、「トリガー」系アクティビティで Web セレクターが既定で生成されます。現在、UI Automation パッケージの「トリガー」系アクティビティでは埋め込みブラウザー アプリがサポートされていないため、既定で生成されるセレクター (Web セレクター) を使用するとイベントがトリガーされません。これを回避するには、ターゲット UI 要素を指定する際に UI フレームワークを [既定] から [Active Accessibility] に変更して、AA セレクターを使用します。なお、UI Automation パッケージの「トリガー」系アクティビティでの埋め込みブラウザー アプリのサポートは、今後のバージョンで追加予定です。
alt
が報告されますが、修飾子 alt
を使用して中央ボタンを操作した場合、修飾子が正しく報告されます。修飾子を使用せずに右ボタンを操作した場合、修飾子 win/meta
が報告されますが、修飾子 win/meta
を使用して右ボタンを操作した場合、修飾子が正しく報告されます。
WPF ネイティブ アプリでの [ウィンドウ メッセージを送信] の使用は現在サポートされていません。
- [保護モードを有効化] オプションが既定で有効化されている場合でも、2022.003.20258 よりも新しいバージョンの Acrobat Reader の操作を自動化できるようになりました。詳しくは、「Adobe Reader DC のセキュリティ オプション」をご覧ください。
- 入力メソッドが [シミュレート] に設定された [クリック] アクティビティを使用すると、特定のフォーム要素で失敗していました。この問題を回避するための [MV3 拡張機能使用時のクリックをシミュレートの回避策を有効化] オプションを、[プロジェクト設定] から使用できるようになりました。
- 一部の Web サイトで、Edge IE モードの場合にセレクターの検証に失敗していました。この問題は、Edge IE モードで開いた Web ページの URL が、Edge Chromium の場合とは別の URL にリダイレクトされて発生していました。
- ブラウザー操作を自動化するアクティビティで Chrome 拡張機能との通信が断続的に失敗し、「ブラウザーと通信できません。UiPath 拡張機能をご確認ください。」というエラーが発生していました。この問題は、速度が遅いマシンや CPU の負荷が高いマシンで発生していました。この問題を解決するため、Chromium ブラウザーの通信タイムアウト値を 30 秒に引き上げました。
- Internet Explorer の [デベロッパー ツール] ウィンドウでタブ要素を指定できない問題を修正しました。
- [プロジェクト設定] の [UI Automation クラシック] > [ブラウザー] > [WebView2 のネイティブな自動化を有効化] を [True] に設定した場合に、SAP Business Client 内で開かれた特定の SAP Fiori ページで、
HTML
セレクターおよびWEBCTRL
セレクターの代わりにWND
セレクターとCTRL
セレクターが生成されていました。 - リモート デスクトップ クライアントを RemoteApp としてパブリッシュすると、リモート デスクトップに対するセレクターの生成が失敗する問題を修正しました。
- Java アプリケーションで [表示中のテキストを取得] アクティビティを使用すると、UiPath Executor がクラッシュする問題を修正しました。
- Java Runtime Environment のバージョンが 13 から 19 の場合に、表のセルでエディターを開いてそのセルを指定すると、エディターと一致する role (
text
など) を持つ有効な要素が返されるようになりました。以前は、使用できない要素が結果として返されていました。 - 保護モード がオフになっている Edge IE モードで Web ページを開くと、[クリック トリガー] アクティビティにより対象のアプリケーションの速度が低下する問題を修正しました。
- 表抽出時に入力フィールドから値を抽出できない問題を修正しました。修正前は、メタデータ内に生成される既定の
text
属性が、HTML プロパティinnerText
を使用してテキストを取得していました。v2023.4 からは、新たに生成されるワークフローやアクティビティは既定の属性としてfulltext
を使用します。この新しい属性は、スクレイピング メソッドがフルテキストの場合と同じアプローチを使用します。新しいアクティビティでinnerText
プロパティを使用する場合は、メタデータを手動で編集し、属性名をfulltext
から「text」に変更します。 - データ スクレイピングで、列インデックスが列名として誤ってマークされていたことが原因でデータ テーブルの結合ウィザードが失敗し、「列が見つかりません。」というエラー メッセージが表示される問題を修正しました。
- [CV 表を抽出] アクティビティを使用してスクロール可能な表を抽出する際に、最初のスクロール イベントより前に実行が停止することがありましたが、この問題を修正しました。
- 入力モードを [シミュレート] に設定した [クリック] アクティビティが、特定の要素でスタックする問題を修正しました。この問題を解決するために、新しいプロパティ [入力のブロックを解除] をクラシック アクティビティの [クリック] に追加しました。このプロパティは、[クリック] アクティビティによってモーダル ダイアログ ボックスや入力をブロックするその他の UI がトリガーされる場合に使用します。
- カルチャ情報でコンマが小数点区切り文字として解釈された場合に、モダン アクティビティが正しく動作しない問題を修正しました。
- [ブラウザーにアタッチ] アクティビティで Browser 変数を使用すると、メモリ リークが発生する問題を修正しました。
- [OCR でテキスト位置を探す] アクティビティで、テキストに特殊文字 (例: %) が含まれている場合に不正確な位置が返される問題を修正しました。
- ターゲットの編集時に、オブジェクト リポジトリのデザイン データの属性が正しく更新されない問題を修正しました。
- [文字を入力]、[キーボード ショートカット]、および [マウス スクロール] アクティビティで、「クリックのオフセットは [入力をシミュレート] モードでは設定できません。」という無効な警告メッセージが表示される問題を修正しました。
- [CV 画面スコープ] アクティビティのカードから [UiPath Screen OCR] を削除しても、または [プロジェクト設定] で OCR を無効化しても、ローカル サーバーから OCR の単語ボックスが返され続ける問題を修正しました。