- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation のアクティビティ
OUT OF SUPPORTv21.4
公開日: 2021 年 6 月 2 日
- Java Bridge を UI Explorer からインストールできませんでした。
- [属性を取得]、 [位置を取得]、[テキストを取得]、[テキストの存在を確認]、および [OCR でテキストの存在を確認] アクティビティのパフォーマンスに関する問題を修正しました。
- App-V のコンテナー内の XenApp に対して [トランザクションを呼び出し] アクティビティと [SAP にログイン] アクティビティを使用すると、
Enter
キーの入力が行われませんでした。 - SAP GUI Scripting が、App-V として発行された SAP ログオン アプリケーションの自動化に使用できませんでした。
公開日: 2021 年 4 月 26 日
[表データを抽出] アクティビティを大幅に改良し、新しいプロパティやデータ抽出プロセスの手順を説明する新しいウィザードを追加しました。これらの機能は、モダン エクスペリエンスを選択するとリボンに表示される、新しい [表抽出] レコーダーからも使用できます。これにより、構造化データの抽出がこれまで以上に簡単に行えるようになりました。
実行の検証機能を新しく追加し、プロセスの実行時に操作 (例: クリック、入力) が正しく実行され、期待される結果が得られたことを確認できるようになりました。この機能は、次のアクティビティや [プロジェクト設定] から設定できます。
- クリック
- 文字を入力
- ホバー
[アプリケーション/ブラウザーを使用] アクティビティに [シークレット/プライベート ウィンドウ] プロパティを新しく追加し、ブラウザー セッションをシークレット モード、またはプライベート モードでも開けるようにしました。
実行時と設計時の両方で、すべての検索操作において新しい複数セレクター検索機能が使用されるようになりました。これにより製品使用時のユーザー エクスペリエンスが直接的に向上するわけではありませんが、総合的によりよい検索結果を得られるようになります。
アプリ/Web レコーダー機能を使用する際に自動化対象の領域をドラッグして選択し、定義できるようにしたため、ワークフロー内で画像を使用した自動化を行えるようになりました。
Check:text
はあいまいセレクターの非表示の機能であり、以前の [テキストをクリック] アクティビティに似た機能です。これを使用すると、テキストが含まれる要素を簡単にターゲットに設定できます。今回のリリースでは、この機能をモダン エクスペリエンスの一部としてアップグレードしました。[選択オプション] 画面の [あいまいセレクター] からアクセスでき、ターゲットを指定する際にテキストの処理条件を選択・設定できます。ワイルドカードや変数などがサポートされています。
使用性とカスタマイズ性を向上させるために、特定の設定 (画面上で要素を指定する際の [一時停止] (F2) に設定したタイマーなど) がセッションをまたいでマシンごとに保持されるようにしました。
テキスト ラベルに依存しない動的ターゲットを指定できるようになりました。これにより、動的なテキスト ラベルを持つ要素や検索リストに表示される特定の要素を、テキスト ラベルではなく検索時の位置を使用して操作できます。これは、あいまいセレクターの機能を活用して行います。あいまいセレクターでは、よりあいまいな要素に対応するためにワイルドカードも使用できます。
[URL を取得] アクティビティを新しく追加しました。Web ページの URL を取得してオートメーション内で再利用できるため、Web の自動化がさらに簡単に行えます。
開いていないアプリなど、利用できない状態のターゲットをオフライン モードで編集できるようになりました。これにより、セレクター内の 1 文字を編集するためだけに同じウィンドウを再び開く手間がなくなりました。
VPN への接続や仮想マシンの起動などのシナリオに対応できるように、[アプリのステートを確認] アクティビティが [アプリケーション/ブラウザーを使用] アクティビティの外でも使用できるようになりました。
アプリ/Web レコーダーを改良し、マシン上のすべてのアプリに対してアプリを切り替えることなく使用できるようにしました。これにより、ユーザーが複数のアプリで操作を指定していることをレコーダーが自動的に認識し、それに合わせてユーザーが行う手順を自動的に記録できるようになりました。
[アプリケーション/ブラウザーを使用] アクティビティを使用して特定の種類のアプリを指定すると、[引数] プロパティが自動的に入力されるようになりました。これにより、Java アプリ、PDF、Office アプリ、Windows アプリを使用しやすくなりました。
セレクターやあいまいセレクターを編集する際に、[選択オプション] 画面で変数や引数を直接使用できるようになりました。
[クリック] と [ホバー] アクティビティに [カーソルの動きの種類] プロパティを追加しました。これにより、操作を実行している間に使用されるマウスの動作の種類を [Instant] または [Smooth] から選択できるようになりました。
[項目を選択] アクティビティの [項目] フィールドでワイルドカードが使用できるようになりました。また、このアクティビティに [無効な場合でも動作を実行] という新しいプロパティを追加しました。このプロパティのチェックボックスをオンにすると、ターゲット要素が無効でも選択操作が実行されます。
[シミュレート] メソッドを使用すると [ダブルクリック] などの一部の操作が失敗するため、これらの操作は既定で [ハードウェア イベント] メソッドを使用して実行されるようにしました。これにより、ユーザーへの通知なしにワークフローが失敗する状況を回避できます。
[構造化データを抽出] アクティビティをオブジェクト リポジトリと連携できるようになりました。
[選択オプション] ウィンドウに [要素の可視性を強制] チェック ボックスを実装し、表示されている UI 要素のみを操作するよう設定できるようになりました。
アプリ/Web レコーダーで、修飾キーを使用する操作も記録できるようになりました。
UI Automation のすべてのモダン アクティビティで [準備完了まで待機] プロパティの名称を [ページの読み込みまで待機] に変更し、このプロパティの用途をより分かりやすくしました。
.doc
、.xls
、.png
、.pdf
などのすべての拡張子のファイルを開けるようになりました。
[クリック] と [ホバー] アクティビティに [カーソルの動きの種類] プロパティを追加しました。これにより、操作を実行している間に使用されるマウスの動作の種類を [Instant] または [Smooth] から選択できるようになりました。
[項目を選択] アクティビティの [項目] フィールドでワイルドカードが使用できるようになりました。また、このアクティビティに [無効な場合でも動作を実行] という新しいプロパティを追加しました。このプロパティのチェックボックスをオンにすると、ターゲット要素が無効でも選択操作が実行されます。
[表のセル スコープ] アクティビティに、新しく [表の行インデックス] プロパティを追加しました。このプロパティを使用すると、見つかった行のインデックスが表示されるため、[最初の空の行] が設定された表を操作する場合に役立ちます。
Java アプリケーションのネイティブ スクレイピングを行う際に [文字情報を取得] チェック ボックスをオンにしていると、単語の境界も取得されるようになりました。
[ブラウザーにアタッチ] アクティビティの [ブラウザーの種類] プロパティに、Chromium ベースのブラウザーに使用できる新しいオプションを追加しました。
UI 要素に Shadow DOM を使用する Web サイトのサポートを追加しました。これにより、Google Chrome、Firefox、Edge を使用してこれらのページを自動化できるようになりました。
セレクターに変数を使用している場合に、[変数] パネルで行った変更がセレクターにも反映されるようになりました。これは、このバージョンの UI Automation アクティビティ パッケージにアップグレードした後に変更される変数にのみ適用されます。したがって、古いワークフローについては重大な変更は発生しません。
[ホットキーを押下] アクティビティの本体内にある [キー] のドロップダウン リストを展開してフィールドに文字を入力すると、リスト内のホットキーが自動的に検索されるようになりました。
UiPath Studio が、SAP GUI for Windows の最新バージョンである 7.70 をサポートするようになりました。これにより、新しい視覚テーマである Quartz、代替ブラウザー コントロールのサポート (Microsoft Edge)、およびマルチモニターのスケーリング サポートなどが利用できるようになりました。
データ スクレイピングと画面スクレイピングを使用して、SAP ALV テーブルのデータを抽出できるようになりました。これにより、SAP 画面の 1 つ以上の表を抽出できます。
SAP Fiori のテーブルを自動化するために [表のセル スコープ] アクティビティを使用できるようになりました。
[CV クリック]、[CV ホバー]、および [CV チェック] アクティビティに [カーソルの動きの種類] プロパティを追加しました。これにより、操作を実行している間に使用されるマウスの動作の種類を [Instant] または [Smooth] から選択できるようになりました。
Computer Vision アクティビティで OCR のみを使用するよう設定できるようになりました。これにより、ユーザー エクスペリエンスが全体的に向上しました。
Computer Vision アクティビティの変更検出メカニズムを改良し、CV による完全な画面分析の必要数を最小限に抑えてプロセスを最適化しました。
[CV テキストを取得] アクティビティで、抽出されるテキストを表示する、取得結果のテキストのプレビューがデザイナーに表示されるようにしました。
UI Explorer に新しい機能を追加し、セレクターのデータが読み込まれるまで UI Explorer ウィンドウの復元を遅延するよう設定できるようにしました。この機能は、フォーカスが失われると自動的に閉じてしまう UI 要素に使用します。
- [実行を検証] プロパティの [期待されるテキスト] サブフィールドの機能を変更しました。これにより、このプロパティは v21.2.0-preview の UI Automation アクティビティ パッケージを使用して構築されたオートメーション プロジェクトに対応しなくなるため、重大な変更が発生します。
- [要素の存在を確認] アクティビティの [タイムアウト] プロパティを、Studio の [プロジェクト設定] から設定できるようになりました。
- [シミュレート] メソッドが選択されている [クリック] アクティビティをこの機能がサポートされていない Java アプリケーションに対して使用すると、アクティビティが正しく動作しないにも関わらず、エラーが発生せずにワークフローの実行が続行されていました。現在は、同シナリオでエラーが発生するようになり、上記のようなワークフローでは重大な変更が発生する可能性があります。
- Java アプリケーションで、[ハードウェア イベント] が選択されている [クリック] アクティビティをフォーカスしているタブとは異なるタブの UI 要素に対して使用した場合に表示されるエラー メッセージを分かりやすい内容に変更しました。この修正により、古いワークフローが正しく動作しなくなる可能性がある点にご注意ください。
- Microsoft Project Oxford Online OCR エンジンは廃止されました。このため、実行時に「Microsoft Project Oxford は完全に廃止されました。別の OCR エンジンに切り替えてください。」という例外がスローされます。
Microsoft Edge レガシのサポート終了
- v21.10 より、UI Automation アクティビティ パッケージは Microsoft Edge レガシ ブラウザーをサポートしなくなります。これに伴い、Microsoft Edge レガシ拡張機能は機能しなくなります。
- [アプリケーション/ブラウザーを使用] アクティビティの [URL] プロパティに URL を含む String 型変数を設定し、新しいブラウザー セッションを開くアクティビティの本体にあるボタンをクリックしても、指定した設定でブラウザーが開かれませんでした。
- [項目を選択] アクティビティが、Java アプリケーションのコンボ ボックスとリスト ボックスに対して機能しませんでした。
- [並列] アクティビティの使用時に、例外が不適切に処理される問題を修正しました。
- [画像] または [Computer Vision] カテゴリのアクティビティを使用すると、
Emgu.CV.CvInvoke
の型の初期化子が例外をスローしていました。 - [条件] プロパティが True に設定された [並列] アクティビティ内で [テキストの存在を確認] アクティビティを使用すると、常に
True
が返されていました。 - UI Explorer を Internet Explorer に使用した場合に、特定の状況下でセレクターの読み込みに失敗していました。この問題を回避するため、UI Explorer のウィンドウ復元遅延機能を実装しました。
- [繰り返し (前判定)] のループで画面スクレイピングを実行すると、特定の状況下で失敗していました。
- Java アプリケーションの操作中に Executor がクラッシュする問題を修正しました。
- [ユーザー入力をブロック] アクティビティに Alt キーと特殊キーを設定していても、Alt キーのみでブロックが解除されていました。
- 空の文字列を設定する [クリップボードに設定] アクティビティを含むライブラリを使用すると、例外がスローされていました。
- セレクター エディターの使用中に、セレクターから
”app=”
を削除しても、セレクターが無効と判定されませんでした。 - 特定のデータ テーブルでデータ スクレイピングを実行した際に、プレビュー ウィンドウに A 列が表示されませんでした。
- [アプリケーション/ブラウザーを使用] アクティビティの使用時に Internet Explorer で開いた PDF を指定すると、フリーズしていました。
- [ウィンドウを隠す] アクティビティが StudioX に表示されないようにしました。
- リモート デスクトップ プロトコル接続を使用すると、Chrome のポップアップが検出されませんでした。
- [アプリケーション/ブラウザーを使用] アクティビティを使用して Chrome で開いた特定の Web ページを指定すると、システムがフリーズしていました。
- ネットワーク接続が悪い状態で [アプリケーション/ブラウザーを使用] アクティビティを使用して Chrome または Internet Explorer で開いたページを指定すると、UI がフリーズしていました。
- 特定の Web ページで [ハードウェア イベント] を選択した [文字を入力] アクティビティを使用すると、テキストの文字が重複して入力されていました。
- シミュレート メソッドの [クリック] アクティビティを Java アプリケーションの要素に使用すると、この操作がターゲット要素によりサポートされていない場合でも、成功として報告されていました。現在は、この操作をサポートしていない要素 (パネルなど) をシミュレート メソッドでクリックしようとすると、より分かりやすいエラーが表示されるようになりました。
- UI Automation を 64 ビット モードで使用すると、Citrix アプリを検出できない問題を修正しました。
- オブジェクト リポジトリで [各要素を設定] を選択した状態で要素をマップする際に、Enter キーを使用して選択を確定できませんでした。
- 特定の状況下で、[アプリケーション/ブラウザーを使用] アクティビティを [最小化] アクティビティと一緒に使用すると、最小化されたウィンドウが、操作を行う際に自動的に元のサイズに戻されていました。
- 無効な UI 要素に対して [アプリのステートを確認] アクティビティを使用すると、返された要素が null ではありませんでした。
- [オブジェクト リポジトリ] のオブジェクトを使用して [スクリーンショットを作成] アクティビティをワークフローに追加すると、[ファイル名] に値が入力されていませんでした。
- [アプリケーション/ブラウザーを使用] アクティビティをオブジェクト リポジトリから作成すると、[ウィンドウ アタッチ モード] プロパティが [アプリケーション インスタンス] ではなくプロセス名に設定されていました。
- [ブラウザーを開く] アクティビティの [新しいセッション] プロパティが正しく動作しない問題を修正しました。
- Active Directory に接続していないオフライン ユーザーが、ポリシーを使用して Edge 拡張機能をインストールできませんでした。また、ポリシーがブロックされることにより、拡張機能が正常にインストールされたという SetupExtensions ツールからの誤った通知がユーザーに表示されていました。
- データ スクレイピング ウィザードの [プレビュー データ] セクションの [ヘルプ] ボタンをクリックした際に、ローカライズされた正しいページが表示されませんでした。
- オーバーレイがあるアプリケーションまたはブラウザーで UI Automation Next 系のアクティビティを使用すると、正しく動作しませんでした。
- [吹き出し] アクティビティで、そのアクティビティが実行されるマシンの DPI が正しく考慮されていませんでした。
- [ターゲット] 下の [クリッピング領域] プロパティを使用するアクティビティでそのプロパティを編集しても、変更が保存されませんでした。
- Chrome または Firefox でアドレス バーやツールバーの特定の UI 要素を指定すると、意図したとおりに動作しませんでした。
- オートメーション プロセスをループで実行すると、[ブラウザーを開く] アクティビティが例外をスローしていました。
aaname
という HTML 属性が、指定したノードのすべての子ノードからテキストを取得していました。現在は、指定したノードのテキストのみが取得されるようになりました。このルールが適用されない HTML ノードの種類は、input
、img
、button
、textarea
、area
、a
、select
、table
です。なお、[テキストを取得] アクティビティは引き続き、指定したノードのサブノード全体のテキストを取得します。要素の値をキャプチャする場合はこの方法が推奨されています。- [画像選択モード] で UI 要素を指定する際に、選択画面からアンカーを指定できるようになりました。
- Java アプリケーションの自動化時に、チェック ボックスのステートが認識されませんでした。
- 特定の Web ページでドロップダウン メニューをターゲットとして指定できない問題を修正しました。
- Edge および Internet Explorer で特定の要素を指定すると、[選択オプション] ウィンドウでの処理に時間がかかる問題を修正しました。
- [子要素を探す] アクティビティに有効なセレクターが設定されており、かつ、すべての要素が除外されるようなフィルター条件が設定されている場合に、セレクターが見つからないことを示す例外
SelectorNotFoundException
がスローされなくなり、代わりに空のリストが返されるようになりました。 - [ブラウザーにアタッチ] アクティビティと [ウィンドウにアタッチ] アクティビティで、変数が使用されているセレクターが間違って表示される問題を修正しました。
- Studio の [ツール] セクションから管理者権限なしで Chrome 拡張機能をインストールしたユーザーが、Studio を v2020.10 から v2021.4 にアップグレードすると、Chrome 拡張機能が正しく動作しなくなる問題を修正しました。
- Studio の [ツール] セクションから管理者権限で Chrome 拡張機能をインストールした場合に、Studio を v2020.10 から v2021.4 にアップグレードすると、Chrome 拡張機能が正しく動作しなくなる問題を修正しました。
- v19.4.2 より新しいバージョンの UI Automation アクティビティ パッケージを使用して [要素の存在を確認] アクティビティを Internet Explorer に使用すると、エラーが発生していました。
- v2021.4 の Studio にビジュアル アップグレードすると、v2020.10 の Studio の [ツール] セクションからインストールした Firefox、RDP、Citrix、および VMWare の各拡張機能が、このインストールを最初に行ったユーザーに対して機能しなくなります。
- v2021.4 の Studio にサイレント モードでアップグレードした場合、または Studio を最初にインストールしたユーザーとは別のユーザーを使用した場合、v2020.10 の Studio の [ツール] セクションからインストールした Firefox、Chrome、Edge、Citrix、RDP、および VMWare の各拡張機能が機能しなくなります。