- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation のアクティビティ
OUT OF SUPPORTv20.10
公開日: 2023 年 10 月 5 日
-
<ctrl />
セレクターが失敗していた原因である、Chrome および Edge バージョン 117 で IFrame の要素または PDF を含む Web ページに対する破損した Active Accessibility のサポートを修正しました。また、[ブラウザーを開く] / [ブラウザーを使用] アクティビティを使用して開いたブラウザーに、追加のコマンド ライン引数を渡すオプションを追加しました。これは、[環境変数を設定] アクティビティを使用して適切な環境変数を設定することで実行できます。UIPATH_EXTRA_CMD_ARGS_CHROME
UIPATH_EXTRA_CMD_ARGS_EDGE
UIPATH_EXTRA_CMD_ARGS_FIREFOX
公開日: 2023 年 6 月 8 日
公開日: 2022 年 12 月 7 日
公開日: 2022 年 8 月 3 日
公開日: 2021 年 11 月 25 日
公開日: 2021 年 6 月 2 日
- Java Bridge を UI Explorer からインストールできませんでした。
- [画像が出現したとき] アクティビティでターゲットを初めて指定した際に、破損したスクリーンショットが表示されていました。
- [属性を取得]、 [位置を取得]、[テキストを取得]、[テキストの存在を確認]、および [OCR でテキストの存在を確認] アクティビティのパフォーマンスに関する問題を修正しました。
- [アプリケーション/ブラウザーを使用] アクティビティで Chrome の特定の Web ページを指定すると OS 全体がフリーズする問題を修正しました。
- App-V のコンテナー内の XenApp に対して [トランザクションを呼び出し] アクティビティと [SAP にログイン] アクティビティを使用すると、
Enter
キーの入力が行われませんでした。 - SAP GUI Scripting が、App-V として発行された SAP ログオン アプリケーションの自動化に使用できませんでした。
- 実行時にウィンドウがフォアグラウンドでフリーズすると、[クリック] アクティビティが動作しなくなっていました。
- 要素またはアンカーを指定した後に、UI Explorer がフォアグラウンドに戻らなくなっていました。
- [要素を指定] と [修復] 機能を使用すると、複数の [セレクター エディター] ウィンドウが開いていました。
公開日: 2021 年 2 月 8 日
公開日: 2020 年 12 月 14 日
公開日: 2020 年 12 月 10 日
- Studio のオブジェクト リポジトリ機能が、[表データを抽出] アクティビティで使用できるようになりました。
- [プロセスを呼び出し] アクティビティで、誤ったファイルが呼び出されていた問題を修正しました。
- JavaState 属性のマッチングが正常に実行されていませんでした。
- [入力をシミュレート] を有効化した [文字を入力] アクティビティを Chrome 内の Lawson に対して使用すると、文字の入力に失敗していた問題を修正しました。
- [画像をクリック] アクティビティで、[タイムアウト] プロパティと [準備完了まで待機] プロパティのフィールドに設定した値が使用されていませんでした。
- Nexaweb 環境の NRichLabel からテキストを取得する際に、NULL ポインター例外がトリガーされていました。
公開日: 2020 年 10 月 20 日
公開日: 2020 年 10 月 12 日
UI Automation と UI Automation Next アクティビティ パッケージを統合し、両パッケージの利点を併せ持つ UI Automation v20.10.5 アクティビティ パッケージを公開しました。このパッケージでは新しい統合ターゲットの技術が活用されています。統合ターゲットにはターゲットを設定するすべてのメソッドが集約されており、あらゆる自動化をより簡単に行えるようにします。
また、一部のアクティビティを修正して統合ターゲットの技術をサポートするようにしました。ただし、これまでの同等機能はパッケージから削除しておりませんのでご安心ください。クラシックまたはモダン エクスペリエンスのどちらを使用するかは、Studio の Backstage ビューの [設定] > [デザイン] タブで簡単に選択できます。
モダン エクスペリエンスを選択すると新しいアプリ/Web レコーダーにもアクセスできるようになります。これは以前の UI Automation レコーダーの機能をすべて単一のレコーダーに統合した、アンカーベースかつマルチテクノロジな要素識別システムです。新しいレコーダーを使用することで、操作のレコーディングを大幅に簡単かつスピーディーに実行できます。
統合版の UI Automation アクティビティ パッケージは、v2020.4.1 以前の Studio でもインストールできます。インストールすると、[アクティビティ] パネルにはクラシック アクティビティとモダン アクティビティがすべて表示されます。ただし、v2020.4.1 より新しい Studio/Robot が必要なウィザードは、古いバージョンでは利用できませんのでご注意ください。
テキストを変更 - 指定したテキストを、検索して置換、トリミング、連結といったメソッドを用いて更新します。このためテキスト ファイルを操作するための新たな方法が複数利用できるようになりました。
[文字を入力] アクティビティの [フィールド内を削除] フィールドが空白である場合に表示されるメッセージを改良しました。
GetProcessNameByPid および GetWindowProcessName 属性が小文字の値を返すようになりました。以前は未加工のプロセス名が返されており、小文字に変換する必要がありました。
[Google Cloud Vision OCR] アクティビティに [検出モード] オプションを追加しました。
.NET コードを挿入 - 対象のアプリケーションに .NET コードを挿入します。このため、WPF や WInForms のような Windows アプリケーションの扱いづらい UI の処理に対するサポートが強化されました。
ユーザー イベントの監視に対するサポートを、Citrix デスクトップおよびアプリ、ならびに RDP の自動化に対して追加しました。
true
に設定する必要があり、大きな値を持つ <idx>
属性の信頼性も十分ではありませんでした。
JSpinner
の矢印の要素を操作できるようになりました。
<cls>
属性をサポートするようになりました。
新しく [スクリーンショットを作成] アクティビティを追加し、特定の UI 要素のスクリーンショットを作成して画像ファイルとして保存できるようにしました。
[アプリケーション/ブラウザーを使用] アクティビティ同士を入れ子にして設置できるようにしました。このため、アプリケーションを複数使用するオートメーションをもっと柔軟にデザインできるようになりました。
アプリ/Web レコーダーに [すべてのステップを確認] オプションを追加しました。このオプションを有効化すると、ステップが記録される前に以下の変更が発生します。
- 対話する UI 要素をクリックした後にターゲットの選択が自動的には行われなくなります。要素の選択を確定する前にアンカーを追加/削除できます。また、一度指定したターゲットを削除したり、追加し直したりできます。
- [テキストを取得] アクションを追加する際に、値を保存するよう求められます。
アプリ/Web レコーダーは、ユーザーによって最後に移動された画面上の位置を記憶するようになりました。レコーダーを一度閉じて再度起動すると、前回と同じ位置で開きます。
トリガー用のまったく新しい [トリガー スコープ] アクティビティを開発しました。このアクティビティは v20.10.1 の System アクティビティ パッケージに含まれていますが、UI Automation と System アクティビティ パッケージに存在するすべてのトリガーと合わせて使用することができます。このアクティビティではトリガーで動作するために必要な引数、たとえばトリガーの名前、種類、そのソース イベントなどが自動的に生成されます。さらに、発生したイベントを順次または同時に処理できるほか、アクションを一度実行したら終了することもできます。
新しいトリガー アクティビティを複数追加しました。また既存のトリガーのデザインを改良し、使用頻度の高いプロパティがデザイナー パネルに表示されるようにしました。新しいアクティビティは以下のとおりです。
- 要素属性変更トリガー
- 要素ステート変更トリガー
もっとも重要な機能として、トリガーの開発を民主化しました。このため、カスタム アクティビティと同じように、誰もがカスタム トリガーを使用・開発できるようになりました。詳細についてはこちらをご覧ください。
以下の 2 つのワークフロー アナライザーのルールを新しく追加しました。
- セレクター内での変数の使用禁止 - UI Automation アクティビティのうち、セレクター内で変数を使用しているものをすべてスキャンします。このためオートメーション プロセスでコンプライアンス違反のセレクターを使用するリスクを排除できます。
- セキュリティで保護されていないパスワードの使用 - ワークフロー内で使用されている [文字を入力] アクティビティがパスワードを入力する際に、
SecureString
変数の代わりにプレーン テキストを使用していないかどうかを確認します。
今回のリリースでは CV アクティビティ内で操作中の画面のキャッシュの方法を変更することで、ユーザー エクスペリエンスを向上させました。新しいキャッシュ方法では、[CV 画面スコープ] アクティビティ内で操作したすべての画面が保存されます。このためデザイン時の各画面に対する操作をより簡単に行えるようになりました。
DataTable
型の変数に格納します。
[CV テキストを取得] アクティビティに [あらかじめ更新] チェック ボックスを追加しました。オンにすると、Computer Vision のニューラル ネットワークを使用して再度スキャンが行われ、最初に [CV 画面スコープ] でスキャンした後で発生した変更点が検出されます。
表のセル スコープ - 既存の表 UI 要素にアタッチし、その中で複数のアクションを実行します。このアクティビティは SAP WinGUI の自動化に特化して開発されています。
UiPath では SAP のオートメーション プロジェクトを作成するための機能を拡充しています。今回のリリースではすぐに使えるセレクターを構築し、簡単に SAP Fiori を自動化できるようにしました。
[SAP にログオン] アクティビティの既定値が、対応するレジストリ エントリから取得されるようになりました。
<colTooltip>
属性が含まれるようになりました。
- [スクリーンショットを作成] アクティビティに対してバグ修正を行った結果、このアクティビティで発生したすべての例外の処理方法が変わりました。修正前は、例外が発生するとスクリーンショットが null として返されるだけでしたが、現在は例外が通常どおりスローされてワークフローの実行が停止します。この変更は、既存のワークフローに重大な変更を及ぼす可能性があります。
- バグ修正の結果、[文字を入力] アクティビティの [入力前にクリック] プロパティが Java アプリケーションで動作する際に、カーソルが既存のテキストの先頭ではなく末尾に配置されるようになりました。この現象は、[アクティベート] プロパティをオンにし、かつ [入力前にクリック] プロパティを Single または Double に設定した状態で、アクティビティを Java アプリケーション内で使用すると発生します。
- ごくまれに、バージョン 2020.4.x で作成したターゲットとアンカーの組み合わせが、このバージョンで正しい要素を識別できない場合があります。この問題を修正するにはターゲットに対してアンカーを選択し直すか、別のアンカーを追加してください。
- プロセスを Orchestrator から開始すると、[ウィンドウにアタッチ] アクティビティが Java アプリケーション上で正常に機能しなかった問題を修正しました。この問題は Windows の更新を実行した後に発生していました。
awt.dll
ファイルが対象の Java アプリケーションで読み込まれていない場合、Java 拡張機能のインストールは求められませんのでご注意ください。今回の修正の結果、Java セレクターでアプリケーションを自動化できない場合にインストールのポップアップが表示されなくなりました。Java 拡張機能の詳細についてはこちらをご覧ください。 - Microsoft Teams アプリケーションに対するセレクター生成で、
<cls>
タグが不適切に生成されていた問題を修正しました。 - [キー操作トリガー] アクティビティのセレクターに
<idx>
属性が含まれていると、要素の検出に失敗していました。 - [クリック] アクティビティまたは [ホバー] アクティビティが UI 要素と対話する直前に、ドロップダウン リストまたはコンテキスト メニューが消滅することがありました。この問題は現在は修正されています。
- [キー操作トリガー] アクティビティを SAP WinGUI の要素に対して使用すると、正常に機能しませんでした。
- アプリ/Web レコーダーの [アクションを選択] ホバー メニューがクリックしづらいことがありましたが、この問題を修正しました。
- [アプリケーション/ブラウザーを使用] アクティビティの対象のアプリケーションに Acrobat Reader DC を指定し、[オープン動作] プロパティを [Always] に設定すると、Acrobat が既に開いている場合にエラーが発生していましたが、この問題を修正しました。現在このアクティビティは既存の Acrobat ウィンドウにアタッチするようになりました。たとえば、引数として PDF ファイルのパスが設定されている場合、そのファイルは既存の Acrobat Reader DC ウィンドウの新しいタブで開かれます。
- オブジェクト リポジトリは現在 [表データを抽出] アクティビティをサポートしていません。
- [CV 画面スコープ] アクティビティ内で C# の式を OCR エンジンと使用すると、一部の式が動作しない場合があります。この問題の回避策として、[CV 画面スコープ] アクティビティの前に [代入] アクティビティを使用して式を実行してください。
- [ワークフロー ファイルを呼び出し] アクティビティは、前のアクティビティが対象のディレクトリを変更している場合には、実行時に正しいファイルを開けません。
- ウィンドウ インスタンスを複数持つアプリを自動化する際、[アプリケーション/ブラウザーを使用] コンテナー内で [ウィンドウ アタッチ モード] を [アプリケーション インスタンス] に設定していると、[クリック] アクティビティで生成されるセレクターを存在しないセレクターに手動で変更した場合に、最初の要素の代わりに対象のアプリケーション全体がターゲットになります。これは、[セレクター] チェック ボックスが選択されている場合にのみ発生します。