- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation のアクティビティ
v22.4
公開日: 2024 年 8 月 8 日
公開日: 2023 年 10 月 5 日
-
<ctrl />
セレクターが失敗していた原因である、Chrome および Edge バージョン 117 で IFrame の要素または PDF を含む Web ページに対する破損した Active Accessibility のサポートを修正しました。また、[ブラウザーを開く] / [ブラウザーを使用] アクティビティを使用して開いたブラウザーに、追加のコマンド ライン引数を渡すオプションを追加しました。これは、[環境変数を設定] アクティビティを使用して適切な環境変数を設定することで実行できます。UIPATH_EXTRA_CMD_ARGS_CHROME
UIPATH_EXTRA_CMD_ARGS_EDGE
UIPATH_EXTRA_CMD_ARGS_FIREFOX
公開日: 2023 年 8 月 2 日
- MV3 拡張機能の場合、ブラウザーは Web ページが読み込まれた後に拡張機能を読み込みます。この種の問題を解決するため、[ブラウザーを開く] アクティビティのタイムアウトを設定できる
UIPATH_OPEN_BROWSER_TIMEOUT_SECONDS
環境変数を追加しました。 - IE モードの Microsoft Edge でデータ スクレイピング ウィザード ([構造化データを抽出] アクティビティ) を使用すると、「値が期待される範囲内にありません。」というエラーが発生していました。
- 列ヘッダーが空の表でデータ スクレイピング ウィザード ([構造化データを抽出] アクティビティ) を使用すると、エラーが発生していました。
- Java アプリケーション Clarity の CTable コンポーネントのサポートを追加しました。
公開日: 2023 年 6 月 8 日
公開日: 2023 年 1 月 27 日
公開日: 2022 年 8 月 3 日
公開日: 2022 年 6 月 23 日
公開日: 2022 年 5 月 23 日
公開日: 2022 年 5 月 9 日
Chrome の Manifest V3 の標準に基づいた、新しい UiPath Chrome 拡張機能をリリースしました。この拡張機能には完全な後方互換性があるため、アップグレードしてお使いのオートメーション プロセスで使用することを強くお勧めします。
新しいプロジェクトの種類であるクロスプラットフォーム プロジェクトの導入に伴い、UI Automation アクティビティ パッケージにさまざまな変更を加え、多数のアクティビティがこの種類のプロジェクトに対応するようにしました。詳しくは、こちらをご覧ください。また、クロスプラットフォーム プロジェクトをより利用しやすくするため、新しい UiPath Chrome 拡張機能を Mac でも使用できるようにしました。
Studio における拡張機能の管理がさらに行いやすくなりました。ユーザー エクスペリエンスを向上させ、全体的によりスムーズな操作感を実現しました。
[繰り返し (各 UI 要素)] アクティビティを追加し、指定した各 UI 要素に対して一連のアクションを反復処理できるようにしました。
[JS スクリプトを挿入] アクティビティを使用して、モダン デザイン エクスペリエンスにおいても JavaScript の完全な機能を活用できるようになりました。
[ドラッグ アンド ドロップ] アクティビティを追加しました。よく行われるドラッグ アンド ドロップ アクションを実行できるため、人間が行う操作をまねて一連のアクションを完了させることができます。
[プロジェクト設定] に [ランタイム ブラウザー] という新しい設定を追加しました。[アプリケーション/ブラウザーを使用] アクティビティで実行時に使用するブラウザーの種類を指定できます。
[アプリケーション/ブラウザーを使用] アクティビティに新しいプロパティを追加し、WebDriver プロトコルを使用できるようにしました。
UI Automation モダンのアクティビティ パッケージが、複数の Windows デスクトップ上のオートメーションを設計時と実行時の両方でサポートするようになりました。
ユーザーからの要望が最も多い機能の 1 つである [選択オプション] 画面でのスクロール機能を追加しました。要素を指定する際に、F2 キーを使用して選択を一時停止しなくても対象のアプリケーションをスクロールできるようになりました。
[すべての要素をキャプチャ] 機能を使用する際に、自動化対象のアプリケーション内で特定の箇所を指定して、その領域内の要素のみを抽出できるようになりました。
[すべての要素をキャプチャ] 機能で、指定したブラウザー内のタブのみが検出され、ツールバーやその他の無関係な要素がキャプチャされないようになりました。
[アプリ/ブラウザーを使用] アクティビティの外でも [スクリーンショットを作成] アクティビティを使用できるようになりました。これにより、デスクトップのスクリーンショットをいつでも作成できます。
オブジェクト リポジトリで、同じセレクターを持つ画面が 6 個以上表示されるようになりました。
Studio でプラス記号上にオブジェクト リポジトリの項目をドロップすると、そのオブジェクトに基づいて変数を自動的に作成するよう求めるメッセージが表示されるようになりました。
[マウス スクロール] アクティビティに [キー修飾子] プロパティを実装し、スクロール操作にキー修飾子を追加できるようにしました。
items
属性をサポートしている場合に、この属性も表示されるようになりました。
[クリック]、[文字を入力]、[チェック/チェック解除]、[項目を選択] アクティビティに新しいプロパティ フィールド [無効な要素を変更] を追加しました。このプロパティを使用すると、UI 上では無効化されているがロボットはアクセスできる UI 要素を操作するかどうかを指定できます。また、[プロジェクト設定] の [UI Automation モダン] に新しい設定を追加し、プロジェクト全体でこのプロパティを制御できるようにしました。
[プロジェクト設定] に [監査情報をログ記録] という新しい設定を追加し、[アプリケーション/ブラウザーを使用] アクティビティによって生成されるログをすべて無効化できるようにしました。また、[アプリケーション/ ブラウザーを使用] アクティビティのログ レベルの既定値を Verbose に変更しました。
表抽出ウィザードを使用する際に、 F4 ホットキーを使用して利用可能なフレームワークを切り替えられるようになりました。
[選択オプション] 画面で、強調表示されているターゲットまたはアンカーをクリックするだけでそれぞれを選択または選択解除できるようになりました。また、アンカーの追加モード以外の場合に空の領域をクリックすると、現在の選択を解除してヘルパーを表示できます。
[アプリケーション/ブラウザーを使用] アクティビティでリモート デスクトップ環境のウィンドウを指定すると、[タイムアウト] プロパティの値が自動的に 60 秒に設定されるようになりました。
[項目を選択] アクティビティで、Salesforce Lightning のグループ化されたコンボ ボックスやメニュー コンボ ボックスを操作できるようになりました。
visibleInnerText
という新しい属性を追加しました。これは、基になる HTML 要素の実際の innerText を表します。
Chrome Debugger API を使用して、ブラウザー タブのオブジェクトに入力を送信できるようになりました。
.exe
名が含まれている場合に、アタッチされるブラウザーの種類が置き換えられなくなりました。
Windows の Azure Virtual Desktop クライアントがサポートされるようになりました。このため、UiPath リモート ランタイムと RDP 拡張機能を使用して、UI Automation アクティビティで Azure Virtual Desktop 上の操作をネイティブに自動化できるようになりました。
以前は構造化データでのみ可能だった、HTML の表から URL を抽出する操作が行えるようになりました。
Chrome で、タグ名が「HTML」の HTML 要素が UI Explorer に表示されるようになりました。
.jnlp
のアプリケーションを完全にサポートするようになりました。
UiPath Java 拡張機能に、アプリケーションとの対話を行いやすくする新しいインジェクション メカニズムを追加しました。
Java Konsis およびカスタム Java フレームワーク McBeans のサポートを改良しました。
UI Automation アクティビティ パッケージが、入れ子にされた Citrix アプリの操作の自動化をサポートするようになりました。
拡張機能の設定時と SAP WinGUI に表示されるエラー メッセージを改良しました。
Google Chrome、Microsoft Edge、または Firefox ブラウザーで特別なタブを指定する際に、代替の選択方法 (Google Chrome または Microsoft Edge の場合は Active Accessibility、Firefox の場合は UI オートメーション) に自動的にフォールバックするようになりました。
UI Explorer の [復元の待機] オプションが既定で有効化されるようになりました。
UI Automation アクティビティ パッケージで、Java のバージョン 16 および 17 が公式にサポートされるようになりました。
[CV 表を抽出] アクティビティに新しいプロパティを 2 つ追加しました。[スクロール] ではスクロール可能な表を抽出するかどうかを指定し、[スクロール後のスクリーンショット作成までの待機時間] では、スクロール後にアクティビティが表のスクリーンショットを作成するのを、指定した時間待機させることができます。2 つ目のプロパティは、下方向に画面をスクロールすると項目がさらに読み込まれる表の場合に役立ちます。また、[CV 表を抽出] アクティビティで、 Shift キーを押したままにしなくても、列インデックスと行インデックスを使用してターゲットのセルを指定できるようになりました。
CV の [選択オプション] 画面で Delete キーを押すと現在の選択が削除されるようになったため、ワークフローをより効率よく構築できます。
Studio で対話型サインインが使用されている場合に、CV レコーダーで API キーが不要になりました。
Computer Vision アクティビティが StudioX で使用できるようになりました。[開発者向けアクティビティを表示] フィルターを有効化すると表示されます。
[CV 画面スコープ] アクティビティを使用する際に、F3 キーを押して選択の種類をウィンドウ、要素、領域間で切り替えられるようになりました。
SAP ALV 階層テーブル内のセルを識別しやすくするため、[ALV 階層テーブルを展開] アクティビティを新しく追加しました。セルを識別した後は、すべての標準的な UI アクティビティを実行できます。
すべての SAP WinGUI アクティビティでオブジェクト リポジトリとの連携を利用できるようになりました。
[プロジェクト設定] に [ハード タイムアウトを強制] という新しい設定を追加し、SAP WinGUI の操作を自動化するすべてのアクティビティにハード タイムアウトを強制適用できるようにしました。
- このバージョンより、[入力モード] プロパティが [シミュレート] に設定された [クリック] アクティビティで修飾子キーを送信すると、修飾子キーもシミュレートを使用して送信されます。以前のバージョンでは、 [入力モード] プロパティの設定に関係なくハードウェア イベントを使用して修飾子キーが送信されていたため、以前のバージョンで作成されたワークフローでは重大な変更が発生する可能性があります。
- v2019.x の UiPath Studio にアップグレードすると、Chromium ベースのカスタム ブラウザーが通常の Windows アプリケーションとして認識されてしまう問題を修正しました。
- 開発者ツールが開かれた状態の Internet Explorer で UI Explorer を開くと、複数のコンソール ウィンドウが生成される問題を修正しました。
- キーボードの種類を変更すると、[ホットキーを押下] アクティビティで指定したテキストが
cmd.exe
に貼り付けされない問題を修正しました。 - 大きな表内の特定の UI 要素の
GetHtmlAncestryInfo
セレクターを生成しようとすると、タイムアウトが発生していました。 - Java デスクトップ アプリケーションで一部のボタンがクリックまたは検証されない問題を修正するため、Java の新しい属性
hasTableAncestor
を追加しました。この属性を使用すると、属性値が 0 に設定された要素を検索する際に表がバイパスされます。 - Internet Explorer 8 で [入力モード] が [シミュレート] に設定された [文字を入力] アクティビティを使用すると、8 のキーが検索ボックスに入力されない問題を修正しました。
- ビューポート内の空の領域を指定できない問題を修正しました。
- Java アプリケーションの表内にあるチェックボックスの正しいステートを読み取れない問題を修正しました。
- [テキストを設定] アクティビティに空の文字列を設定して Web ページの要素内のテキストをクリアする操作が、UI Automation パッケージ v18.4 の時のように、再び行えるようになりました。
- ネイティブ ライブラリを使用して画面上に要素を描画するアプリケーションを開く Java アプリケーション内の要素を指定しようとすると、UiPath Executor がクラッシュする問題を修正しました。
- Chrome が全画面表示モードになっているとセレクターがキャプチャできない問題を修正しました。
- データ スクレイピングで非常に大きな HTML の表を抽出しようとするとタイムアウトが発生する問題を修正しました。
<ctrl>
セレクターを並列して検索することによりジョブが停止する問題を修正しました。- Active Accessibility を使用してセレクターをキャプチャしようとすると、特定のケースで対象のアプリケーションがクラッシュする問題を修正しました。
- Java アプリケーションの特定の部分を識別できない問題を修正しました。
- Microsoft Update KB5005031 適用後の Internet Explorer で、ウィンドウのアクティブ化がタイムアウトして失敗する問題を修正しました。
- Firefox で Salesforce の属性がセレクター ノードや既定のセレクターに表示されない問題を修正しました。
- Edge/IE モードで表示された特定の Web ページの URL に空白文字
%20
が含まれていると、そのページの操作を自動化できない問題を修正しました。 - Java アプリケーションの画面上の値がキャプチャできない問題を修正しました。
- Edge の Internet Explorer モードでセレクターの検証に失敗する問題を修正しました。
- Java アプリケーション Maestro でページの UI 要素の構造が非常に大きい場合に、
SelectorNotFound
という例外がスローされる問題を修正しました。 - 特定のアプリケーションで、データ スクレイピングを実行しても [構造化データを抽出] アクティビティが生成されませんでした。
- [文字を入力] アクティビティが特定の Web ページで
E
という文字を入力できない問題を修正しました。 - 特定のアプリでアンカーを指定すると Studio がフリーズする問題を修正しました。
- アプリ モードで開いた Microsoft Edge および Google Chrome で検出が機能しませんでした。
- 特定の Excel ファイルを操作しようとすると、Citrix リモート ランタイムがクラッシュしていました。
- 無効な API キーを使用して [OCR で検出したテキストをクリック] アクティビティを使用すると、タイムアウト エラーが発生していました。
- [スクリーンショットを作成] アクティビティで複数のスクリーンショットを作成すると、命名規則が 2 つ目のスクリーンショットから適用されていました。
- 特定のアクティビティの使用時に、実行時のブラウザーの切り替え設定が RDP 接続のブラウザーに対して期待どおりに動作しませんでした。
- Computer Vision アクティビティを使用する際に、記述子を編集しても参考スクリーンショットにも [選択] 画面にも変更が反映されませんでした。
- [CV 画面スコープ] アクティビティで、一部の Windows ネイティブ アプリのウィンドウ全体を指定する操作が非常に行いづらくなっていました。これは、CV が [選択の種類] として [要素] を使用していたことが原因です。
- [CV 表を抽出] アクティビティでスクロール可能な表を抽出する際に、表の高さが上限値を超えるとアクティビティが動作しなくなる問題を修正しました。
- Firefox および Chrome で Salesforce の特定の属性が利用できない問題を修正しました。
- Chrome で画像アクティビティを使用する際に、指定したクリッピング領域の内側と外側に同じ画像が存在する場合に、誤った画像が使用されることがありました。
- Excel 2016 で個々のセルまたはシート名を指定するには、選択モードを手動で AA に設定する必要があります。v19.5.0 では、既定で AA が使用されます。v21.10.4 以降は、既定で UIA が使用されます。
- 最新の Chrome 拡張機能を使用して Chrome の操作を自動化する際に UI Automation モダンの [クリック] アクティビティを、[入力モード] を [シミュレート] に設定して使用すると、特定のフォームの要素でアクティビティが失敗します。これを回避するには、[入力モード] を [ハードウェア イベント] または [Chromium API] に設定します。
- 最新の Chrome 拡張機能と UI Automation v20.10 を使用して設計時に生成される SAP Fiori のセレクターの一部に、余分な属性がいくつか含まれている場合があります。このため、実行時に古いバージョンの Chrome 拡張機能を使用すると、セレクターが機能しなくなります。これを回避するには、実行時にも最新の Chrome 拡張機能を使用するか、設計時に UI Automation v21.10 以降を使用してセレクターを生成する必要があります。
- ローカルおよびリモート デスクトップ接続の SAP NetWeaver Business Client から SAP Fiori へのセレクター、またはリモート デスクトップ接続の SAP NetWeaver Business Client から SAP GUI へのセレクターの監視時に、イベントが検出されません。