v23.4

UI Automation アクティビティ パッケージバージョン 23.4.x のリリース ノート

v23.4.11

公開日: 2024 年 4 月 3 日

改良点

Computer Vision の実行時の分析を追跡できるようにし、デバッグ速度を向上させるために、HTTP 要求のヘッダーで DesignTime ScreenId が送信されるようになりました。

バグ修正

• [アプリケーション イベント トリガー] アクティビティの [ 出現 ] イベントの種類を、 iframe HTML 要素内で監視できていませんでした。

v23.4.10

公開日: 2023 年 10 月 26 日

改良点

今回のリリースでは、アクティビティ パッケージのマイナーな改良とバグ修正を行いました。

v23.4.9

公開日: 2023 年 10 月 5 日

バグ修正

• <ctrl /> セレクターが失敗していた原因である、Chrome および Edge バージョン 117 で IFrame の要素または PDF を含む Web ページに対する破損した Active Accessibility のサポートを修正しました。

  また、[ブラウザーを開く] / [ブラウザーを使用] アクティビティを使用して開いたブラウザーに、追加のコマンド ライン引数を渡すオプションを追加しました。これは、[環境変数を設定] アクティビティを使用して適切な環境変数を設定することで実行できます。

  • UIPATH_EXTRA_CMD_ARGS_CHROME
  • UIPATH_EXTRA_CMD_ARGS_EDGE
  • UIPATH_EXTRA_CMD_ARGS_FIREFOX

  これらの変数を使用して、Chrome および Edge で Active Accessibility のサポートを強制的に有効化することで、バージョン 114 および 117 の Chrome/Edge Active Accessibility サポートの破損などの問題を回避できます。

  Chrome の場合は、環境変数 UIPATH_EXTRA_CMD_ARGS_CHROME に値 --force-renderer-accessibility=complete を設定します。

  Edge の場合は、環境変数 UIPATH_EXTRA_CMD_ARGS_EDGE に値 --force-renderer-accessibility=complete を設定します。

v23.4.8

公開日: 2023 年 8 月 2 日

バグ修正

• [ホットキーを押下] アクティビティが含まれる .xaml ファイルが未保存として表示される問題を修正しました。
• プロパティ フィールドが必須であることを示すアスタリスクが原因で、StudioX での設計時に [アプリケーション/ブラウザーを使用] アクティビティでエラーが発生する問題を修正しました。
• Java アプリケーション Clarity の CTable コンポーネントのサポートを追加しました。

v23.4.7

公開日: 2023 年 6 月 7 日

バグ修正

• Chrome および Edge の最新バージョン 114 への更新により、Active Accessibility のサポートを有効化する方法に重大な変更が発生しました。このため、印刷ポップアップ メニューや PDF ビューアーなどのブラウザー画面の操作時に、オートメーション プロセスが失敗していました。

v23.4.6

公開日: 2023 年 6 月 7 日

改良点

このバージョンのパッケージでは、アクセシビリティに関するさまざまな改良が加えられています。

v23.4.5

公開日: 2023 年 4 月 27 日

新機能と改良点

UI Automation ブラウザー コネクションがクロスプラットフォーム プロジェクトで使用できるようになりました。

コネクションは Studio Web (現在プレビュー中) でのみ作成および編集でき、Studio Web とデスクトップ版の Studio の両方で使用できます。

この機能は、Automation Cloud™ ロボット - サーバーレスでのみ実行できます。ローカル ロボットで実行しようとすると、エラーが発生します。

詳しくは、「UI Automation ブラウザー コネクション」をご覧ください。

v23.4.4

公開日: 2023 年 4 月 27 日

全般的な改良点

実行時の、特にクロスプラットフォーム プロジェクトのパッケージ サイズを縮小するため、UiPath.UIAutomation.Activities パッケージを設計時パッケージとランタイム パッケージに分割しました。

• UiPath.UIAutomation.Activities - 設計時パッケージ

• UiPath.UIAutomation.Activities.Runtime - ランタイム パッケージ。対象は Windows プロジェクトと Windows - レガシ プロジェクトです。

• UiPath.UIAutomation.Activities.Runtime.Portable - ポータブル パッケージ用のランタイム パッケージ。対象はクロスプラットフォーム プロジェクトです。

UI Automation モダンと UI Automation クラシックの [ プロジェクト設定] で、新たに 2 つのオプションを追加しました。[ブラウザーを開く] のタイムアウト (秒) では、ブラウザーの起動タイムアウトを設定でき、[ JS スクリプトを挿入 – 実行の世界 ] は InjectJs.ExecutionWorld 設定をグローバルに適用します。[ブラウザーを開く] のタイムアウト値は、UIPATH_OPEN_BROWSER_TIMEOUT_SECONDS 環境変数を使用して設定することもできます。

[アプリケーションを開く] アクティビティと [アプリケーション/ブラウザーを使用] アクティビティを使用して、Power BI Desktop アプリケーションを開けるようになりました。

[チェック] アクティビティでサポートされるチェックボックスの種類を増やしました。

[項目を選択] アクティビティを改良し、ネイティブではないドロップダウンや Sap Fiori/Salesforce 以外のドロップダウンなどの、複雑な HTML ドロップダウンがサポートされるようにしました。

UiPath リモート ランタイム コンポーネントと UiPath.UIAutomation.Activities パッケージのバージョンが一致しないことを示すエラー プロンプトに、正しい UiPathRemoteRuntime.msi バージョンのダウンロード リンクが含まれるようになりました。

UI Explorer のセレクターに、ツリー ノードの非表示のルートが含まれなくなりました。

UI Explorer で要素を指定した後に Studio ウィンドウが復元されなくなりました。

イベント データの Modifiers フィールドが NKeyModifier 列挙型にマッピングされるようになり、toString() メソッドが呼び出されたときに整数ではなく文字列 (Shift、Alt、Ctrl など) を返すようになりました。

モダン アクティビティをプロジェクトで使用すると、この情報がパブリッシュされたパッケージに含まれるようになり、その後 Orchestrator で利用できるようになりました。この機能を使用するには、v2023.4 以降の Studio が必要です。

ブラウザー拡張機能

Chrome および Edge 拡張機能に webRequest 権限を追加し、webRequest API を使用できるようにしました。これに伴い、Chrome および Edge 拡張機能の v2023.4 を新しい拡張機能 ID で Chrome ウェブ ストアに公開しました。また、グループ ポリシーのオフライン インストールで使用される自己ホスト型の拡張機能にもこの権限を追加しました。ただし、拡張機能 ID に変更はありません。

ネイティブ ホストのみの設定で拡張機能をインストールすると、自己ホスト型の拡張機能のファイルも生成され、ExtensionInstallForceList ポリシーに追加できるようになりました。

Chromium ベースの埋め込みブラウザーのサポートに関する改良

Chromium ベースの埋め込みブラウザー (Electron、CEF 103+) のサポートに関する改良を行い、孤立した WebView2 ウィンドウのサポートを追加しました。

Chromium Native のバージョン 108、109、110 のサポートを追加しました。

Chromium Native の埋め込みブラウザーでクロス オリジンの呼び出しの転送がサポートされるようになりました。CEF ネイティブのコントロールと Electron の Web コントロールが対象です。

複数の UI スレッドを持つアプリケーションに埋め込まれた CefSharp ウィジェットの操作を自動化できるようになりました。

複数の BrowserView を 1 つの BrowserWindow 内に作成する Electron のアプリケーションのサポートに関する改良を行い、各ビューの操作を自動化できるようになりました。

トリガー ベースの有人オートメーション

実行パフォーマンスがきわめて重要となるトリガーベースの有人オートメーションにおいて、イベント監視機能の使いやすさやパフォーマンスが向上する、一連の新しいイベントを実装しました。これらのイベントはさまざまな種類のアプリケーション テクノロジ (Active Accessibility は <wnd> タグと <ctrl> タグ、Web は <webctrl> タグ、Java は <java> タグ) によってサポートされており、[アプリケーション イベント トリガー] アクティビティをとおして使用できます。このアクティビティでは、あらゆる種類の UI 要素に対するネイティブ イベントに基づいたトリガーを設定できます。

また、最も使用されているクラシックの「トリガー」系アクティビティをモダン フレームワークに移行しました。新しく追加したモダンの [クリック イベント トリガー] アクティビティと [キー押下イベント トリガー] アクティビティは、より使いやすいユーザー インターフェイスを備えており、統合ターゲットの概念を通じて要素を識別したり、オブジェクト リポジトリの要素を使用したりできます。

これらのトリガーには元のイベントをブロックして後で再生したり、無視したりする機能があるため、すべてのフィールドが正しく入力されるまでフォームの送信を停止する、といった実装シナリオを実現できます。トリガーを、トリガーベースの有人オートメーション ソリューションの一部として提供する重要な理由がここにあります。

クラシック アクティビティの [クリック トリガー] および [キー操作トリガー] は、 [アクティビティ] タブの [クラシック] フィルターがオンになっている場合は、このパッケージ バージョンでも表示されます。

すべての「トリガー」系アクティビティ ([アプリケーション イベント トリガー]、[クリック イベント トリガー]、[キー押下イベント トリガー]) において、次のような挙動があります。

• アクティビティが [トリガー スコープ] 内にある場合、アクティビティの [スケジュール モード] プロパティと [有効] プロパティは表示されません。この場合、[トリガー スコープ] アクティビティの [スケジュール モード] プロパティが利用できます。

• アクティビティを [トリガー スコープ] なしで追加すると、[トリガー スコープ] が自動的に生成され、アクティビティの [スケジュール モード] プロパティと [有効] プロパティが表示されます。

一部の既存のクラシック「トリガー」系アクティビティは、トリガーされるワークフロー内 (新しいモデル) または [トリガー スコープ] アクティビティ内 (古いモデル) の両方で使用できます。

• ホットキー トリガー
• マウス トリガー
• 画像クリック トリガー
• システム トリガー
• SAP セッション属性変更トリガー
• 要素ステート変更トリガー
• 要素属性変更トリガー

ただし、[要素ステート変更トリガー] アクティビティと [要素属性変更トリガー] アクティビティは、アクティビティ パッケージ内では非表示になりました。ワークフロー内に表示されている場合は使用できますが、デザイン パネルに追加することはできなくなりました。

[ テキストを設定 ] アクティビティに最新バージョンを追加しました。このバージョンでは、統合ターゲットの概念を持つターゲットを識別でき、オブジェクト リポジトリに保存されている要素を使用できます。さらに、ターゲット要素をキャッシュして、複数の UI 要素間でテキストを同期する場合など、繰り返し実行する場合の実行速度を向上させることができます。

ネイティブ WPF のサポート

Active Accessibility を使用して WPF アプリケーションの操作を自動化できるようになりました。Active Accessibility は、そのアプリケーションに対してアクセシビリティのサポートが無効化されていない限り、既定で使用できます。たとえば、アプリケーションの更新後にアクセシビリティのサポートが失われる可能性があります。その場合、特定の領域内の個々の要素をターゲットに設定できないことがあります。

UiPath.UIAutomation.Activities v2023.4現在使用されている汎用のアクセシビリティ API ではなく、ネイティブの WPF API を使用して UI 要素にアクセスできるようにします。この機能は、変更に復元力があり、 <wpf> 属性を持つセレクターを使用して、WPF アプリケーションを確実に自動化することを目的としています。

この機能は、新しいプロジェクト設定 [UI Automation モダン] > [ターゲット メソッド - デスクトップ アプリケーション] > [ネイティブの WPF セレクターを生成 (プレビュー)] から使用できます。このオプションの既定値は [False] です。

今後のバージョンで重大な変更が発生する可能性があるため、v2023.4 では、この機能はプレビュー段階です。

UI Automation モダン

[ JS スクリプトを挿入 ] アクティビティには、クラシックとモダンのどちらにも [ 実行の世界 ] プロパティ フィールドが新しく追加され、スクリプトを実行する JavaScript の世界を設定できるようになりました。[分離] オプションは、アクティビティの以前の機能用です。これにより、コンテンツ スクリプトは、ページと競合することなく JavaScript 環境に変更を加えることができます。新しい [ページ ] オプションを使用すると、スクリプトはページを操作することもできます。

モダン アクティビティ パッケージには、[要素を確認] アクティビティも追加しました。有効化または無効化された要素の状態をキュレーションされた方法で確認し、その結果に基づいてアクションを実行できます。たとえば、複数ページのアプリケーション内を移動してデータをスクレイピングし、最後のページに到達したときに次ページへのボタンが無効化され、スクレイピングを停止する必要があるオートメーションの作成時に使用できます。

ターゲット要素の検索領域を最小化してオートメーションの信頼性を向上させるため、モダン アクティビティではアプリケーション カード/スコープを使用する必要があります。ただし、今回のリリースより、アクティビティが入力として UiElement を受け取る場合は、アプリケーション カード/スコープを使用する必要がなくなりました。これに伴い、すべてのモダン アクティビティを更新しました。

StudioX で [属性を取得] アクティビティを使用して Excel に出力を保存する際に、要素のリストを書き込めるようになりました。

スケール ファクター (設計時/実行時) を使用して、画像セレクターの照合機能を改良しました。

[属性を取得] アクティビティを改良し、選択した属性に基づいたオブジェクト型が返されるようにしました。

表抽出レコーダーで、列名が重複する場合に赤いインジケーターが表示されるようになりました。

SAP

SAP WebGUI に対して、ハードウェア イベントを使用した信頼性のある自動化がサポートされました。要素の正確な識別が可能になり、プレフィックスが sapweb-ls (LightSpeed コントロールの場合) や sapweb- (SAP Scripting コントロールの場合) の属性が安定しました。また、ハードウェア イベントを使用した UI Automation アクティビティ ([クリック]、[文字を入力]、[項目を選択] など) の信頼性が向上しました。今回のリリースでは、SAP のボタン (アイコン、プッシュ ボタン、ラジオ ボタン)、SAP の入力フィールド、SAP のドロップダウン リスト、SAP のチェックボックスの要素に対して、専用のサポートを追加しました。

SAP Fiori のカレンダーがサポートされるようになりました。[カレンダーから日付を選択] アクティビティを追加し、SAP S/4HANA や SAP SuccessFactors など、すべての SAP Fiori ベースのシステムのカレンダーの操作を簡単に自動化できるようにしました。

SAP Fiori プロセス フロー コントロールのサポートを追加し、これらの要素のステータスを抽出できるようにしました。また、プレフィックス ui5c- が付いており、JSON 形式で表される複雑な属性の概念も導入しました。なお、新しい属性の内容は永続的ですが、文字列は信頼できません。たとえば、最初の呼び出しでは {“a”:”value1”, “b”:”value2”} が返され、次の呼び出しでは {“b”:”value2”, “a”:”value1”} が返される可能性があります。

Computer Vision

Computer Vision を統合ターゲット ソリューションに追加し、セレクターと Computer Vision の記述子の両方が必要な UI ベースのオートメーションを構築しやすくしました。

この追加により、UI ベースのオートメーションに変更が発生した場合の信頼性と回復性が向上しました。ユーザーがアプリケーションの UI 変更をコントロールすることはほとんどなく、UiPath のロボットが、UI の確定的な変更によってオートメーションが破損したり、影響を受けたりしないように対応する必要があります。

Computer Vision は、まれにドライバーが特定の UI 要素を「確認」できない場合や、VDI 操作の自動化などの、使用できるテクノロジが他にない場面で UI 要素をターゲット設定するためのメソッドです。Computer Vision を使用するユース ケースは他にも数多くあります。

ネイティブ ウィンドウで指定したオートメーションは、ウィンドウ セレクターを置き換えればリモート デスクトップ環境で再利用できるため、移植性があります。

[プロジェクト設定] > [UI Automation モダン] の [デスクトップ アプリケーション]、[Java]、[Web ブラウザー] では、Computer Vision は既定で有効化されていますが、SAP では既定で無効化されています。SAP は厳密セレクターを使用するためです。

Computer Vision は、[選択オプション] ヘルパーの新しいアイコン、またはキーボード ショートカット (F8) で有効化できます。

[CV 更新] アクティビティがパッケージに表示されなくなり、新しいプロジェクトで使用できなくなりました。

既知の問題

[ WebView2 のネイティブな自動化を有効化 ] ( [プロジェクト設定] > [UI Automation クラシック] > ブラウザー) を [ True] に設定すると、「トリガー」系アクティビティで Web セレクターが既定で生成されます。現在、UI Automation パッケージの「トリガー」系アクティビティでは埋め込みブラウザー アプリがサポートされていないため、既定で生成されるセレクター (Web セレクター) を使用するとイベントがトリガーされません。これを回避するには、ターゲット UI 要素を指定する際に UI フレームワークを [ 既定 ] から [Active Accessibility ] に変更して、AA セレクターを使用します。なお、UI Automation パッケージの「トリガー」系アクティビティでの埋め込みブラウザー アプリのサポートは、今後のバージョンで追加予定です。

Java Runtime Environment の制限により、[アプリケーション イベント トリガー] alt監視アクティビティから中央ボタンと右ボタンに対してトリガーされたClick イベントと Mouse released イベントで予期しない修飾子の動作が発生します。ただし、中央ボタンとalt修飾子を使用して同じ操作を実行すると、正しく報告されます。修飾子なしで右ボタンのアクションは、 win/meta 修飾子を報告します。右ボタンと win/meta 修飾子で同じ操作を実行すると、正しく報告されます。

WPF ネイティブ アプリでの [ウィンドウ メッセージを送信] の使用は現在サポートされていません。

バグ修正

• [ 保護モードを有効化 ] オプションが既定で有効化されている場合でも、2022.003.20258 よりも新しいバージョンの Acrobat Reader の操作を自動化できるようになりました。詳しくは、「 Adobe Reader DC のセキュリティ オプション」をご覧ください。
• 入力メソッドが [シミュレート] に設定された [クリック] アクティビティを使用すると、特定のフォーム要素で失敗していました。この問題を回避するための [MV3 拡張機能使用時のクリックをシミュレートの回避策を有効化] オプションを、[プロジェクト設定] から使用できるようになりました。
• 一部の Web サイトで、Edge IE モードの場合にセレクターの検証に失敗していました。この問題は、Edge IE モードで開いた Web ページの URL が、Edge Chromium の場合とは別の URL にリダイレクトされて発生していました。
• ブラウザー操作を自動化するアクティビティで Chrome 拡張機能との通信が断続的に失敗し、「ブラウザーと通信できません。UiPath 拡張機能をご確認ください。」というエラーが発生していました。この問題は、速度が遅いマシンや CPU の負荷が高いマシンで発生していました。この問題を解決するため、Chromium ブラウザーの通信タイムアウト値を 30 秒に引き上げました。
• Internet Explorer の [デベロッパー ツール] ウィンドウでタブ要素を指定できない問題を修正しました。
• プロジェクト設定の UI Automation クラシックの > ブラウザー> WebView2 のネイティブな自動化を有効化] を [True] に設定すると、SAP Business Client 内で開かれる特定の SAP Fiori ページで、HTML セレクターと WEBCTRLセレクターではなく、WND セレクターと CTRL セレクターが生成されていました。
• リモート デスクトップ クライアントを RemoteApp としてパブリッシュすると、リモート デスクトップに対するセレクターの生成が失敗する問題を修正しました。
• Java アプリケーションで [表示中のテキストを取得] アクティビティを使用すると、UiPath Executor がクラッシュする問題を修正しました。
• Java Runtime Environment のバージョンが 13 から 19 の場合に、表のセルでエディターを開いてそのセルを指定すると、エディターと一致する role (text など) を持つ有効な要素が返されるようになりました。以前は、使用できない要素が結果として返されていました。
• 保護モード がオフになっている Edge IE モードで Web ページを開くと、[クリック トリガー] アクティビティにより対象のアプリケーションの速度が低下する問題を修正しました。
• 表抽出で入力フィールドから値を抽出できない問題を修正しました。修正前は、メタデータで生成される既定の text 属性で、テキストの取得に innerText HTML プロパティが使用されていました。v2023.4 から、新しく生成されるワークフローとアクティビティでは、 fulltext が既定の属性として使用されます。この新しい属性は、全文スクレイピング メソッドと同じアプローチを使用します。新しいアクティビティで innerText プロパティを使用するには、メタデータを手動で編集し、属性名を fulltext からテキストに変更します。
• データ スクレイピングで、列インデックスが列名として誤ってマークされていたことが原因でデータ テーブルの結合ウィザードが失敗し、「列が見つかりません。」というエラー メッセージが表示される問題を修正しました。
• [CV 表を抽出] アクティビティを使用してスクロール可能な表を抽出する際に、最初のスクロール イベントより前に実行が停止することがありましたが、この問題を修正しました。
• [入力モード] が [シミュレート] に設定されていると、[クリック] アクティビティが特定の要素でスタックする問題を修正しました。この問題を解決するため、クラシック アクティビティの [クリック] アクティビティに [ブロック解除入力] プロパティを追加しました。これは、[クリック] によってモーダル ダイアログ ボックスやその他のブロックする UI がトリガーされるときに使用する必要があります。
• カルチャ情報でコンマが小数点区切り文字として解釈された場合に、モダン アクティビティが正しく動作しない問題を修正しました。
• [ブラウザーにアタッチ] アクティビティで Browser 変数を使用すると、メモリ リークが発生する問題を修正しました。
• [OCR でテキスト位置を探す] アクティビティで、テキストに特殊文字 (例: %) が含まれている場合に不正確な位置が返される問題を修正しました。
• ターゲットの編集時に、オブジェクト リポジトリのデザイン データの属性が正しく更新されない問題を修正しました。
• [文字を入力]、[キーボード ショートカット]、および [マウス スクロール] アクティビティで、「Click Offset is not supported on Simultate Input mode」という無効な警告メッセージが表示される問題を修正しました。
• [CV 画面スコープ] アクティビティのカードから [UiPath Screen OCR] を削除しても、または [プロジェクト設定] で OCR を無効化しても、ローカル サーバーから OCR の単語ボックスが返され続ける問題を修正しました。