activities

latest

false

重要 :

このコンテンツの一部は機械翻訳によって処理されており、完全な翻訳を保証するものではありません。

UI Automation のアクティビティ

Last updated 2024年10月28日

v24.10

v24.10.7

公開日: 2024 年 10 月 21 日

改良点

Studio Web の [表抽出] ウィザードで、デスクトップ版と同様の Computer Vision が完全にサポートされるようになりました。

Windows プロジェクトとクロスプラットフォームプロジェクトのどちらでも、[チェック/チェック解除] アクティビティの [アクション] プロパティで式を使用できるようになりました。

v24.10.6

公開日: 2024 年 10 月 21 日

UI Automation モダン

[ポップアップを閉じる] アクティビティに [AI 強化モード] オプションを追加しました。このオプションでは、トグルボタンが有効化されている場合に AI を活用してポップアップを閉じることができます。トグルボタンが有効化されている場合、AI による閉じる操作ごとに 1 AI ユニットが消費されます。

クロスプラットフォームプロジェクトの [アプリケーション/ブラウザーを使用] アクティビティで [画面上で指定] オプションが利用可能となり、デスクトップアプリケーションを選択できるようになりました。プロジェクト設定の [Java オートメーションを有効化 (プレビュー)] ([プロジェクト設定] > [UI Automation] > [一般]) が [False] に設定されている場合は、Chrome ブラウザーウィンドウのみを指定できます。[True] に設定すると、Java アプリケーションも指定できます。

デスクトップアプリケーション用に、クロスプラットフォーム プロジェクトの [アプリケーション/ブラウザーを使用] アクティビティに [タイトルが完全に一致] プロパティを追加しました。

[選択オプション] ヘルパーの [選択を一時停止] ボタンが、時間ベースの選択の一時停止と、タイムアウトなしの [一時停止]/[再開] 機能の両方に使用できるようになりました。

コード化されたワークフローで表抽出ウィザードを利用できるようになりました。

Windows プロジェクトで、デザイナーパネルにモダンアクティビティを追加すると、スコープが自動的に含まれるようになりました。これは、[アプリケーション/ブラウザーを使用] スコープアクティビティを必要とし、新しいアクティビティカードのデザインを使用しないアクティビティに適用されます。

コード化されたワークフローで [アプリ/Web レコーダー] がサポートされるようになり、コード化されたオートメーションを生成できるようになりました。

クラシックとモダンの両方の [JS スクリプトを挿入] アクティビティで、非同期スクリプトがサポートされるようになりました。また、このアクティビティをコード化されたワークフローで利用できるようになりました。

オブジェクトリポジトリ

[Studio] > [設定] > [デザイン] > [デザインのスタイル] で [オブジェクトリポジトリを適用] が [はい] に設定されている場合は、オブジェクトリポジトリに同期されていない UI 要素に関連するすべての検証エラーを [オブジェクトリポジトリを同期] ツールを使用してすぐに解決できることを知らせるバナーがアプリケーションカードに表示されます。また、リンクされたオブジェクトがオブジェクトリポジトリと同期されていない場合は、それらのオブジェクトも同期されます。

新しいプロジェクトにオブジェクトリポジトリが適用されるようになりました。UI Automation アクティビティバージョン 24.10.6 以降を依存関係として作成された新しい Windows プロジェクトおよびクロスプラットフォームプロジェクトでは、新しいプロジェクト設定 [UI 要素をオブジェクトリポジトリに自動的に追加] ([プロジェクト設定] > [UI Automation Modern] > [一般]) が既定で [True] に設定されます。

オブジェクトリポジトリの [スキャンウィザード] の [すべての要素をキャプチャ] に、テキスト要素をキャプチャするための新しいオプションを追加しました。

[すべての要素をキャプチャ] ウィンドウの配置を変更し、画面上の要素と重ならないようにしました。ウィンドウが要素と重なっている場合、抽出中はウィンドウが表示されないようになりました。

UI Automation クラシック

ワークフローアナライザーのルール UI-PRR-001 で、プロジェクト設定の [クリックをシミュレート] と [ウィンドウメッセージを送信] ([プロジェクト設定] > [UI Automation クラシック] > [マウスイベント]) が考慮されるようになり、両方のプロジェクト設定の値が同じである場合、または同じ値がない場合に、ワークフロー検証の警告が表示されるようになりました。

トリガーベースの有人オートメーション

chrome.webRequest イベントの監視のサポートが追加されました。

Web 要求: リダイレクト前
Web 要求: 要求前
Web 要求: HTTP ヘッダーの送信前
Web 要求: 完了時
Web 要求: エラー発生時
Web 要求: HTTP ヘッダー受信時
Web 要求: 応答開始時
Web 要求: HTTP ヘッダー送信時

これらのイベントは、<html> セレクターによって識別された Web ページの [アプリケーションイベントトリガー] アクティビティの [イベントの種類] ドロップダウンリストで使用できます。

セマンティックアクティビティ

[フォームに入力] アクティビティと [値を設定] アクティビティに [検証を有効化] オプションを追加しました。このオプションが有効化されていて、実行時に検証に失敗すると、例外がスローされます。これは、アプリケーションの動作が遅かったりアプリケーションが応答しなかったりした場合、またはその他の実行に関連する問題が発生した場合に役立ちます。このオプションは、コード化されたワークフローでも使用できます。

[フォームを入力] アクティビティで、非構造化データを入力として使用できるようになりました。

ラジオグループとドロップダウンの [値を設定] アクティビティにセマンティックマッチングを実装しました。

Computer Vision

純粋な Computer Vision のシナリオ (利用可能なリモートランタイムがないためにセレクターにアクセスできないリモートデスクトップ環境など) では、表抽出によってドライバーの機能がミラーリングされます。ラジオボタンまたはチェックボックスの状態に対応する文字列 checked または unchecked を出力します。

変数と引数の評価を最適化して、重複する要求を減らしました。以前は、Computer Vision エンドポイントと UiPath Screen OCR エンドポイントの両方に要求が送信されていました。現在は、変数と引数が Computer Vision エンドポイントを指している場合、要求が 1 つだけ送信されます。ただし、エンドポイントがドメイン内にない場合は、UiPath Screen OCR エンドポイントにも要求が送信されます。

Computer Vision エンドポイントを参照すると、モデルのバージョンが表示されるようになりました。

SAP

SAP Fiori のユーザーインターフェイスに対して、[表データを抽出] アクティビティと [ツリーを展開] アクティビティがサポートされるようになりました。

[SAP セッション属性変更トリガー] を除くすべての SAP アクティビティが UI Automation モダンに対応するようになりました。

SAP Web インターフェイスのオートメーションに使用される古い Internet Explorer のサポートを終了しました。

ブラウザー拡張機能

Safari 拡張機能の一般提供を開始しました。

リモートオートメーションのサポート

PCoIP (PC over IP) プロトコルを使用することにより、UiPath リモートランタイムが Amazon WorkSpaces に対応しました。Amazon WorkSpaces 拡張機能が新しく開発され、新しい拡張機能と容易に通信できるよう UiPath リモートランタイムが更新されました。

macOS の UI Automation

macOS UI Automation がデスクトップアプリケーションでプレビューとして利用できるようになりました。Chrome ブラウザーのサポートに加えて、Safari ブラウザーウィンドウと Java デスクトップアプリケーションも自動化できるようになりました (新しい [Java オートメーションを有効化 (プレビュー)] プロジェクト設定は [True] に設定する必要があります)。

バグ修正

1 つのテーブル項目を選択すると、DOM ツリー全体 (18 万行) がセレクターとしてロードされ、ソフトウェアがクラッシュしていました。
アプリ/Web レコーダーで同じオブジェクトを指定すると、スクリーンショットが別のプログラムで使用されていることを示すエラーメッセージが表示されます。
Firefox インスタンスがすでに実行されているときに、新しい Firefox インスタンスをプライベートブラウジングモードで起動すると、プロセスで「対象のアプリケーションを開けませんでした。」というランタイムエラーが発生します。
Java アプリケーションによって表示される Java ダイアログの UI 要素を Edge 拡張機能で指定しようとすると、Java ダイアログが閉じていました。
モダンアクティビティの [ターゲット] プロパティの下に表示されている [クリックのオフセット] プロパティが有効化され、[プロパティ] パネルから設定できるようになりました。
[表抽出] ウィザードで [スクロール可能な表かどうか] オプションを有効化した状態で Computer Vision の表を抽出すると、以前は、[アプリケーション/ブラウザーを使用] アクティビティで選択した入力メソッドを使用してスクロールが開始されていました。現在は、[ハードウェアイベント] 入力メソッドを使用してスクロールが実行されるようになりました。
[属性を取得] アクティビティでは、Computer Vision のみによるターゲットを指定できましたが、UiPath リモートランタイムがインストールされていないリモートデスクトップでも WND セレクターから属性を指定できていました。セレクターが利用できない場合にこのアクティビティから指定できるのは Computer Vision のチェックボックスと Computer Vision のラジオボタンのみになりました。
統合ターゲットのターゲットメソッドとして Computer Vision のみを使用した場合、自動アンカーが Computer Vision の要素のみとなることがありました。現在は、利用可能な場合には自動アンカーでセレクター情報も使用されるようになりました。
[文字を入力] アクティビティで、実行時に Computer Vision または画像ターゲットメソッドを使用してターゲットが見つかった場合、テキストの抽出エラーにより、[実行を検証] の実行に失敗していました。

既知の問題

以下のアクティビティには、[アプリケーション/ブラウザーを使用] スコープアクティビティは自動的に追加されません。

チェック/チェック解除
ドラッグアンドドロップ
表データを抽出
繰り返し (各 UI 要素)
URL を取得
JS スクリプトを挿入

v24.10.5

公開日: 2024 年 10 月 21 日

UiPath Clipboard AI

Clipboard AI 2024.10.5 がサポートされるようになりました。

v24.10.3

公開日: 2024 年 8 月 12 日

UI Automation を素早く作成する

Studio Web の Automation Ops ポリシーで [Autopilot を許可] が [いいえ] に設定されている場合は、参考スクリーンショットのボックスの右上隅にある [Autopilot を使用して UI Automation アクティビティを生成します。] アイコンが [レコーダーを使用して UI 操作のオートメーションを素早く作成] に変わります。

v24.10.2

公開日: 2024 年 7 月 16 日

Autopilot 機能を制御する

注:

追記 (2024 年 8 月 12 日)

2 つ目の方法 (AI Trust Layer のポリシーを追加して [AI Trust Layer を介したサードパーティの AI モデルへの呼び出しを有効化] トグルボタンを無効化する) では現在、UI Automation の Autopilot レコーダーを使用したアクティビティの生成は制限されません。

Autopilot は、既定ですべてのユーザーに対して有効化されています。

Automation Ops のガバナンスポリシーを使用して Autopilot 機能を無効化するには、次の 2 つの方法があります。

Studio Web のポリシーを追加して [Autopilot を許可] オプションを [いいえ] に設定する
AI Trust Layer のポリシーを追加して [AI Trust Layer を介したサードパーティの AI モデルへの呼び出しを有効化] トグルボタンを無効化する

いずれかのオプションが無効化されている状態でも、UI Automation の Autopilot レコーダーを使用することはできますが、テキストプロンプトを使用してアクティビティを生成することはできません。レコーダーで手動でアクティビティを追加することはできます。

v24.10.1

公開日: 2024 年 7 月 1 日

UI Automation の Autopilot レコーダー

最新の機能である UI Automation の Autopilot レコーダーを追加しました。AI を活用したこのツールを使用すると、UI Automation のシーケンスを構築し、キャンバスに入力することができます。アクティビティは、自然言語プロンプトを使用して生成することも、レコーダーで手動で追加することもできます。

レコーダーでは、[テスト] および [「プロンプト」を続行] ボタンを使用して、自動化対象のアプリケーション内を移動できます。[テスト] ボタンをクリックすると、生成または構築したアクティビティがすべて実行され、次のアプリケーションステートに移行します。プロンプトが完全に網羅されていない場合は、[「プロンプト」を続行] をクリックすると、必要なアクティビティが生成されます。これら 2 つのボタンを使用して、UI Automation のシーケンスのベースを作成するプロセスをシームレスに進めることができます。

レコーダーについて詳しくは、「UI Automation の Autopilot レコーダー」をご覧ください。

Autopilot イニシアチブの詳しい概要については、『Autopilot ガイド』をご覧ください。

v24.10.0

公開日: 2024 年 7 月 1 日

全般的な改良点

Java コントロール BasicTreeTable および JxTreeTable のカスタムサポートを追加しました。
コード化されたワークフローから [ポップアップを閉じる]、[ランタイムブラウザーを設定]、[値を設定] アクティビティを使用できるようになりました。
セキュリティを強化するため、出力の .xaml ファイルに [フレンドリ名] プロパティが含まれなくなりました。
[表データを抽出] アクティビティに DevExpress のグリッドのサポートを追加しました。
ワークフローアナライザーのルール「UI-USG-011」で、idx=* を使用したセレクターが無視されるようになりました。これは、非貪欲検索で使用される有効なケースであるためです。

UI Automation モダン

有人モードでの実行時または Studio でデバッグ中に UI 要素が見つからないために実行が停止した場合、画面にダイアログボックスが表示されます。以前はエラーメッセージのみが表示されていましたが、現在はダイアログボックスにいくつかのオプションが表示され、これを使用して次に何をするかを決定できます。この機能は、プロジェクト設定の [実行時エラー発生時にユーザーに確認] ([UI Automation モダン] > [一般]) で有効化できます。デバッグモードでは、実行終了時に変更を保存できるため、次のワークフローの実行は正しいセレクターで開始されます。[リトライ]、[無視]、[続行] のオプションに加えて、[要素を指定] オプションもあります。この特定のオプションは、以下のアクティビティでのみ使用できます。

チェック/チェック解除
要素を確認
クリック
属性を取得
テキストを取得
強調表示
ホバー
JS スクリプトを挿入
キーボードショートカット
項目を選択
テキストを設定
スクリーンショットを作成
文字を入力
アプリケーション/ブラウザーを使用

新しい [ランタイムブラウザーを設定] アクティビティを使用すると、オートメーションの実行全体で使用されるブラウザーの種類を簡単に設定できます。この選択は、別の [ランタイムブラウザーを設定] アクティビティによって上書きされない限り、実行が終了するまで有効です。この機能強化により、複数のブラウザーでオートメーションを実行するプロセスが簡素化され、セレクターを手動で設定したり、テストコードを複製したりする必要が最小限に抑えられます。このアクティビティは、Windows プロジェクトとクロスプラットフォームプロジェクトの両方で利用できます。

[ポップアップを閉じる] アクティビティは、予期しないポップアップによるオートメーションの中断に対応するための新しいアクティビティです。この AI ベースのアクティビティは、「閉じる」ボタン用に設定されたラベルを意味的に一致させることにより、検出されたポップアップ (ネイティブ、アラート、ブラウザーページ上、デスクトップアプリケーション内) を効率的に閉じます。このアクティビティは、Windows プロジェクトとクロスプラットフォームプロジェクトの両方で利用できます。

[JS スクリプトを挿入] アクティビティをクロスプラットフォームワークフローで利用できるようになりました。また、このアクティビティで、UI Automation モダンの機能を活用して統合ターゲット機能でターゲットを識別し、オブジェクトリポジトリに保存されている要素を使用できるようになりました。

新しいプロジェクトでは、[クリック]、[ホバー]、[キーボードショートカット]、[文字を入力] アクティビティで実行の検証機能が既定で有効化されています。[文字を入力] アクティビティでこの機能を無効化するには、プロジェクト設定 ([UI Automation モダン] > [実行を検証]) の [入力したテキストを常に自動検証] を [False] に設定します。[クリック]、[ホバー]、[キーボードショートカット] アクティビティの場合は、各アクティビティのプロジェクト設定の表示検証機能を無効化する必要があります。

[アプリケーション/ブラウザーを使用] アクティビティ内に配置された [アプリのステートを確認] アクティビティで、[すべてのアプリで指定] オプションを選択できるようになりました。これにより、現在のアプリケーションカードのスコープ外にあるウィンドウや要素のアプリケーションのステートを確認する際に、新しいアプリケーションカードを使用する必要がなくなりました。

クロスプラットフォームプロジェクトの [アプリケーション/ブラウザーを使用] アクティビティで [引数] プロパティを公開しました。このプロパティは Windows プロジェクトではすでに利用可能になっていました。

クロスプラットフォームプロジェクトの [ブラウザーを使用] アクティビティのターゲット URL がアクティビティ内から開けるようになりました。これにより、ターゲット URL が制御しやすくなりました。URL がすでに開いている場合は、フォーカスを置いたり、新しいタブでもう一度開いたりできます。

以前はクラシックアクティビティ専用だった以下のワークフローアナライザールールが、モダンアクティビティにも適用されるようになりました。

UI-ANA-016
UI-ANA-017
UI-DBP-013
UI-PRR-004
UI-REL-001
UI-SEC-004
UI-USG-011

ターゲットメソッドとしてあいまいセレクターが有効化されているときにターゲットの検索に失敗する場合に、一致の問題に簡単に対処できるようにするため、最も近い一致を強調表示した警告メッセージが画面に表示されます。セレクターノードを追加または削除して既定のセレクターを変更している場合や、一致が複数あるために検索が失敗した場合は、最も近い一致は表示されません。

[対象のアプリケーションを識別できませんでした。] のダイアログボックスに [今後表示しない] チェックボックスを追加しました。このチェックボックスをオンにすると、アプリケーションのステートが正しくないのでターゲットを編集したい場合に、ダイアログボックスは表示されず、選択画面が直接表示されます。

ターゲットとアンカーが重なる挙動を最適化するために、四角形の枠線を細くし、ラベルをはっきりと見える場所に配置しました。

重複するターゲットが選択画面にオンデマンドで表示されるようになりました。重複するターゲットを確認/非表示にするには、[重複を表示]/[重複を非表示] トグルボタンを選択します。

利用可能なアクティビティを要素の種類に基づいてカスタマイズし、[アプリ/Web レコーダー] の機能を強化しました。要素を指定する際にさまざまなアクティビティが表示され、関連するアクションを素早く見つけて選択できるようになりました。以下のアクティビティが利用可能です。

すべての要素の既定:
- クリック
- スクリーンショットを作成
- 強調表示
ラベルの場合:
- テキストを取得
編集可能なテキストボックスの場合:
- テキストを取得
- 文字を入力
ドロップダウンとリストボックスの場合:
- 項目を選択
- テキストを取得
ボタンの場合:
- クリック
- テキストを取得

変数の現在の値を選択画面で確認できるようになり、変数のコンテキストメニューにアクセスする必要がなくなりました。セレクタータグの変数にホバーするだけで、値がツールチップとして表示されます。

オフラインモードで編集するときのために、表抽出ウィザードに [アプリケーションを起動] オプションを追加しました。

トリガーベースの有人オートメーション

[アプリケーションイベントトリガー] アクティビティに、UI 要素「WND」、「CTRL」、「UIA」について監視できる 2 種類の新しいイベント「クリック」と「キーの押下」を追加しました。これまでは、[クリックイベントトリガー] または [キー押下イベントトリガー] アクティビティを使用して、[クリック] イベントと [キー押下] イベントを個別に監視できるようになっていました。

主に Internet Explorer でしか実行できないレガシアプリケーションのため、IE モードの Edge のネイティブイベントを監視できるようにサポートが強化されました。また、[アプリケーションイベントトリガー] アクティビティを使用することで、既存のすべての WEBCTRL 要素の Web イベントが、IE モードの Edge を使用するブラウザーページでもサポートされるようになりました。

Slack、Discord、Electron などのネイティブ埋め込みブラウザーでスタンドアロンアプリケーションを自動化する機能を基に、今回のリリースでは、CefSharp などの管理対象の埋め込みブラウザー内でのネイティブ監視のためのサポートを組み込みました。

Word、Outlook、Excel、OneNote などの Microsoft UI オートメーションフレームワーク上に構築されたアプリケーションのために、[テキスト選択の変更] イベントを監視するためのサポートが追加されました。

ネイティブアプリケーションに埋め込まれた WebView2 または Qt WebView ウィジェットを使用して、アクティブな CSP が読み込まれた Web ページの HTML ネイティブ監視のサポートを追加しました。プロジェクト設定の [WebView2 のネイティブな自動化を有効化] を [True] に設定する必要があります。

<html> + <webctrl> セレクターで識別された Web ページの HTML ウィンドウイベントを複数追加しました。

タブナビゲーションの開始
タブナビゲーションの終了
ウィンドウのフォーカスの変更
ウィンドウの境界の変更
ウィンドウの作成
ウィンドウの削除

セマンティックアクティビティ

最新のセマンティックアクティビティを使用すると、フォームの操作を簡単かつ効果的に自動化できます。Windows プロジェクトとクロスプラットフォームプロジェクトの両方で利用可能です。

[フォームデータを抽出] アクティビティは、フォームデータを念頭に置いて設計されています。このアクティビティでは、オートメーションパイプラインで構造化データを渡すのに最適なトークンであるカスタム型オブジェクトが作成されます。これらのカスタム型オブジェクトは、[フォームに入力] アクティビティや [値を設定] アクティビティで使用したり、データエンティティにデータの入力時に使用したりすることもできます。

[フォームに入力] アクティビティでは、任意の構造化データオブジェクトを入力として使用できます。DocumentData、Dictionary、DataEntity、DataRow、DataTable、JSON ファイル、さらにはカスタム型 ([フォームデータを抽出] アクティビティで出力として生成される型など) を使用できます。データスキーマは実行時に自動的に抽出され、AI によって入力先フォームのフィールドと意味的に照合された後、フォームに入力されます。データソースを指定するだけで、入力先のフォームが [アプリケーション/ブラウザーを使用] アクティビティから自動的に選択されます。

[値を設定] アクティビティは、[フォームに入力] アクティビティを簡素化したバージョンで、1 つの UI 要素だけに的を絞っています。このアクティビティを使用すると、データ入力プロセスを簡素化できます。テキストボックス、ドロップダウン、チェックボックス、ラジオボタンなど、さまざまなフォーム要素の種類に対応し、フォーム操作の自動化プロセスを強化します。さらには、日付の選択やラジオボタンのグループも処理できます。

Computer Vision

Computer Vision がクロスプラットフォームプロジェクトに移行し、統合ターゲットで完全に利用できるようになりました。これにより、Windows ベースのプロジェクトだけでなく、デスクトップ版の Studio のクロスプラットフォームプロジェクトや Studio Web でも、セレクターを使用しないシナリオを自動化できるようになりました。

このリリースでは、新しい Vision Transformer AI モデルが導入されました。新しい Vision Transformer アーキテクチャにより、Computer Vision ベースのオートメーションにおける UI 要素の検出が全体的に高速化され、精度が向上しました。これにより、エラーを低減しオートメーションワークフローを高速化できます。特に、表検出が大幅に改善され、さまざまな表構造とサイズがサポートされるようになりました。なお、GPU の要件が高いため、このモデルは UiPath のクラウドサーバーでのみ利用できます。

[項目を選択] アクティビティで Computer Vision が完全にサポートされるようになり、Computer Vision のみを使用するシナリオだけでなく、セレクターと Computer Vision の両方を使用するハイブリッドシナリオにも対応可能になりました。セレクターが使用できない場合 (Computer Vision 単体のシナリオ) は、このアクティビティが [CV ドロップダウンリストから選択] アクティビティの機能を担うようになりました。セレクターが使用可能だが実行時に失敗した場合 (ハイブリッドシナリオ) は、Computer Vision によって自己修復プロセスがトリガーされ、Computer Vision の情報に基づいて新しいセレクター検索が実行されます。その後、このセレクターが実行に使用されます。さらに、問題のあるセレクターと自己修復結果の詳細が記載された警告メッセージがログに表示されるため、新たに検出されたセレクターを使用してオートメーションの問題を修正できます。

[属性を取得] アクティビティで、チェックボックスに加えてラジオボタンもターゲットとしてサポートされるようになりました。これには、新しい属性「checked」が使用されます。この属性は、Computer Vision AI モデルの検出結果に従って Boolean 値 (True または False) を返します。

スクロールイベントがターゲット要素に送信されるポイントをカスタムで定義できるようになりました。以前は、スクロールイベントはターゲット要素の途中で送信されていましたが、現在は [CV 画面スコープ] アクティビティの [スクロールのオフセット] プロパティで Computer Vision アクティビティの実行時の自動スクロール機能を使用できます。スクロール可能な表やテキストを抽出する場合は、[CV 表を抽出] アクティビティと [CV テキストを取得] アクティビティの [内容のスクロールのオフセット] プロパティを使用します。

あいまいセレクターのターゲットメソッドで自動アンカーが見つからない場合、Computer Vision を使用して、自動アンカーが AI モデルにより生成されるようになりました。

[ブラウザー/アプリケーションを使用] アクティビティと [CV 画面スコープ] アクティビティで、既定の UiPath Screen OCR エンジンから UiPath Extended Languages OCR エンジンに切り替えるには、Computer Vision の API キーを指定する必要があります。設定は、アクティビティレベルの [API キー] プロパティで実行するか、[プロジェクト設定] > [OCR] > [UiPath Extended Languages OCR] > [API キー] で指定できます。

Computer Vision の実行時の分析を追跡できるようにし、デバッグ速度を向上させるために、HTTP 要求のヘッダーで DesignTime ScreenId が送信されるようになりました。

SAP

Studio の [プロジェクト設定] > [UI Automation クラシック] > [SAP] に [追加のスケーリングを有効化] を新しく追加しました。この設定を使用すると、実行されたトランザクションとテストケースをリンクできます。[SAP の監視を有効化] を [True] に設定すると、実行されたトランザクションとその依存関係に関する情報が実行時に収集され、Test Manager に送信されます。現在、この設定は Studio のテストオートメーションプロジェクトでのみ利用できます。他の種類のプロジェクトでは、今後のリリースで利用できるようになる予定です。

新しい SAP WebGUI 要素である SAP ステータスバーのサポートを追加しました。SAP の [ステータスバーを読み取り] アクティビティを使用して、SAP のステータスバーからメッセージの種類とテキストを抽出できるようになりました。

ブラウザー拡張機能

Google の Chrome Manifest V2 (MV2) の廃止のスケジュールにあわせて、2024 年 6 月より、Chrome および Edge 用の既存の Studio Web 拡張機能は、Manifest V3 に完全に対応したものに更新されました。この際、両方のブラウザーで同じ拡張機能 ID を維持するようにしました。新しい MV3 拡張機能は、ブラウザーを再度開いたときに自動的に更新されるので、ユーザーからのアクションは必要ありません。

Chrome および Edge 用の v24.10 の拡張機能にアップグレードした場合、グループポリシーから拡張機能をインストールする際に DeveloperToolsAvailability ポリシーの値を手動で「1」に設定する必要がなくなりました。

Safari の UI 要素の自動化がプレビューでサポートされるようになりました。新しく追加された UiPath Safari 拡張機能では、macOS 上の Safari を使用して Studio Web で UI オートメーションを設計したり、macOS 上の UiPath Assistant と Robot を使用して Safari でブラウザーオートメーションを実行したりできます。

オブジェクトリポジトリ

オブジェクトリポジトリを大幅に改良し、これまでサポートされていなかったシナリオに対応する機能を追加しました。以下の段落では、各改良点について包括的にまとめて説明します。

デスクトップ版の Studio において、これまで Windows 専用だったオブジェクトリポジトリのサポートが拡張され、クロスプラットフォームも含まれるようになりました。クロスプラットフォームの種類のプロジェクトでも UI オブジェクトを作成および再利用できるため、オートメーションの開発プロセスを迅速化し、メンテナンスコストを削減できます。また、アプリケーションや UI 要素のセレクター構造が変化した場合に影響を受けるオートメーションを簡単に調整できるようになります。

Computer Vision と DOM 抽出器を合体させた Clipboard AI の高度な UI 抽出エンジンの力を利用する「すべてをキャプチャ」機能によって、スクロール可能なコンテンツやハイパーリンクなど、Web ページのあらゆる要素をキャプチャできるようになりました。この機能の導入前は、Computer Vision モデルのみを利用して要素を検出していたため、表示されている要素しか抽出できませんでした。今回、DOM 抽出器が追加されたことで、表示されている要素だけでなく、すべての要素を抽出してオブジェクトリポジトリのライブラリに追加できるようになりました。

[強調表示] アイコンを使用して、[要素をキャプチャ] ウィンドウで現在の選択を維持したまま、抽出された要素を強調表示できるようになりました。

オブジェクトリポジトリ内で画面、ノード、アプリケーションを作成、統合、編集する際のユーザーエクスペリエンスが簡素化され、プロセスが最初から最後まで効率化されました。これまでは、多数の確認画面を手動で操作する必要がありましたが、オブジェクトリポジトリによって新しいオブジェクトが適切なアプリケーションや画面に自動的に割り当てられるようになりました。不足している親オブジェクトがある場合、オブジェクトリポジトリによって自動的に作成されます。

オブジェクトリポジトリを使用せずにオートメーションを作成済みの場合に、アクティビティとターゲットをオブジェクトリポジトリライブラリに追加したいときは、新しいオブジェクトリポジトリを同期ウィザードを使用できます。このウィザードは、UI を操作するすべてのアクティビティを同期し、その名前が付いたアプリケーション、その名前が付いた画面、および対応する UI 要素をローカルリポジトリに作成します。以前は、各アプリケーション、画面、要素を手動でオブジェクトリポジトリに追加する必要がありましたが、プロジェクト全体が一度にオブジェクトリポジトリのローカルライブラリに追加されるようになりました。これは、モダンアクティビティとクラシックアクティビティの両方で使用できます。クラシックアクティビティでは、完全セレクターを使用しているターゲットのみが追加され、部分セレクターを使用しているターゲットは追加されません。さらに、既存のライブラリを含めることができ、指定した一致するオブジェクトが自動的に同期されるようになりました。

アクティビティがオブジェクトリポジトリにリンクされている場合に、ターゲットの [プロパティ] パネルでローカルオブジェクトに加えた編集内容が、オブジェクトリポジトリの対応する記述子に自動的に反映されるようになりました。このため、手動で同期する必要がなくなりました。

読み取り専用オブジェクトにリンクされているアクティビティのターゲットプロパティは、自動的に無効化されます。これまで、このようなターゲットプロパティは [プロパティ] パネルでアクティブなままになっており、混乱を招く可能性がありました。現在は、ターゲットプロパティを編集する場合、オブジェクトのリンクを解除してローカルで編集できるようになりました。ただし、このような変更は、オブジェクトリポジトリの実際の記述子には反映されないことに注意する必要があります。

UI Automation アクティビティのハンバーガーメニューを標準化し、ローカルのオブジェクトリポジトリにリンクされたターゲットが含まれるアクティビティのオプションが、通常のアクティビティのオプションに合わせて調整されました。以前は、[画面上でターゲットを指定] や [ターゲットを編集] などの特定のオプションは、オブジェクトリポジトリにリンクされたアクティビティでは利用できませんでした。また、オブジェクトリポジトリの使用が強制されている場合と強制されていない場合の、[アプリケーション/ブラウザーを使用] アクティビティの指定機能も標準化しました。

[表データを抽出] アクティビティをオブジェクトリポジトリと同期する際に、UI 要素を編集できるようになりました。

バグ修正

SAP Interaction Center のセレクターに iframe を使用しないようにすると、UI Explorer でセレクターの検証に失敗していました。
32 ビットの実行可能ファイルを使用してターミナルの Java アプリケーションを実行すると、予期しない動作が発生していましたが、32 ビットと 64 ビットの実行可能ファイルの両方でスムーズに動作するようになりました。
Kendo Angular の表の 2 ページ目に移動する際に、[表データを抽出] アクティビティでデータのスクレイピングに失敗していました。
バージョン 21.10.6 以降のパッケージで発生していた、設計時のエクスペリエンスに影響していた Java アプリケーションのポップアップの問題を修正しました。
プロジェクト名に日本語の文字が含まれていると、[OCR - 中国語、日本語、韓国語] アクティビティが [アプリケーション/ブラウザーを使用] アクティビティでカスタム OCR として機能しませんでした。
ターゲットを指定した後に OCR エンジンアクティビティを [CV 画面スコープ] アクティビティから削除すると、「値を null にすることはできません。」というエラーが発生していました。
[CV 画面スコープ] アクティビティから OCR エンジンアクティビティを削除して表のセル上でホバーし続けると、「There is no row at position 0 (位置 0 には行がありません。)」というエラーが発生していました。
セレクターウィジェットによって認識された Web ページ上の要素が、セレクターを保存して閉じたときに保持されませんでした。
複数のトップレベルウィンドウで Web コントロールをホストするアプリケーションで、埋め込み Web ウィジェットを操作できませんでした。
並列シーケンス内の [クリック] アクティビティをキャンセルした場合、スローされたエラーを [トライキャッチ] アクティビティでキャッチできませんでした。
静的な HTML ページからサイズの大きな表データを抽出するとエラーが発生し、サポートされているすべてのブラウザーの動作スピードが低下していました。この修正は、Internet Explorer には適用されません。
[クリップボードから取得] アクティビティで、クリップボードから最新の値が取得されないことがありました。
[入力モード] プロパティが [シミュレート] に設定されている場合、[文字を入力] アクティビティで、特殊文字の前に挿入されたテキストが無視されていました。
選択した項目にワイルドカードの付いたテキストが含まれていると、[項目を選択] アクティビティと SAP 固有の [メニュー項目を選択] アクティビティが失敗していました。
メモ帳アプリケーションで行を指定できませんでした。
Foxit Reader の使用時に問題がいくつか発生していました。[表データを抽出] アクティビティでスキャンした PDF から漢字を取得できませんでした。また、UI Explorer でドキュメントのアクセシビリティ機能を開始できませんでした。さらに、オートメーションを有人モードで実行すると正常に機能していましたが、無人モードではアプリケーションの検索に失敗していました。
SharePoint などの共有ドライブに保存された、開いている Word 文書のリボンからドキュメント名を指定すると、「無効なセレクター」エラーが発生します。
ハードウェアイベントを介してマウス入力を送信すると、Salesforce 上の入れ子になった iframe 内の HTML 要素が自動的にスクロールして表示されませんでした。
UiPath リモートランタイムにより、リモートマシンからの [テキストを取得] アクティビティの結果が返されるまでに時間がかかることがありました。この問題の回避策として、[アプリケーション/ブラウザーを使用] アクティビティ内で [ウィンドウアタッチモード] を [アプリケーションインスタンス] ではなく [単一ウィンドウ] に設定してください。[単一ウィンドウ] オプションでは、新しいアプリケーションウィンドウやポップアップを操作できない点に注意してください。これらを操作するには、新しい [アプリケーション/ブラウザーを使用] アクティビティを使用します。
Windows - レガシプロジェクトから Windows プロジェクトにアップグレードすると、誤ったセレクターが生成されるために [表データを抽出] アクティビティで列の値を抽出できませんでした。
最新バージョンの WebDriver をダウンロードすると、[ブラウザーを開く] アクティビティにより WebDriverExe フォルダーに保存されますが、現在のバージョンは適用されず、引き続き以前のバージョンが参照されていました。そのため、ブラウザーを開こうとすると、非対応である旨を示すエラーメッセージが表示されていました。
クラシックアクティビティ [要素が出現したとき]、[要素が消滅したとき]、[画像が出現したとき]、[画像が消滅したとき] アクティビティをデザイナーパネルに追加すると、検証の警告が表示されていました。