v26.10

バージョン 26.10.x の UI Automation アクティビティの v26.10 リリース ノート

v26.10.2

Release date: August 10, 2026

エージェントのコーディングに対する UI Automation のサポート

Improvements for coding agents in UI Automation include:

Selector and targeting improvements:

• Implemented semantic selectors for coding agents, enabling element identification using natural-language descriptions and visual analysis when DOM-based methods are unavailable.
• Added coding agent support for SAP GUI for Java applications.
• Added target configuration validation for coding agents, helping ensure targeting definitions are accurate before use.
• Updated fuzzy targets to disable check:text by default for Type Into, Set Text, Get Text, and Select Item activities, improving element targeting reliability.

Command-line improvements:

• Expanded the uip rpa uia interact sap command set with expand-tree, select-dates-in-calendar, and click-picture-on-screen interactions.
• Added a new uip rpa uia target-anchorable preview-text command to preview the text a Get Text activity would return for a target anchorable definition.
• Enhanced the uip rpa uia target-anchorable resolve-defaults command to support element name and description attributes for more precise identification.
• Improved the command-line interface (CLI) experience on macOS with system permission inspection and a new uip rpa uia permissions command to verify or request necessary permissions (Accessibility and Screen recording).

UI Automation モダン

• Adopted the new JS-enabled code editor widget for the Script Code property of Inject Js Script activity. The widget is available on Windows projects only, starting with Studio Desktop 26.0.198. Studio Web support is not yet implemented.
• Expanded UI Automation activity tracing to capture consumption details for Semantic Activities and ScreenPlay. Execution tracing is disabled by default and it can be enabled through the UI Automation Modern > Robot Logging > Enable activity tracing project setting. Trace data is uploaded to Orchestrator for failed jobs only.

Selection Helper UI Tree

• Added an Enable Computer Vision button directly in the UI Tree panel. The CV elements tab is now always visible when an application is in scope and elements are being picked. When Computer Vision is disabled, the panel shows an actionable state with an Enable Computer Vision button that toggles CV on, captures a screenshot, and builds the CV element tree automatically.

バグ修正

• Fixed an issue where a proxy authentication dialog ("Sign in to access this site") would appear during element indication with Modern UI Automation activities, preventing users from indicating UI elements behind the dialog.

v26.10.1

公開日: 2026 年 7 月 21 日

選択ヘルパー

• ターゲット展開パネルの新しいボタンを使用して、選択ヘルパーから直接オフセット ポイントを設定できるようになりました。オフセット ポイントを更新すると、関連付けられたターゲットが自動的に選択されて強調表示され、視覚的なフィードバックが即座に提供されます。
• 優先する UI フレームワーク セレクターを更新し、アクション バーにコンパクトなメニュー ボタンとして表示し、戦略の略語とアイコン (自動/AA/UIA) が表示されるようにしました。
• 選択ヘルパーのパフォーマンスが向上し、ホバー、要素の選択、レイアウトの操作時の変更検出とレンダリングのオーバーヘッドが削減されました。

エージェントのコーディングに対する UI Automation のサポート

• Computer Vision (CV) のターゲット設定のサポートが追加され、コーディング エージェントで UI 要素に対して CV ベースのターゲット メソッドを設定できるようになりました。
• 画像分析機能とセマンティック分析機能により、エージェントベースの要素検出が強化されました。ブラウザーまたはアプリケーションの DOM が利用できない場合、エージェントは視覚的な情報と自然言語の説明を使用して UI 要素を識別できるようになりました。
• 識別された要素を強調表示する注釈付きのスクリーンショットが 生成されるようになりました 。また、画像とトークンのコストを制御するための新しいスクリーンショット サイズの上限を設定しました。
• UI Automation ツールを使用して ターゲットとアンカーの設定を検証 できるようになりました。これにより、使用前にターゲットの定義が正確であることを確認できます。

改良点

• UI Automation の 強調表示 API を拡張して [ 塗りつぶし ] オプションを追加し、ターゲット要素上に単色の四角形をレンダリングしました。これにより、ワークフローで機密情報を非表示にしたり、スクリーンショットをキャプチャする前に複数の画面領域を強調表示したりできます。

v26.10.0

公開日: 2026 年 6 月 24 日

エージェンティック UIAutomation

セマンティック セレクター

セマンティック セレクターで、ドキュメント オブジェクト モデル (DOM) と画像の 2 つの検索メソッドがサポートされるようになりました。DOM モードは Web アプリケーションのデフォルトであり、アプリケーションの DOM から抽出された情報を使用して要素を照合します。画像モードは新しい検索メソッドであり、非 Web アプリケーションでは既定です。最新のマルチモーダル モデルの可視画面イメージとイメージ グラウンディング機能を使用して、表示されるコンテンツを人間と同じように理解します。これは、視覚的な説明を含むあらゆる種類の説明をサポートします(DOMメソッドが一般的に失敗する場合)。

各検索方法に使用するモデルは、[プロジェクト設定] の [モデル] ドロップダウン> [UI Automation] > [セマンティック セレクター] から選択できます。DOM モードは Gemini 2.5 Flash と PathMini をサポートします。画像モードはPathMiniを使用します。

詳細については、「 メソッドを検索する」をご覧ください。

セマンティック アクティビティ

UiPath で管理されるサブスクリプションの代わりに、独自の大規模言語モデルのサブスクリプションで UI Automation セマンティック アクティビティを利用できるようになりました。AI Trust Layer の [LLM の設定] タブにある [UI Automation >セマンティック アクティビティ] で、サポートされているモデルのいずれかを使用してモデルを設定できます。設定手順については、「 セマンティック アクティビティによる独自のモデルの使用の設定」をご覧ください。

[プロジェクト設定] の [UI Automation モダン] の >[セマンティック アクティビティ] で、セマンティック アクティビティのプロジェクト レベルの既定値 (各アクティビティの既定のモデルであり、[UI データを抽出 (プレビュー)] の抽出モード >設定できるようになりました。これらの既定値は、Studio の設計時 (選択やテストの実行など) と実行時の両方に適用されます。プロジェクト レベルの既定値については、「 UI Automation モダンのプロジェクト設定」をご覧ください。

UI Automation アクティビティ パッケージを更新すると、セマンティック アクティビティ ([ポップアップを閉じる] を除く) の既定のモデルが PathMini に変更されます。設定手順については、「 セマンティック アクティビティによる独自のモデルの使用の設定」をご覧ください。プロジェクト レベルの既定値については、「 UI Automation モダンのプロジェクト設定」をご覧ください。

ScreenPlay

• コード化されたワークフローでの SecureString と ScreenPlayImage のサポート — ScreenPlay のコード化されたワークフローで、機密の文字列値をプレーン テキストで公開せずに渡すための SecureStringと、ScreenPlay プロンプトにスクリーンショットを直接含めてモデルに視覚的なコンテキストを提供するための ScreenPlayImageの 2 つの引数の型が処理されるようになりました。以前は、コード化されたワークフローには、これらの型に対するネイティブ処理がありませんでした。この変更により、ローコード ワークフローと同等の機能が使用されます。
• 分散トレース SpanId — ScreenPlay は、セマンティックプロキシや LLM ゲートウェイなどのバックエンドサービスに対して行う HTTP 呼び出しに X-UIPATH-SEMANTIC-SPAN-ID ヘッダーを追加するようになりました。span 識別子を使用すると、1 つの ScreenPlay の実行とそのリクエストをサービス間でエンドツーエンドで関連付けることができ、可観測性とトラブルシューティングが向上します。
• アプリケーション インスタンスのアタッチ モード — ScreenPlay で、[アプリケーション/ブラウザーを使用] アクティビティでアプリケーション インスタンスのウィンドウ アタッチ モードがサポートされるようになりました。内部アクティビティは、単一のウィンドウではなく、アプリケーション インスタンス全体 (すべての親ウィンドウと子ウィンドウ、アラート、ポップアップ) を検索します。ScreenPlay は、既存の単一ウィンドウでのサポートに加えて、すべてのトレースを正しくキャプチャして記録します。
• 更新された HTML トレース ファイル — ScreenPlay HTML トレース ファイルのビジュアル デザインが更新されました。トレース ビューアーの出力のレイアウトとスタイルを更新し、現在の UiPath の設計基準に沿って、実行トレースを読みやすく、ナビゲートしやすくしました。

UI データを抽出 (プレビュー)

[UI データを抽出] は、構造化されたビジネス データを任意のアプリケーション画面から抽出するための、AI を活用した新しいセマンティック アクティビティです。キャプチャするカスタム データ構造を定義してビジネス オブジェクトとして取得し、単一のレイアウトの種類に限定されるのではなく、UI テクノロジ全体で機能します。このアクティビティは、フォームが存在する場合に既定で Webform データをキャプチャします。また、カスタム プロンプトによるカスタム フィールドの抽出もサポートしています。

現在は、「見つかりません」という検索結果が一貫して処理されるようになりました。以前は、どのクエリに対しても回答が見つからない場合は例外がスローされ、回答のサブセットのみが欠落している場合は空の文字列が返されていました。これにより、値が見つからない場合は nullとして返されるようになりました。これにより、すべての抽出シナリオにおいて、欠落データを検出して処理するための単一の予測可能な方法が提供されます。

[UI データを抽出] はプレビュー アクティビティであり、スキーマドリブンなセマンティック UI 抽出の実験的なラボです。スタンドアロン アクティビティとして一般提供を開始することは意図されていません。この機能は、ScreenPlay のデータ スクレイピング機能に吸収されます。プレビュー中に [UI データを抽出] を採用するユーザーは、ScreenPlay への最終的な移行を計画する必要があります。

Healing Agent

Healing Agent がアクティビティを回復できない場合、ロボット ログに失敗の理由が含まれるようになりました。理由は Orchestrator のロボット ログに表示されるため、内部ログを精査せずに回復が成功しなかった理由を確認できます。たとえば、ログ エントリに「Healing Agent はアクティビティを回復できませんでした。自己修復機能は無効になります。」

エージェントのコーディングに対する UI Automation のサポート

26.10.0 のリリースでは、AI コーディング エージェントで UI の自動化がもたらされました。Claude Code、Cursor、GitHub Copilot などのエージェントに、UI オートメーションの構築と保守を平易な言語で依頼できるようになりました。エージェントによって実際のアプリケーションが駆動され、信頼性の高いセレクターが生成され、ユーザーに代わってプロジェクトのオブジェクト リポジトリに登録されます。

このサポートは、 一連のエージェント スキル としてアクティビティと共にパッケージ化され、 uip rpa uia コマンド ライン インターフェイスに支えられています。これらのスキルは、アクティビティ自体と同じサーフェス (デスクトップ、Web、SAP アプリケーション) で機能します。

以下の 3 つのスキルが含まれています。

• ターゲットの設定 (uia-configure-target) — エージェントを画面と関心のある要素にポイントします (「チェックアウトページに送信ボタンを設定します」)。このアクティビティでは、稼働中のアプリケーションをキャプチャし、各要素を見つけて、信頼性の高いセレクターを生成し、画面と要素をオブジェクト リポジトリに登録し、スクリーンショットと照合して各要素を検証してから、ワークフローで使用できる参照 ID を渡します。
• ライブ アプリとの対話 (uia-interact) — エージェントに、実行中のアプリケーションとの対話 (クリック、入力、値の読み取り、フォームへの入力、メニューの移動、表の抽出、スクリーンショットの作成) するように指示します。自動化する前にアプリを探索する場合や、変更が期待どおりに動作することを確認する場合に便利です。
• セレクターの改善 (uia-improve-selector) — ランタイム データからセレクターを修正、強化、または回復します。以下の 「セレクター インテリジェンス 」をご覧ください。

スキルは uipath-rpa スキル リポジトリに同梱されています。

セレクター インテリジェンス (uia-improve-selector)

セレクター インテリジェンスは、 uia-improve-selector スキルの背後にある推論エンジンです。セレクターが失敗した理由を診断し、XML を手作業で編集することなく書き換えます。

セレクターは、属性の名前が変更されたり、自動生成された ID が移動したり、レイアウトが移動したりするなど、アプリケーションが変更されると壊れます。セレクター インテリジェンス を使用すると、コーディング エージェントがセレクターを診断して書き換えることができるため、脆弱なセレクターの XML を手作業で編集することなく、オートメーションの実行を継続できます。

次の 2 つのモードで動作します。

• 回復 — セレクターが動作を停止しました (「要素が見つからない」、実行時のエラー)。エージェントは、アプリケーションの現在のステートに対してこれを書き換えて、要素を再度一致させます。
• 改善 — セレクターは引き続き機能しますが、位置、自動生成された ID、またはコンテンツの変更を反映する値に依存するため、脆弱です。エージェントは、同じ要素をターゲットとする、より堅牢なバージョンを生成します。

新しく生成されたセレクターをレビューし、生成された ID または指定位置インデックスに依存していることが分かった場合は、積極的に [改善 ] を使用してください。[リアクティブ に回復 ] は、無人ジョブが失敗し、実行時のデータがある場合は使用します。

信頼できる理由:

• 実行時のデータによって駆動される。稼働中のアプリケーションや、障害発生時にキャプチャされたデータから操作できるため、Unattended ロボットで中断したセレクターを、アプリが実行されなくなったときでも、後で別のマシンで復元できます。
• アクティビティ対応。エージェントは、たとえば、[ テキストを取得] ターゲットは読む対象のテキストに依存してはならず、 チェック のターゲットはボックスが現在オンになっているかどうかに依存してはならないことを認識しています。各書き換えは、特定の用途に対してセレクターを安定させるためのルールに従います。
• 検証済みであり、推測ではありません。候補となるセレクターはすべてチェックされ、スコアリングされてから書き戻されます。最初の試行が保持されない場合、エージェントは自動的に調整して再試行し、最も強力な結果を保持します。
• 説明しました。セレクターが復元されると、1 行で根本原因 (破損した理由) と、そのセレクターの永続性を確保するために使用された戦略がわかるため、変更を一目で信頼できます。

Chromium の自動化

Chrome DevTools Protocol (CDP) を介して Chrome と Edge を直接制御する、新しいブラウザーの自動化方法である Chromium オートメーション を追加しました。UiPath はブラウザー セッションを内部で起動および管理します。 ブラウザー拡張機能をインストールする必要はなく、WebDriver バイナリをダウンロードするか、ブラウザーのバージョンと同期させておく必要もありません 。

[ アプリケーション/ブラウザーを使用] アクティビティの [ ブラウザーの自動化モード] ドロップダウンと、 UI Automation モダンの [アプリケーション/ブラウザー> [プロジェクト設定] >、 新たに 2 つのオプションを追加しました。

• Chromium オートメーション - ブラウザーが表示される環境での開発、デバッグ、無人オートメーションに最適
• Chromium Automation Headless - サーバーや CI/CD パイプラインでの無人オートメーションに最適

Chromium の自動化 は、Chrome、Edge、およびすべての Chromium ベースのブラウザーで動作します。Firefox と Safari はこの方法ではサポートされていません。そのような場合は、引き続きブラウザー拡張機能または WebDriver を使用してください。

Oracle Automation

UI Automation で、Oracle ADF (Application Development Framework) インターフェイスと Oracle Redwood (Oracle JET) インターフェイスの両方で Oracle Fusion アプリケーションの自動化がサポートされるようになりました。新しい識別アプローチでは、各テクノロジの安定したセレクター属性が表示されるため、これらのインターフェイスが動的な性質を持つにもかかわらず、オートメーションの信頼性が維持され、Oracle Fusion の画面に対してあらゆる種類の UI Automation アクティビティを使用できます。

詳細は、 Oracle Fusion Automationを参照してください。

macOS の UI Automation

• [項目を選択] アクティビティでの macOS のメニューベースのコントロールのサポートが強化されました。[項目を選択] を [AXPopUpButton] コントロールと [AXMenuButton] コントロールで使用できるようになりました。これにより、項目にアクセスするためにポップアップを開く必要があるドロップダウンおよびメニューベースの UI 要素を確実に操作できます。
• トリプルクリック操作がサポートされるようになりました。この機能は以下で使用できます。
  • ハードウェア イベントを使用する Windows と macOS
  • ChromiumAPI を使用する Windows および macOS
• macOS での マウス ドラッグ アクションのサポートが追加されました。

UI Automation モダン

• クロスプラットフォーム プロジェクトのオブジェクト リポジトリで [要素をキャプチャ] 機能を有効化しました。

• [ ランタイム ブラウザーを設定 ] アクティビティにより、クロスプラットフォーム プロジェクトの実行時に既定のシステム ブラウザーを解決できるようになりました。新しい [既定のシステム ブラウザーを使用 ] オプションを使用すると、システムの既定のブラウザーまたは特定のブラウザーのいずれかを選択できます。

  • Windows プロジェクト: Chrome、Edge、Firefox
  • クロスプラットフォーム プロジェクト: Chrome、Edge、Safari

  アクティビティの表示名に、選択したブラウザー (リテラル値、 既定のシステム ブラウザー、または切り捨てられた式) が反映されるようになりました。

• [アクセシビリティ チェック] アクティビティを追加しました。これにより、ユーザーは Test Cloud 内の Test Manager インスタンスでアクセシビリティ テストを実行できます。このアクティビティは、Web ブラウザー ページを読み込み、WCAG 2.1 (またはそれ以降) の標準に従ってアクセシビリティ チェックを実行します。アクセシビリティチェックの例としては、DOM と視覚的なアクセシビリティ、コントラスト比、alt タグ、タブ オーダー、不適切な ARIA ロールなどがあります。

高度なセレクター エディター

• 詳細セレクター エディターと選択ヘルパーにズーム コントロールを追加し、+、-、リセットのオプションを使用して 80% から 110% の間でズームインまたはズームアウトできるようにしました。

• 詳細セレクター エディターの属性に対して、大文字と小文字を区別するサポートを追加しました。

• [アプリケーション/ブラウザーを使用] に [ターゲットを編集] オプションを追加しました。以下の情報が表示されます。

  • ウィンドウ セレクター
  • アプリケーションの プロパティ (ブラウザーの URL、ブラウザーの引数、アプリケーション パス、アプリケーション引数、作業ディレクトリなど)
  • 子アクティビティのウィンドウ セレクターを更新するオプション。これにより、画面のウィンドウ セレクターに加えられた変更が、すべての子要素に自動的に適用されます。

• UI 要素セレクターに加えてウィンドウ セレクターの編集にも、詳細セレクター エディターを使用できるようになりました。

• UI Explorer の UI ツリー パネルの [セレクターの互換性] セクションと [その他] セクションに、値が空のプロパティの表示/非表示を切り替えるトグルを追加し、関連情報のみを表示できるようにしました。

• UI ツリー パネルに [プロパティをフィルター] オプションを追加しました。これにより、[セレクターの互換性] セクションと [その他] セクションの両方で、選択したノードのプロパティを名前でフィルター処理できるようになりました。

改良点

• Active Accessibility セレクターを最適化して、大きな表の [表データを抽出] のパフォーマンスを向上させました。

バグ修正

• リンクの種類のノードの場合、テキストは取得されず、ツリー パスは内部 SAP ID を使用して生成されています。この修正により、適切なノード テキストが使用されます。これは、 SAP の [ツリーを展開] アクティビティに影響を与えました。

• CAMBIO Cosmic アプリケーション (JxBrowser を使用する Java ベースのヘルスケア アプリケーション) で HTML ビューを操作するとセレクターを識別できない問題を修正しました。

• Automation Cloud ロボット - 仮想マシンでクロスプラットフォームの [文字を入力 ] アクティビティが応答しなくなる問題を修正しました。

• グリフと日本語文字の ネイティブ キャプチャ を修正しました。

• アンインストール後も Java 拡張機能がインストールされたと報告され続ける問題を修正しました。