- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation のアクティビティ
v23.10
公開日: 2024 年 8 月 7 日
公開日: 2024 年 6 月 7 日
公開日: 2024 年 4 月 3 日
BasicTreeTable
および JxTreeTable
のカスタム サポートを追加しました。
DesignTime ScreenId
が送信されるようになりました。
- [OCR - 中国語、日本語、韓国語] アクティビティを Computer Vision の API キーで使用した場合、このアクティビティが統合ターゲットで Computer Vision のカスタム OCR として機能しませんでした。
- プロジェクト名に日本語の文字が含まれていると、[OCR - 中国語、日本語、韓国語] アクティビティが [アプリケーション/ブラウザーを使用] アクティビティでカスタム OCR として機能しませんでした。
iframe
HTML 要素内で、[アプリケーション イベント トリガー] アクティビティの [出現] イベントの種類を監視できていませんでした。enabled
属性が選択されている場合、[属性を取得] アクティビティが Boolean 値ではなく文字列の出力を返していました。過去のバージョンとの相互運用性が確保されました。
公開日: 2024 年 2 月 26 日
公開日: 2023 年 12 月 21 日
公開日: 2023 年 12 月 11 日
公開日: 2023 年 12 月 6 日
- Studio を v2023.4 にアップグレードした後、Java 拡張機能をアンインストールしようとした際にエラーが発生すると、拡張機能を再インストールできませんでした。この新たな変更により、アンインストール エラーが発生しても、[Studio] > [ツール] > [UiPath 拡張機能] ページの [アンインストール] ボタンが [インストール] に変わります。インストールを再度実行すると、アンインストール後にエラーが発生した場合でも、Java 拡張機能は適切にアップグレードされます。
-
プライベート モードでの UiPath MV3 ブラウザー拡張機能の初期化の失敗に対して実装された回避策は、Microsoft が Edge v119 で元のバグが修正されていることを確認しているため、Edge v119 以降では不要になりました。回避策は、Edge v115 から v118 までにのみ適用されます。
公開日: 2023 年 10 月 23 日
ブラウザーが予期せず終了した場合、または Windows のシャットダウン中にブラウザーが閉じられると、[ページの復元] ポップアップ ウィンドウが表示されます。ブラウザーが開いたとき用の特定のロジックが実装されていない場合 (例: ポップアップ ウィンドウが表示されたかどうかを確認し、[クリック] アクティビティで閉じる)、この動作によってオートメーションが破損する可能性があります。これを回避するため、ブラウザーを開いたときに [ページの復元] ポップアップ ウィンドウが表示されないようにしました。
複数のユーザー プロファイルで同時に実行される複数のブラウザー インスタンスを自動化できるようになりました。この機能を使用すると、Chrome、Edge、Firefox の異なるプロファイルで開かれた複数のブラウザー インスタンスを使用してオートメーションを設計できます。
UiPathRemoteRuntime.msi
から直接インストールできるようになりました。
モダン エクスペリエンスで、以下のアクティビティが非表示になりました。
- OCR でテキストの存在を確認
- OCR で検出したテキストをクリック
- OCR で検出したテキストをダブルクリック
- OCR で検出したテキスト上でホバー
- OCR でテキスト位置を探す
これらのアクティビティを [アクティビティ] パネルに表示するには、[クラシック] フィルターを選択します。
アプリケーション内の特定の UI 要素を操作したときにトリガーされるネイティブ イベントの種類を特定できるように、イベント検査ツールという新しいツールを UI Explorer に統合しました。このツールは、[アプリケーション イベント トリガー] アクティビティの設定に使用できます。イベント検査ツールは、選択したすべての種類のイベントをキャプチャして監視します。これにより、実行されたアクションを分析し、該当する場合は問題を診断できます。
- HTML イベント:
- ダウンロードの変更
- タブのアクティブ化
- タブの作成
- タブの削除
- タブの更新
- WEBCTRL イベント:
- 選択の変更
- UI ベースのイベント:
- 出現
- 消滅
- テキストの変更
- フォーカスの取得
- フォーカスの喪失
- 呼び出し
- 選択済み
- 選択解除
- 切り替え
また、ネイティブの埋め込みブラウザー (Slack、Discord、Electron テスト アプリなど) での WEBCTRL ベースのネイティブ イベントのサポートも追加しました。
[アプリケーション イベント トリガー] アクティビティを、コード化されたワークフローと使用できるようになりました。その結果、単一の [アプリケーション イベント トリガー] で複数のターゲット要素を監視でき、監視対象のターゲットの数を動的 (監視対象のターゲットが設計後に変わる可能性がある) にできるようになりました。これまでは、[アプリケーション イベント トリガー] を使用してトリガーされるワークフローで監視されるターゲットは 1 つだけだったため、オートメーションで監視するターゲット要素ごとにトリガーされるワークフローを作成する必要がありました。
サポートされる SAP WebGUI 要素を追加し、SAP のメニュー項目 ([項目を選択] アクティビティを使用)、SAP のツールバーのボタン ([ツールバー ボタンをクリック] アクティビティを使用)、SAP ツリー (すべてのブラウザーとすべての SAP Fiori バージョンにおける、ツリーの安定した識別と信頼性の高い自動化を含む) がサポートされるようになりました。なお、他のさまざまな SAP WebGUI 要素 (ABAP 一覧、コンテキスト メニュー、ピクチャ、Textedit コントロール、ジェネリック オブジェクト サービス、ダイアログ ボックス、テーブル コントロールなど) については、既存の機能を使用して自動化できます。
ColumnName
) を選択できるようになりました。また、列と行をフィルター処理して、他のプロパティを使用して要素を識別することもできます。この改良に伴い、[列名] プロパティの名前が [列名/フィルター] に、[行番号] プロパティの名前が [行番号/フィルター] に変更されました。
CRM アプリケーション Oracle Siebel のレガシ バージョン (例: 7 または 8) の操作を自動化できるようになりました。
Java アプリケーション Clarity の CTable コンポーネントのサポートを追加しました。
UI Automation のすべてのダイアログ メッセージに [クリップボードにコピー] オプションを追加しました。
ネストされたリモート セッションに表示されるエラー メッセージを改良しました。
このバージョンのアクティビティ パッケージでは、ターゲットの識別能力と UI の変更に対する回復性の観点から各ターゲット メソッドの関連性を考慮した最適化を行い、v23.4.x で発生していた主な制限事項に対処しました。まず、UI Automation の表抽出機能で Computer Vision を使用して表全体を指定できるようになり、Computer Vision のみのシナリオでも表抽出が可能になりました。また、埋め込みの UiPath Screen OCR 以外のカスタム OCR エンジンを選択できるようになりました。さらに、スコープ不要のアクティビティで Computer Vision が既定で有効化され、セレクターと Computer Vision 記述子の両方を含む、完全な識別情報を備えたターゲットが使用されるようになりました。そして、ドライバーと Computer Vision 間での、境界ボックスに関する調整ロジックを更新し、UI 要素の指定エクスペリエンスを最適化しました。このようにして、ユーザーが各ターゲット メソッドの詳細を意識する必要なく、Computer Vision のみを使用するオートメーションと Computer Vision にドライバーを組み合わせたオートメーションの両方を作成できる、統合された UI Automation エクスペリエンスを追求し続けています。詳しい更新内容については、以下をご覧ください。
統合ターゲットに階層コンセプトを新しく適用しました。ターゲットの識別力と UI の変更に対する回復性の観点から、各ターゲット メソッドとその関連性が考慮されるようになりました。そのため、セレクターが第 1 (プライマリ) のターゲット メソッド、Computer Vision が第 2 (セカンダリ) のターゲット メソッド、画像が第 3 のターゲット メソッドと見なされるようになりました (現在は既定では無効化されています)。以前は、すべてのターゲット メソッドがターゲット要素の識別を同時に試行し、最初にその要素を見つけることができたターゲット メソッドが使用されていました。また、[UI Automation モダン] の [プロジェクト設定] > [プライマリ ターゲット メソッドがタイムアウトするまで待機] という新しい設定を追加しました。この設定は既定で [True] に設定されており、プライマリ ターゲット メソッドが完全にタイムアウトしてから、いずれかのフォールバック ターゲット メソッドが使用されます。
表抽出ウィザードに Computer Vision が統合されました。これにより、表内の関連するセルを最初に指定しなくても、表全体を簡単に指定できるようになりました。また、Computer Vision は表全体を識別できるため、設計時に表全体を指定するときにセレクター ベースの抽出ミスを修正できるようになりました。ただし、実行時にセレクター ベースでの表全体の抽出に問題が発生した場合、Computer Vision によるフォールバック メカニズムはまだ使用できません。また、リモート ランタイムがインストールされていないリモート デスクトップなど、セレクターがまったく使用できないシナリオで、[CV 画面スコープ] アクティビティや [CV 表を抽出] アクティビティに切り替える必要なく、純粋な Computer Vision で表を抽出できます。さらに、純粋な Computer Vision のシナリオでも、ウィザード内で [次へ] ボタンを指定することにより複数のページにまたがる表を抽出できるようになりました。
[CV 表を抽出] アクティビティと同じロジックを使用して、純粋な Computer Vision のシナリオでも表抽出ウィザードでスクロール可能な表を抽出したり、[CV テキストを取得] を使用してスクロール可能なテキストを抽出したりできます。プロジェクト設定の [テーブルのスクロール データをログに記録] ([プロジェクト設定] > [Computer Vision] > [ロボット ログ]) を [スクロール可能なコンテンツの抽出データをログ記録] に変更し、Computer Vision の表抽出、純粋な Computer Vision のシナリオでのスクロール可能な表の抽出、およびスクロール可能なテキスト コンテンツを抽出する [CV テキストを取得] アクティビティにも対応するようにしました。
[アプリケーション/ブラウザーを使用] アクティビティで、Computer Vision の埋め込み OCR エンジンである UiPath Screen OCR に加えてカスタム OCR エンジンを使用できるようにしました。これにより、統合ターゲットでの Computer Vision を使用したテキスト抽出機能を強化できます。各 [アプリケーション/ブラウザーを使用] アクティビティで OCR エンジンを変更するには、アクティビティ カードに移動し、UI 要素の指定後に表示されるスクリーンショットの横のハンバーガー メニューを選択して [OCR エンジン] > [カスタム OCR エンジン] を選択します。このオプションを選択すると、アクティビティ カードにパネルが追加され、埋め込み OCR エンジン アクティビティとは別の OCR エンジン アクティビティをドロップできます。これは Computer Vision で指定するターゲットにのみ適用されます。それ以外の OCR アクティビティでは、[プロジェクト設定] > [OCR] セクションで設定した既定の OCR が引き続き使用されます。
完全な識別情報を備えたターゲットを使用できるように、Computer Vision が [プロジェクト設定] で有効化されている場合に、スコープ不要のアクティビティ ([アプリケーション/ブラウザーを使用] スコープ外でも使用可能なアクティビティ) で自動的に有効化されるようになりました。
[プロジェクト設定] でターゲット メソッドとして Computer Vision を有効化している場合に、アプリ/Web レコーダーでも Computer Vision の記述子がキャプチャされるようになりました。
Computer Vision のみによるターゲットと完全な識別情報を備えたターゲットを一致させ、ドライバーと Computer Vision 間での境界ボックスに関する調整ロジックを更新しました。これにより、Computer Vision のみによるターゲットは指定されず、完全な識別情報を備えたターゲットが優先的に使用されるようになりました。今後は、Computer Vision のみによるターゲットの使用は、セレクターにアクセスできないリモート デスクトップなどを使用するシナリオに限られます。
厳密セレクターが失敗すると、警告としてログに表示されるようになりました。エラーのあるセレクターの代わりに使用できる、最も近い一致 10 件もあわせて表示されます。この機能は既定で True に設定されており、[プロジェクト設定] >[UI Automation モダン] > [要素が見つからないことを示すエラー メッセージ内に、最も近い一致を表示] から設定できます。
Computer Vision のスクリーンショットに初期遅延を設定する必要がなくなったため、ターゲット指定セッションの開始が高速化されました。
-
<ctrl />
セレクターが失敗していた原因である、Chrome および Edge バージョン 117 で IFrame の要素または PDF を含む Web ページに対する破損した Active Accessibility のサポートを修正しました。また、[ブラウザーを開く] / [ブラウザーを使用] アクティビティを使用して開いたブラウザーに、追加のコマンド ライン引数を渡すオプションを追加しました。これは、[環境変数を設定] アクティビティを使用して適切な環境変数を設定することで実行できます。UIPATH_EXTRA_CMD_ARGS_CHROME
UIPATH_EXTRA_CMD_ARGS_EDGE
UIPATH_EXTRA_CMD_ARGS_FIREFOX
これらの変数を使用して、Chrome および Edge で Active Accessibility のサポートを強制的に有効化することで、バージョン 114 および 117 の Chrome/Edge Active Accessibility サポートの破損などの問題を回避できます。
Chrome の場合は、環境変数UIPATH_EXTRA_CMD_ARGS_CHROME
に値--force-renderer-accessibility=complete
を設定します。Edge の場合は、環境変数UIPATH_EXTRA_CMD_ARGS_EDGE
に値--force-renderer-accessibility=complete
を設定します。 - Microsoft Edge (バージョン 115 以降) をプライベート モードで使用すると、MV3 ブラウザー拡張機能の初期化に失敗していました。UiPath Microsoft Edge 拡張機能を含むすべての MV3 拡張機能に影響を及ぼしていたこの問題の回避策を実装しました。
- [ブラウザーを開く] アクティビティと [ブラウザーを使用] アクティビティに影響していた拡張機能の初期化に関する問題を修正しました。[プロジェクト設定] の [UI Automation クラシック] の [ブラウザー] に Chrome/Edge ブラウザー起動用の追加引数、Chrome/Edge ブラウザー起動用のカスタムの実行可能ファイル パス、Chrome/Edge ブラウザー起動リトライの有効化、の 6 つの設定を追加しました。
- SAP WinGUI の言語が日本語に設定されていると、[表のセル スコープ] アクティビティで列名が認識されませんでした。
- Salesforce レポートでデータ スクレイピングを実行すると、空のセルが返されていました。
- アプリ モードの Chrome/Edge が、グループ ポリシー (オフライン) でインストールされた自己ホスト型の MV2 ブラウザー拡張機能でサポートされるようになりました。
-
管理者権限で拡張機能をインストールすると、
UiPath.Common
が自動的に%ProgramFiles(x86)%\UiPath\UiPath.Common
にデプロイされるようになりました。管理者権限なしで拡張機能をインストールすると、UiPath.Common
が自動的に%LocalAppData%\Programs\UiPath\UiPath.Common
にデプロイされるようになりました。 -
ServiceNow のフレームワークを使用した Web ページがサポートされるようになりました。
- セレクターの
tableCol
タグにより、一部の表の要素を識別できませんでした。 - Robot/Studio を管理者として実行しなくても、別の Windows ユーザー (UiPath Robot/Studio を実行しているユーザー以外のユーザー) で実行されているアプリケーションの操作を自動化できるようになりました。
- クロスプラットフォームの [ブラウザーを使用] アクティビティで、接続が確認されたサーバーレス マシンで設計時に複数のタブを開いた場合、ユーザーが Studio からログアウトした場合、ユーザーが Orchestrator 内の個人用ワークスペースを削除した場合、または Orchestrator との通信エラーが発生した場合に、ブラウザーの接続が失敗または応答しなくなっていました。
- セレクターを再利用できるかどうかの検索に 4 秒以上かかると、「操作がキャンセルされました。」というエラー メッセージが表示され、アクティビティからオブジェクト リポジトリにセレクターを追加できませんでした。
- プロパティ フィールドが必須であることを示すアスタリスクが原因で、StudioX での設計時に [アプリケーション/ブラウザーを使用] アクティビティでエラーが発生していました。
- [ホットキーを押下] アクティビティが含まれる .xaml ファイルが未保存として表示されていました。
- [プロジェクト設定] でターゲット メソッドの [画像] を無効にしても、画像のスクリーンショットがキャプチャされ続けていました。
-
Computer Vision のレート制限に達した場合に表示されるエラー メッセージ「Computer Vision サーバーの呼び出し頻度が高すぎます。[429]」を「エラー: レート制限を超過しました。 Free ティアをご利用の場合は、有料ライセンスへのアップグレードをご検討ください。 有料ライセンスを既にご利用の場合は、追加のアップグレード オプションについて UiPath までお問い合わせください。」に変更しました。
- 純粋な Computer Vision のシナリオにおいて、モダンの [テキストを取得] アクティビティでテキストが抽出されませんでした。