- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation のアクティビティ
OUT OF SUPPORTv20.4
公開日: 2020 年 8 月 24 日
- UI Automation v20.4.2 のパッケージをインストールすると Java セレクターが生成されなくなっていた問題を修正しました。
- [項目を選択] アクティビティがターゲット要素と対話しない場合がありました。
- Firefox 79 にアップグレードすると、[画面上で指定] アクティビティが iframe 内で要素を検出しませんでした。
公開日: 2020 年 6 月 26 日
公開日: 2020 年 5 月 6 日
新しく開発された [ActiveX メソッドを呼び出し] アクティビティを使用すると、ワークフローで ActiveX メソッドを呼び出したり、セレクターが見つからない ActiveX のコントロールを操作したりできます。
新しい [UI ツリーをエクスポート] アクティビティは、指定された要素からすべての UI 要素とその属性および値を検出してエクスポートします。これは、セレクターが実行時に失敗する原因の理解に役立ちます。このリリースでは、このアクティビティはまだ試験段階です。
[フォアグラウンドを使用] スコープ アクティビティを使用すると、指定した一連のアクティビティをフォアグラウンドで実行できます。
false
に設定すると、アクティビティは無効な UI 要素と対話しません。
新しい [CV チェック] および [CV ドロップダウン リストから選択] アクティビティが Computer Vision のアクティビティ スイートに追加されました。これらのアクティビティは、チェック ボックスやドロップダウン リストなどの UI 要素を処理するための新しいツールを提供します。
Computer Vision サーバーが公式に Windows でサポートされるようになりました。オンプレミスの Computer Vision サーバーをローカルの Windows マシンにデプロイできます。
ワークフロー アナライザーに UI Automation 関連のルールが追加され、指定した URL またはアプリケーションをオートメーションで使用することを許可または拒否できるようになりました。
アクティビティ アイコンの外観を微調整しました。これにより、[アクティビティ] パネル内で類似したアクティビティを区別しやすくなりました。
SAP 向けに特別に調整された一連のアクティビティを新しく作成し、UI Automation パッケージに追加しました。その内容は以下のとおりです。
- 画面上の画像をクリック - SAP GUI 画面に表示された画像に対してクリック操作を実行できます。
- ツールバー ボタンをクリック - システム アプリケーションまたは SAP ツールバーのボタンをクリックできます。
- ステータス バーを読み取り - SAP GUI ウィンドウのステータスバーに表示されるメッセージを返します。
- カレンダーから日付を選択 - SAP カレンダーから特定の日付または期間を簡単に選択できます。
- メニュー項目を選択 - SAP GUI ウィンドウからメニュー項目を選択できます。
- ツリーを展開 - アクティブなノードまたはアクティブな項目まで親ツリーを展開します。
- トランザクションを呼び出し - 指定されたトランザクション コードまたはプログラムを実行します。
- SAP にログオン - SAP のログオン画面を簡単に起動できます。
- SAP にログイン - SAP システムにログインできます。
UiPath ではオートメーション プロセスを作成できるテクノロジを継続的に追加しています。今回は VMware Horizon のサポートが導入され、自分のマシンの場合と同じように、ネイティブ セレクターを生成できるようになりました。
新しい Microsoft Edge ブラウザーに対応した UiPath 拡張機能をインストールできるようになりました。引き続き、Edge ブラウザーを使った Web ページの操作を自動化できます。
スムーズに動くオートメーション プロセスを開発するためにはデバッグが重要です。そのため今回から UI Explorer をスタンドアロンなツールにしました。これにより、Studio をインストールしなくても要素やセレクターを簡単に検査できるようになりました。またこのパッケージには SetupExtensions ツールが含まれているため、さまざまな自動化のニーズにわたって要素を分析できます。
UiPath では UI 要素を正確に識別するメソッドをセレクターに継続的に追加しています。あいまい検索および正規表現検索とは別に、セレクター プロパティを使って要素を識別するときに大文字と小文字を区別するかどうかを指定できるようになりました。このプロパティはターゲット要素の属性値の大文字小文字を調べることで機能し、同じ属性に対する正規表現検索と共に機能します。
Java
および SAP
がサポートされるようになりました。
アクティビティとリモート ランタイムの間の相互作用に変更が加えられた結果、応答時間が短縮され、パフォーマンスが向上しました。
Chrome 向け拡張機能は、ポリシー設定を使用してインストールできます。
isbrowsertabactive
属性が追加されました。この属性は、ブラウザー ウィンドウがアクティブかどうかを示します。
ScreenScrapeJavaSupport ツールにより、誤ったフォルダーがパス引数として使用されたかどうかが示されるようになりました。
<rdp>
でも機能するようになりました。
- [画面上で指定] 機能を使用すると、セレクターに誤ったインデックスが生成される問題を修正しました。
- [クリック トリガー] アクティビティが、応答しない Internet Explorer ウィンドウと対話するときに true 値を返す問題がありました。
- [テキストの存在を確認] アクティビティをループで使用したときに、対象の Java アプリケーションが突然終了する問題を修正しました。
- Microsoft Dynamix 2009 アプリケーションが、[画面上で指定] 機能を使用した後に突然終了する問題がありました。
- カスタム アプリケーションのグリッド要素が検出されない問題を修正しました。
- Silverlight アプリケーションの個々の UI 要素が適切に識別されず、アプリケーションが単一の要素と見なされる問題を修正しました。
- [テキスト位置を探す] アクティビティを Chrome または Firefox で使用すると、エラー メッセージが返される問題がありました。
- ワイルドカードを含むセレクターが SAP アプリケーションで機能しない問題がありました。
- カスタム Java アプリケーションの場合、要素の種類
MDesktopPane
が検出されない問題がありました。 - [入力をシミュレート] プロパティを有効化して [文字を入力] アクティビティを使用すると、Internet Explorer のテキスト ボックスにスペースが入力されない問題がありました。
- プロセスでカスタム Java アプリケーションの起動が試行されるたびに、Java 向け拡張機能をインストールするように求めるポップアップが継続的に表示される問題がありました。
- Mozilla Thunderbird で要素を指定しようとすると、「
Browser is not supported
(ブラウザーがサポートされていません)」というエラーが表示される問題がありました。 - 複数行の text 属性を持つセレクターが検証に失敗する問題がありました。
- [文字を入力] アクティビティで
[
または(
を検出した後、何も入力できなくなる問題がありました。 - [SecureString で文字を入力] アクティビティの [ウィンドウ メッセージを送信] プロパティが true に設定されている場合、
[
が検出された後で入力が停止する問題を修正しました。