- 概要
- UI Automation
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- ST-DBP-021 - ハードコードされたタイムアウト
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- SY-USG-013 - プライベート ファイルの呼び出し
- SY-USG-014 - 実行テンプレートのプレースホルダーの誤り
- UI Automation を使用して自動化されるアプリケーションと技術
- UiPath ブラウザー移行ツール
- Computer Vision レコーダー
- クリック
- ホバー
- SecureString で文字を入力
- ホットキーを押下
- 文字を入力
- チェック
- 項目を選択
- 複数の項目を選択
- テキストを取得
- テキストを設定
- アクティベート
- 強調表示
- フォーカスを設定
- アンカー ベース
- コンテキスト対応のアンカー
- 相対要素を探す
- 画面上で指定
- 要素の存在を確認
- 要素を探す
- 要素の消滅を待つ
- 子要素を探す
- 親要素を取得
- 要素スコープ
- 属性を取得
- クリッピング領域を設定
- 位置を取得
- スクリーンショットを作成
- 属性を待つ
- 要素が出現したとき
- 要素が消滅したとき
- テキストをクリック
- テキスト上でホバー
- テキスト位置を探す
- フル テキストを取得
- 表示中のテキストを取得
- 構造化データを抽出
- テキストの存在を確認
- OCR で検出したテキストをクリック
- OCR で検出したテキスト上でホバー
- OCR でテキストを取得
- OCR でテキスト位置を探す
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Microsoft Azure ComputerVision OCR
- Tesseract OCR
- Google Cloud Vision OCR
- OCR でテキストの存在を確認
- 画像をクリック
- 画像上でホバー
- 一致する画像を探す
- 画像の存在を確認
- 画像を探す
- 画像の消滅を待つ
- 画像が出現したとき
- 画像が消滅したとき
- 画像を読み込み
- 画像を保存
- ブラウザーにアタッチ
- タブを閉じる
- 前に戻る
- 次に進む
- ホームに移動
- JS スクリプトを挿入
- URL に移動
- ブラウザーを開く
- ブラウザーを更新
- Web 属性を設定
- ウィンドウにアタッチ
- ウィンドウを閉じる
- アクティブ ウィンドウを取得
- ウィンドウを隠す
- ウィンドウを最大化
- ウィンドウを最小化
- ウィンドウを移動
- ウィンドウを復元
- ウィンドウを表示
- UI ツリーをエクスポート
- ActiveX メソッドを呼び出し
- .NET コードを挿入
- クリック トリガー
- キー操作トリガー
- 画像クリック トリガー
- システム トリガー
- ホットキー トリガー
- マウス トリガー
- イベント情報を取得
- イベントを監視
- ソース要素を取得
- ユーザー イベントを再生
- ユーザー入力をブロック
- フォアグラウンドを使用
- 要素属性変更トリガー
- 要素ステート変更トリガー
- 吹き出し
- 選択されたテキストをコピー
- クリップボードから取得
- クリップボードに設定
- アプリケーションを閉じる
- アプリケーションを開く
- プロセスを開始
- パスワードを取得
- ツールチップ
- 画面上の画像をクリック
- ツールバー ボタンをクリック
- ステータス バーを読み取り
- カレンダーから日付を選択
- メニュー項目を選択
- ツリーを展開
- トランザクションを呼び出し
- SAP にログオン
- SAP にログイン
- 表のセル スコープ
- SAP セッション属性変更トリガー
- ALV ツリーを展開
- ALV 階層テーブルを展開
- Computer Vision アクティビティを使用する
- CV 画面スコープ
- CV クリック
- CV 要素の存在を確認
- CV テキストを取得
- CV 強調表示
- CV ホバー
- CV 文字を入力
- CV 更新
- CV ドロップダウン リストから選択
- CV チェック
- CV 表を抽出
- Computer Vision ローカル サーバー
- モバイル オートメーション
- ターミナル
Computer Vision アクティビティを使用する
すべての Computer Vision アクティビティは [CV 画面スコープ] アクティビティ内でのみ機能します。[CV 画面スコープ] アクティビティは、ニューラル ネットワーク サーバーへの実際の接続を確立して、自動化するアプリケーションの UI を分析できるようにします。
Computer Vision アクティビティを使用するワークフローは、デザイナー パネルに [CV 画面スコープ] アクティビティをドラッグして開始する必要があります。
その後、スコープ アクティビティの本体にある [画面上で指定] ボタンを使用して、作業する画面の領域を選択できます。
[CV 画面スコープ] アクティビティが適切に設定されたら、オートメーションを構築するためにパッケージの他のアクティビティすべてを使用し始めることができます。
アクティビティの本体にある [画面上で指定] ボタンを使って、UI 要素のアクションを実行するアクティビティを設計時に構成できます。この機能を持つアクティビティは次のとおりです:
[画面上で指定] (ホットキー:I) ボタンをクリックすると、ヘルパー ウィザードが開きます。
指定
[指定] フィールドは、現時点で示されているものを指定します。ヘルパーが初めて開かれたとき、[ターゲット] が示される必要があります。考えられるターゲットごとに、ウィザードはアンカーを自動的に選択します (アンカーがある場合) 。
要素を表示
ウィザードの [要素を表示] (ホットキー:s) は、Computer Vision 分析で特定された UI 要素を強調表示するため、インタラクションする対象を選択しやすくなります。
画面を更新
[画面を更新] (ホットキー: F5) ボタンは、ターゲット アプリで変更があった場合に設計時に使用でき、新しい画像を Computer Vision サーバーに送信して再分析することができます。
待機後に画面を更新
[待機後に画面を更新] (ホットキー: F2) ボタンは、3 秒待った後、対象のアプリを更新します。実行時の自動スクロールの方向もキャプチャされます ([スクロール方向] プロパティ)。
相対要素:
[指定] ウィザードが含まれるアクティビティには [相対要素] 機能も含まれています。ターゲットは安定した要素であり、ターゲットを基準とした距離をドラッグします。メインである安定ターゲットは、2 番目の相対ターゲットのプロキシ ターゲットとして機能します。
これは、Computer Vision エンジンが識別した UI 要素に対応しない領域を選択する場合や、特定の UI 要素を指定することなく UI 内の一般的な領域を選択する場合に便利です。
相対ターゲットは、自動化するアプリケーションの単一のポイントにすることも、領域選択にすることもできます。
単一ポイント選択は通常、Computer Vision での検出が正確ではなく、特定の要素が見つからない可能性がある場所に配置されます。 単一ポイント選択を使用するアクティビティは、[CV クリック]、[CV ホバー]、および [CV 文字を入力] です。
領域選択は [CV テキストを取得] で使用され、このアクティビティでは自動的にアクティブ化されます。
一般的なルールとして、追加するアンカーは実行時に検出される必要があります。つまり、少なくとも 1 つのアンカーが検出されなかった場合、選択全体が検出されなくなります。 そのため、アンカーは、Computer Vision で毎回確実に検出でき、実行時に UI 上で大きく変化しない安定した要素である必要があります。
たとえば、下の画像の「X」ボタンをクリックするとします。 ターゲットは「X」ボタンにありますが、クリックは緑色の円で発生します。これは、「X」ボタンに対して相対的にクリックすることを選択したためです。 したがって、Computer Vision が特定の UI 要素を検出できない場合を除き、[相対要素] 機能を使用する必要はありません。
相対的な領域ではなく「X」ボタンを選択するには、「X」ボタンの枠線が緑色であることを確認してください。
「X」ボタンが安定していない場合は、安定した要素を基準にしてクリックできます。
表の指定
Computer Vision アクティビティは、表の指定もサポートしています。表内でターゲットを設定するには、操作するセルを選択し、セルの位置を定義する列と行を自動的に特定してグリッドに表示するようニューラル ネットワークに指示します。
既定では、記述子で列と行の名前を使用して、セルの位置を正確に特定します。列インデックスと行インデックスをクリックすると、自動的に記述子に追加されます。これは、列名と行名が変更された場合に、セルの同じ位置を抽出するのに便利です。
Target が正常に示されると、ウィザードが閉じて、選択したターゲットでアクティビティが構成されます。