- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- Clipping region
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- Computer Vision ローカル サーバー
- モバイル オートメーション
- ターミナル
Clipping region
A clipping region refers to a specific area on the screen that is defined and used for UI automation. It can be used for image-based automation, but it is not limited to it. For example, you can use a Click activity to indicate a UI element and operate on a sub-region of the element, for instance, clicking BottomRight of the smaller/larger clipping region.
The default clipping region is the entire UI element that you indicated. However, it can be manipulated and reduced to a smaller region to improve speed and efficiency.
The ClippingRegion property in classic UI Automation activities is nested under the Target property, and it can be used to establish smaller/larger region of the UI element found at runtime using the Target's Selector property or provided directly via the Target's Element property.
To do so, you need to enter values for all coordinates, (Left, Top, Right, Bottom), and manipulate the clipping region directly.
There are some differences between visual debug feedback and actual robot actions. Let's take the classic Click activity as an example.
For a clipping region of (-10,-10, 0, 0), configuring the activity with CursorPosition set on BottomRight results in the click action taking place at the element’s origin (0,0).
For a clipping region of (0, 0, -10, -10), the result is similar to the first one because of internal code sorting / switching the lowest numbers on the X and Y axis.
For a clipping region of (10, 10, -10, -10), the click action takes place exactly (10,10) away from the element’s origin (0,0). The same sorting of clipping region values on X and separately on Y axis results in an internal clipping region (-10, -10, 10, 10).
Basically, although first two coordinates X, Y should be relative to TopLeft, while the last two coordinates should appear be relative to the element’s BottomRight. However, this is not accurate, and all four coordinates are relative to the element’s TopLeft.
Moreover, due to internal code sorting values on the X and Y axis, a configuration such as (0, 0, -10, -10) yields the same result as a (-10, -10, 0, 0) configuration.
You can set up a clipping region by using the classic Set Clipping Region activity.
UiPath.Core.Region(New Rectangle(X,Y,Width,Height))
.
The clipping region can be set to cover only the element or image that is found by using the Find Image or Find Element activities.
The position of the element or image is identified, and the region can be then manipulated using the TRANSLATE property of the Set Clipping Region activity.