- 概要
- UI Automation
- UI Automation アクティビティ パッケージについて
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-DBP-031 - アクティビティの検証
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティビティの索引
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- アクセシビリティ チェック
- アプリケーション イベント トリガー
- ユーザー入力をブロック
- チェック/チェック解除
- アプリのステートを確認
- 要素を確認
- クリック
- クリック イベント トリガー
- ドラッグ アンド ドロップ
- 表データを抽出
- 要素を探す
- 繰り返し (各 UI 要素)
- ブラウザーのデータを取得
- クリップボードを取得
- テキストを取得
- URL を取得
- URL に移動
- 強調表示
- ホバー
- JS スクリプトを挿入
- キーボード ショートカット
- キー押下イベント トリガー
- マウス スクロール
- ブラウザー内を移動
- 画像を保存
- 項目を選択
- ブラウザーのデータを設定
- クリップボードに設定
- ランタイム ブラウザーを設定
- フォーカスを設定
- テキストを設定
- スクリーンショットを作成
- 文字を入力
- ユーザー入力のブロックを解除
- アプリケーション/ブラウザーを使用
- ウィンドウ操作
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation アクティビティ
Studio のモダン エクスペリエンスの一部である表抽出機能では、UI Automation アクティビティ パッケージを使用して、アプリケーションから構造化データを自動的に抽出し、それを DataTable オブジェクトとして保存して、さらにオートメーション プロセスで使用することができます。
このプロセスは、Studio の [表抽出] レコーダーを使用することで実行できます。このレコーダーは、現在のプロジェクトに UI Automation v21.4 以降のパッケージがインストールされており、[モダン エクスペリエンス] を選択している場合は、リボンからアクセスできます。
ワークフローで [表データを抽出] アクティビティを使用している場合も、同じウィザードを使用できます。
表抽出レコーダーを使用する
プロジェクトで [モダン エクスペリエンス] を選択しており、UI Automation アクティビティ パッケージがインストールされている場合は、Studio のリボンに [表抽出] レコーダーがあります。
リボンの [表抽出] ボタンをクリックすると、表抽出ウィザードが開きます。
このウィザードを使用すると、[表データを抽出] アクティビティが提供する機能スイート全体を非常に簡単に設定できます。
利用可能な UI フレームワーク ([既定]、[UI Automation]、または [Active Accessibility]) を切り替えるには、ドロップダウン メニューからオプションを選択するか、F4 キーを押します。
また、[情報] セクションでは、構造化データを正常に抽出するために必要な手順をすべて確認できます。このセクションを折りたたむと、現在の手順に関するより詳しい情報が表示されます。
To begin the process of extracting data, simply click the Add Data button. This starts the process of indicating a series of similar elements that can be used to identify the table you want to create. This starts the Indicate process, which highlights all the detected elements of the application you are currently working with. By selecting the
button, you can extract URLs and image sources of the extracted data, if they are present. These are added as a new column to your final table.
上の図に示すように、列ヘッダーをクリックすると、ウィザードでメッセージが表示され、自動的に識別された、使用可能な列すべてを抽出するかどうか尋ねられます。[はい] を選択すると、表全体がスクレイピングされます。
最初の列から要素のうち 1 つのみに近い要素 (最小の共通の親要素) を選択すると、それが自動的に新しい列の最初の要素と見なされます。
表が複数のページにまたがる場合は、[次へ] ボタンをクリックすると、次のページへのナビゲーション ボタンまたはリンクを選択できます。
各列は個別に編集または削除できるため、最終的な表を自由にカスタマイズできます。
必要なデータをすべて選択したら、[保存して Studio に戻る] ボタンをクリックすると、ウィザードが自動的に閉じ、ワークフローで行った作業内容がすべて保存されます。
抽出データを編集する
[表データを抽出] アクティビティの本体に表示されるコンテキスト メニューで [抽出データを編集] オプションを選択すると、既にスクレイピングされている表の編集を再開できます。このオプションを使用すると、それまでに行ったすべての設定を含むウィザードが再度開くので、中断した場所から設定を再開できます。
列を編集する
編集する列の横にある歯車アイコンをクリックすると、[列の設定] ウィンドウが開きます。
ここで、[列名] を編集できます。テキスト ボックスを使用して、最終的な表の列に使用する名前を指定することで、編集を実行できます。
[データを次の形式で解析] ドロップダウン メニューを使用すると、列に使用できる 3 つの主なデータ型 ([テキスト]、[数値]、および [日付と時刻]) のいずれかを選択できます。
[サンプル] テキスト ボックスには、[データを次の形式で解析] ドロップダウンで選択したデータ型として解析される列の値のサンプルが表示されます。
テキスト
[並べ替え] ドロップダウン メニューは、列内のデータを並べ替えるかどうかを指定します。既定では、[なし] が選択されており、データの並べ替えは実行されません。列内のデータをアルファベット順に並べ替えるには、希望する方法に応じて、[昇順] または [降順] を選択できます。
Number
[データを次の形式で解析] ドロップダウンで [数値] を選択すると、数値固有のその他のオプションが表示されます。
[並べ替え] ドロップダウン メニューは、列内のデータを並べ替えるかどうかを指定します。既定では、[なし] が選択されており、データの並べ替えは実行されません。列内のデータを英数字順に並べ替えるには、希望する方法に応じて、[昇順] または [降順] を選択できます。
[小数点区切り] は、最終的な表で小数点区切りに使用する記号を指定します。既定では、この記号は「.」です。
[3 桁の区切り文字] は、最終的な表で 3 桁の区切り文字に使用する記号を指定します。既定では、この記号は「,」です。
数字をスクレイピングする場合、数字は選択したオプションに従って解析され、区切り文字およびその他の記号 (例: $) は削除されます。
日付と時刻
[データを次の形式で解析] ドロップダウンで [日付と時刻] を選択すると、日付と時刻の形式に固有のその他のオプションが表示されます。
編集中の列が指定した形式と一致しない場合、[列の設定] ウィンドウの [サンプル] セクションに通知が表示されます。
[並べ替え] ドロップダウン メニューは、列内のデータを並べ替えるかどうかを指定します。既定では、[なし] が選択されており、データの並べ替えは実行されません。列内のデータを日付順に並べ替えるには、希望する方法に応じて、[昇順] または [降順] を選択できます。
[日付の解析形式] ドロップダウンでは、サポートされている多数の日付と時刻の形式から選択できます。
日付を選択すると、日付はオペレーティング システムで選択した形式に従って書式設定されます。ウィザードで選択された解析形式は、スクレイピング対象のデータを識別するためにのみ使用されます。
[設定] セクション
[設定] セクションでは、表内の要素の抽出を制限するかどうかを選択できます。既定では、このオプションは [制限なし] に設定されています。つまり、抽出は制限されず、表示されている表全体がスクレイピングされます。
[最大行数] オプションは、右側のフィールドに表示されている行数にスクレイピングを制限します。既定では、これは 1,000 行に設定されています。
[最大ページ数] オプションは、右側のフィールドに表示されているページ数にスクレイピングを制限します。既定では、これは 100 ページに設定されています。
[プレビュー] セクション
[プレビュー] セクションは、指定したテーブルで識別される列と行の数を指定します。また、目の形のボタンをクリックすると、抽出された表のプレビューを確認できます。
プレビューは、オフライン モードでの編集時には無効化されます。
メタデータを抽出
[メタデータを抽出] プロパティには、列ごとに抽出されるデータを識別するパスの XML 定義が含まれます。データ抽出ターゲット (セレクターによって定義された) から列要素までのパスが構築されます。このパスでは、tag、idx、text などの属性が使用されます。
例:
<extract>
<!—columns data identified by a path >
<column exact='1' name=’Description’ attr='text'>
<webctrl tag='div' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='span' idx='1' />
</column>
<column exact='1' name=’Currency’ attr='text'>
<webctrl tag='div' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='span' idx='2' />
</column>
</extract>
<extract>
<!—columns data identified by a path >
<column exact='1' name=’Description’ attr='text'>
<webctrl tag='div' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='span' idx='1' />
</column>
<column exact='1' name=’Currency’ attr='text'>
<webctrl tag='div' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='span' idx='2' />
</column>
</extract>
ユーザーが指定したサンプル データを識別するのに、tag、idx、および text 属性では不十分な場合は、パスではなく CSS セレクターが生成されます。このセレクターは、サンプル要素の共通クラスを使用します。
例:
<extract>
<!—column data identified by a path >
<column exact='1' name='Description' attr='text'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='h3' idx='1' />
</column>
<!—column data identified by a css-selector >
<column css-selector='.currency-value' name='Currency' attr='text' />
</extract>
<extract>
<!—column data identified by a path >
<column exact='1' name='Description' attr='text'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='h3' idx='1' />
</column>
<!—column data identified by a css-selector >
<column css-selector='.currency-value' name='Currency' attr='text' />
</extract>
[説明] 列では、tag および index 属性を使用して列データを識別します。
[通貨] 列では、要素はサンプルの共通クラスを含む CSS セレクターを使用して識別されます。
必要に応じて、[説明] にも CSS セレクターを使用できます (利用可能な場合)。
<extract>
<!—columns data identified by css-selectors >
<column css-selector='.product-title ' name='Description' attr='text' />
<column css-selector='.currency-value' name='Currency' attr='text' />
</extract>
<extract>
<!—columns data identified by css-selectors >
<column css-selector='.product-title ' name='Description' attr='text' />
<column css-selector='.currency-value' name='Currency' attr='text' />
</extract>
行定義では、列と同じ識別方法が使用されます。また、行定義は相関するデータを抽出するために使用されます。行には、各列の要素が含まれます。
例:
<extract>
<! -- row definition - ->
<row exact='1'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
</row>
<column exact='1' name='Description' attr='text'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='h3' idx='1' />
</column>
<column css-selector='.currency-value' name='Column' attr='text' />
</extract>
<extract>
<! -- row definition - ->
<row exact='1'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
</row>
<column exact='1' name='Description' attr='text'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='h3' idx='1' />
</column>
<column css-selector='.currency-value' name='Column' attr='text' />
</extract>
表の設定
このプロパティには、スクレイピング ウィザードで定義された、列設定の XML 定義が含まれます。[名前] や [形式] などの列プロパティは、この XML 定義で直接変更でき、実行時に出力データ テーブルを構築する際に使用されます。
例:
<table xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xmlns:xsd='http://www.w3.org/2001/XMLSchema' Type='Structured'>
<Column xsi:type='DataColumn' ReferenceName='Column0' Name=’Description'>
<Format xsi:type='TextColumnFormat' />
</Column>
<Column xsi:type='DataColumn' ReferenceName='Column2' Name=’Currency'>
<Format xsi:type='TextColumnFormat' />
</Column>
</Table>
<table xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xmlns:xsd='http://www.w3.org/2001/XMLSchema' Type='Structured'>
<Column xsi:type='DataColumn' ReferenceName='Column0' Name=’Description'>
<Format xsi:type='TextColumnFormat' />
</Column>
<Column xsi:type='DataColumn' ReferenceName='Column2' Name=’Currency'>
<Format xsi:type='TextColumnFormat' />
</Column>
</Table>