- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation のアクティビティ
表抽出
DataTable
オブジェクトとして保存して、さらにオートメーション プロセスで使用することができます。
このプロセスは、Studio の [表抽出] レコーダーを使用することで実行できます。このレコーダーは、現在のプロジェクトに UI Automation v21.4 以降のパッケージがインストールされており、[モダン エクスペリエンス] を選択している場合は、リボンからアクセスできます。
ワークフローで [表データを抽出] アクティビティを使用している場合も、同じウィザードを使用できます。
プロジェクトで [モダン エクスペリエンス] を選択しており、UI Automation アクティビティ パッケージがインストールされている場合は、Studio のリボンに [表抽出] レコーダーがあります。
リボンの [表抽出] ボタンをクリックすると、表抽出ウィザードが開きます。
このウィザードを使用すると、[表データを抽出] アクティビティが提供する機能スイート全体を非常に簡単に設定できます。
利用可能な UI フレームワーク ([既定]、[UI Automation]、または [Active Accessibility]) を切り替えるには、ドロップダウン メニューからオプションを選択するか、F4 キーを押します。
また、[情報] セクションでは、構造化データを正常に抽出するために必要な手順をすべて確認できます。このセクションを折りたたむと、現在の手順に関するより詳しい情報が表示されます。
データの抽出プロセスを開始するには、[データを追加] ボタンをクリックします。これにより、作成する表を識別するために使用できる、一連の類似した要素を指定するプロセスが開始されます。指定プロセスが開始され、現在作業中のアプリケーションの検出された要素すべてが強調表示されます。 ボタンを選択すると、抽出したデータの URL と画像ソース (ある場合) を抽出できます。これらは、最終的な表に新しい列として追加されます。
上の図に示すように、列ヘッダーをクリックすると、ウィザードでメッセージが表示され、自動的に識別された、使用可能な列すべてを抽出するかどうか尋ねられます。[はい] を選択すると、表全体がスクレイピングされます。
最初の列から要素のうち 1 つのみに近い要素 (最小の共通の親要素) を選択すると、それが自動的に新しい列の最初の要素と見なされます。
表が複数のページにまたがる場合は、[次へ] ボタンをクリックすると、次のページへのナビゲーション ボタンまたはリンクを選択できます。
各列は個別に編集または削除できるため、最終的な表を自由にカスタマイズできます。
必要なデータをすべて選択したら、[保存して Studio に戻る] ボタンをクリックすると、ウィザードが自動的に閉じ、ワークフローで行った作業内容がすべて保存されます。
抽出データを編集する
[表データを抽出] アクティビティの本体に表示されるコンテキスト メニューで [抽出データを編集] オプションを選択すると、既にスクレイピングされている表の編集を再開できます。このオプションを使用すると、それまでに行ったすべての設定を含むウィザードが再度開くので、中断した場所から設定を再開できます。
列を編集する
編集する列の横にある歯車アイコンをクリックすると、[列の設定] ウィンドウが開きます。
ここで、[列名] を編集できます。テキスト ボックスを使用して、最終的な表の列に使用する名前を指定することで、編集を実行できます。
[データを次の形式で解析] ドロップダウン メニューを使用すると、列に使用できる 3 つの主なデータ型 ([テキスト]、[数値]、および [日付と時刻]) のいずれかを選択できます。
[サンプル] テキスト ボックスには、[データを次の形式で解析] ドロップダウンで選択したデータ型として解析される列の値のサンプルが表示されます。
テキスト
[並べ替え] ドロップダウン メニューは、列内のデータを並べ替えるかどうかを指定します。既定では、[なし] が選択されており、データの並べ替えは実行されません。列内のデータをアルファベット順に並べ替えるには、希望する方法に応じて、[昇順] または [降順] を選択できます。
Number
[データを次の形式で解析] ドロップダウンで [数値] を選択すると、数値固有のその他のオプションが表示されます。
[並べ替え] ドロップダウン メニューは、列内のデータを並べ替えるかどうかを指定します。既定では、[なし] が選択されており、データの並べ替えは実行されません。列内のデータを英数字順に並べ替えるには、希望する方法に応じて、[昇順] または [降順] を選択できます。
.
」です。
,
」です。
$
) は削除されます。
日付と時刻
[データを次の形式で解析] ドロップダウンで [日付と時刻] を選択すると、日付と時刻の形式に固有のその他のオプションが表示されます。
編集中の列が指定した形式と一致しない場合、[列の設定] ウィンドウの [サンプル] セクションに通知が表示されます。
[並べ替え] ドロップダウン メニューは、列内のデータを並べ替えるかどうかを指定します。既定では、[なし] が選択されており、データの並べ替えは実行されません。列内のデータを日付順に並べ替えるには、希望する方法に応じて、[昇順] または [降順] を選択できます。
[日付の解析形式] ドロップダウンでは、サポートされている多数の日付と時刻の形式から選択できます。
[設定] セクションでは、表内の要素の抽出を制限するかどうかを選択できます。既定では、このオプションは [制限なし] に設定されています。つまり、抽出は制限されず、表示されている表全体がスクレイピングされます。
[最大行数] オプションは、右側のフィールドに表示されている行数にスクレイピングを制限します。既定では、これは 1,000 行に設定されています。
[最大ページ数] オプションは、右側のフィールドに表示されているページ数にスクレイピングを制限します。既定では、これは 100 ページに設定されています。
[プレビュー] セクションは、指定したテーブルで識別される列と行の数を指定します。また、目の形のボタンをクリックすると、抽出された表のプレビューを確認できます。
プレビューは、オフライン モードでの編集時には無効化されます。
tag
、idx
、text
などの属性が使用されます。
例:
<extract>
<!—columns data identified by a path >
<column exact='1' name=’Description’ attr='text'>
<webctrl tag='div' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='span' idx='1' />
</column>
<column exact='1' name=’Currency’ attr='text'>
<webctrl tag='div' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='span' idx='2' />
</column>
</extract>
<extract>
<!—columns data identified by a path >
<column exact='1' name=’Description’ attr='text'>
<webctrl tag='div' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='span' idx='1' />
</column>
<column exact='1' name=’Currency’ attr='text'>
<webctrl tag='div' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='div' idx='1' />
<webctrl tag='span' idx='2' />
</column>
</extract>
tag
、idx
、および text
属性では不十分な場合は、パスではなく CSS セレクターが生成されます。このセレクターは、サンプル要素の共通クラスを使用します。
例:
<extract>
<!—column data identified by a path >
<column exact='1' name='Description' attr='text'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='h3' idx='1' />
</column>
<!—column data identified by a css-selector >
<column css-selector='.currency-value' name='Currency' attr='text' />
</extract>
<extract>
<!—column data identified by a path >
<column exact='1' name='Description' attr='text'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='h3' idx='1' />
</column>
<!—column data identified by a css-selector >
<column css-selector='.currency-value' name='Currency' attr='text' />
</extract>
tag
および index
属性を使用して列データを識別します。
[通貨] 列では、要素はサンプルの共通クラスを含む CSS セレクターを使用して識別されます。
必要に応じて、[説明] にも CSS セレクターを使用できます (利用可能な場合)。
<extract>
<!—columns data identified by css-selectors >
<column css-selector='.product-title ' name='Description' attr='text' />
<column css-selector='.currency-value' name='Currency' attr='text' />
</extract>
<extract>
<!—columns data identified by css-selectors >
<column css-selector='.product-title ' name='Description' attr='text' />
<column css-selector='.currency-value' name='Currency' attr='text' />
</extract>
行定義では、列と同じ識別方法が使用されます。また、行定義は相関するデータを抽出するために使用されます。行には、各列の要素が含まれます。
例:
<extract>
<! -- row definition - ->
<row exact='1'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
</row>
<column exact='1' name='Description' attr='text'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='h3' idx='1' />
</column>
<column css-selector='.currency-value' name='Column' attr='text' />
</extract>
<extract>
<! -- row definition - ->
<row exact='1'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
</row>
<column exact='1' name='Description' attr='text'>
<webctrl tag='li' />
<webctrl tag='div' idx='1' />
<webctrl tag='a' idx='1' />
<webctrl tag='div' idx='2' />
<webctrl tag='div' idx='1' />
<webctrl tag='h3' idx='1' />
</column>
<column css-selector='.currency-value' name='Column' attr='text' />
</extract>
このプロパティには、スクレイピング ウィザードで定義された、列設定の XML 定義が含まれます。[名前] や [形式] などの列プロパティは、この XML 定義で直接変更でき、実行時に出力データ テーブルを構築する際に使用されます。
例:
<Table xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xmlns:xsd='http://www.w3.org/2001/XMLSchema' Type='Structured'>
<Column xsi:type='DataColumn' ReferenceName='Column0' Name=’Description'>
<Format xsi:type='TextColumnFormat' />
</Column>
<Column xsi:type='DataColumn' ReferenceName='Column2' Name=’Currency'>
<Format xsi:type='TextColumnFormat' />
</Column>
</Table>
<Table xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xmlns:xsd='http://www.w3.org/2001/XMLSchema' Type='Structured'>
<Column xsi:type='DataColumn' ReferenceName='Column0' Name=’Description'>
<Format xsi:type='TextColumnFormat' />
</Column>
<Column xsi:type='DataColumn' ReferenceName='Column2' Name=’Currency'>
<Format xsi:type='TextColumnFormat' />
</Column>
</Table>