データ スクレイピングについて

データ スクレイピングを使用すると、ブラウザー、アプリケーション、またはドキュメントから、データベース、.csv ファイル、さらには Excel スプレッドシートに、構造化データを抽出することができます。

注: Web オートメーションは、Internet Explorer 11 以上、Mozilla Firefox 50 以上、または Google Chrome の最新バージョンで実行することを推奨します。

構造化データとは、高度に整理され、予測可能なパターンで提示される、特定の種類の情報のことです。たとえば、Google の検索結果はすべて同じ構造 (一番上にリンクがあり、URL の文字列、Web ページの説明と続く) を持っています。この構造により、Studio にはどこを検索すればよいかが常にわかるため、それらの情報を簡単に抽出することができます。

スクレイピング ウィザードは、[デザイン] タブから [データ スクレイピング] ボタンをクリックして開くことができます。

データ スクレイピング ウィザードの主な手順は次のようになります。

1. データを抽出する Web ページ、ドキュメント、またはアプリケーションの最初のフィールドと最後のフィールドを選択して、Studio が情報のパターンを推測できるようにします。

   
   

   

   
   
   注: Studio は、表セルを指定したかどうかを自動的に検出し、表全体を抽出するかどうかをたずねます。[はい] をクリックした場合は、選択した表データのプレビューが抽出ウィザードによって表示されます。
   
   

   

   
   

2. 列の見出しをカスタマイズし、URL を抽出するかどうかを選択します。

   
   

   

   
   

3. データをプレビューし、抽出する結果の最大数を編集して、列の順序を変更します。

   
   

   

   
   
4. (省略可) [相関するデータを抽出] をクリックします。これで、もう一度抽出ウィザードを実行してさらに情報を抽出し、同じ表に新しい列として追加することができます。

5. Web ページ、アプリケーション、またはドキュメントの [次へ] ボタンを指示します (抽出する情報が複数のページにわたる場合)。

   
   

   

   
   

ウィザードが完了すると、Studio でシーケンスが生成されます。

データス クレイピングでは、トップレベル ウィンドウのセレクターを持つコンテナー ([ブラウザーにアタッチ] または [ウィンドウにアタッチ]) と、部分セレクターを持つ [構造化データを抽出] アクティビティが常に生成されます。これにより、スクレイピング対象のアプリケーションが正しく識別されます。

また、[構造化データを抽出] アクティビティには、抽出対象のデータを示す、自動生成された XML 文字列 ([メタデータ抽出] プロパティ内) も付加されます。

最後に、スクレイピングされた情報はすべて DataTable 変数に格納され、後でこの変数を使用してデータベース、.csv ファイル、または Excel スプレッドシートに出力することができます。