Exemple d'utilisation de capture de données

Pour mieux comprendre comment profiter de la fonctionnalité d'extraction des données, créons un projet d'automatisation qui extrait des informations spécifiques de Wikipedia et qui les écrit dans un tableur Excel. Vous pouvez utiliser ce type d'automatisation dans des scénarios différents, tels que l'extraction de listes de produits et de leurs prix des sites Web de commerce électronique.

Remarque :

Il est conseillé d'utiliser Internet Explorer (version 11 ou au-delà), Mozilla Firefox (version 50 ou au-delà), ou Google Chrome (la version la plus récente) pour exécuter vos projets d'automatisation Web.

Disons que vous voulez commencer à étudier les sciences économiques et que vous voulez obtenir une liste d'articles Wikipedia sur le sujet, avec les URL et les informations supplémentaires fournies dans les résultats de la recherche pour chaque article. Vous pouvez procéder comme suit :

1. Ouvrez Internet Explorer et accédez à en.wikipedia.org.

2. Dans la case Rechercher dans Wikipedia (Search Wikipedia), entrez « sciences économiques », puis cliquez sur « contenant... sciences économiques » dans le menu déroulant qui s'affiche. Une page Web s'ouvre et affiche les résultats de la recherche.

3. Dans Studio, créez un processus d'automatisation.

4. Dans le panneau Activités , ajoutez une activité Ouvrir le navigateur au panneau Designer et, dans le champ Url , collez l'URL de la page Web avec les résultats de la recherche. Dans notre exemple, l'URL est: "https://en.wikipedia.org/w/index.php?search=economics%20&title=Special%3ASearch&fulltext=1&ns0=1".

5. Dans l'onglet du ruban Conception (Design), groupe Assistants (Wizards), cliquez sur Extraction des données (Data Scraping). L'Assistant d'extraction (Extract Wizard) est affiché.

6. En suivant l'assistant, sélectionnez les premier et dernier éléments sur la page Web. L'étape de l'assistant Configurer les colonnes (Configure Columns) est affichée et les champs que vous avez sélectionnés sont mis en surbrillance dans le navigateur Web.

7. Cochez la case Extraire l'URL (Extract URL) et remplacez le nom des en-têtes de colonnes par un terme pertinent, par exemple « Titre de l'article » et « URL ».

   

8. Cliquez sur Suivant. Un aperçu des données est affiché dans l'étape de l'assistant Prévisualiser les données . Notez que du fait que la page Wikipedia utilise des URL relatives, la colonne URL contient également ces URL. Vous pouvez corriger cela dans la sortie Excel après l'exécution du projet en ajoutant la chaîne "https://en.wikipedia.org" au début de chaque cellule dans la colonne URL.

   

9. Cliquez sur le bouton Extraire les données corrélées (Extract Correlated Data) pour extraire des informations supplémentaires sur les articles. L'Assistant d'extraction (Extract Wizard) redémarre.

10. En suivant à nouveau l'assistant, indiquez les informations sur la taille et la date de la dernière modification disponible pour chaque article. Vous accédez à nouveau à l'étape Configurer les colonnes (Configure Columns).

11. Remplacez le nom du nouvel en-tête de colonne par « Informations supplémentaires » et cliquez sur Suivant (Next). Les données sont affichées dans l'étape de l'assistant Prévisualiser les données (Preview Data). Vous pouvez éventuellement modifier l'ordre des colonnes en les faisant glisser en place.

12. Dans Nombre maximum de résultats (Maximum number of results), entrez 60. La recherche Wikipedia répertorie 20 résultats par page et, pour notre exemple, nous voulons extraire les trois premières pages des résultats de la recherche.

13. Cliquez sur Terminer (Finish). La fenêtre Indiquer le lien suivant (Indicate Next Link) est affichée et vous invite à indiquer le bouton ou la flèche Suivant (Next) sur lequel vous devez cliquer si les données couvrent plus d'une page.
14. Cliquez sur Oui (Yes) et sélectionnez le bouton 20 suivants (next 20) au-dessous des résultats de la recherche dans Wikipedia. Le projet est mis à jour et une séquence Extraction des données (Data Scraping) est affichée dans le panneau Concepteur (Designer). Une variable DataTable, ExtractDataTable a été générée automatiquement.
15. Dans le panneau Variables (Variables), remplacez l'étendue de la variable ExtractDataTable générée automatiquement par Sequence. De cette façon, la variable est disponible en dehors de son étendue actuelle, la séquence Extraction des données (Data Scraping).
16. Ajoutez une activité Excel Application Scope sous la séquence Extraction des données .
17. Dans le panneau Propriétés (Properties) de l'activité Excel Application Scope, dans le champ WorkbookPath, entrez "web_scraping.xlsx". Lors de l'exécution du projet, un fichier ayant ce nom est créé dans le dossier de projet pour stocker les données à partir de l'extraction. Vous pouvez également spécifier un fichier qui existe déjà sur votre machine.
18. Dans la séquence Do de l'activité Excel Application Scope , ajoutez une activité Write Range et dans le panneau Propriétés :

• Dans le champ DataTable, ajoutez la variable ExtractDataTable.
• Cochez la case AddHeaders pour inclure les noms de colonnes dans la sortie.

19. Appuyez sur F5 pour exécuter le projet.
20. Ouvrez le fichier Excel que vous avez défini à l'étape 17. Remarque : toutes les colonnes sont correctement remplies.

Téléchargez l'exemple