Exemple d'utilisation de l'automatisation d'image et d'OCR

En raison des difficultés rencontrées lors de la création d'un projet d'automatisation dans des environnements virtuels, il est naturel d'employer à la fois des méthodes d'automatisation basées sur des images et sur des techniques OCR. Nous vous invitons ici à créer un projet d'automatisation dont l'objectif est de récupérer, d'une part, l'e-mail d'un salarié et, d'autre part, un numéro de facture à partir d'une facture numérisée. Le projet saisit ensuite les données dans une application factice pour la gestion des dépenses (ExpenseIt) qui se trouve sur un ordinateur virtuel, puis compare le total de la facture avec celui de l'application :

1. Créer une nouvelle Séquence (Sequence).
2. Ouvrez la facture numérisée, la facture utilisée dans l'exemple peut être téléchargée ici. Nous vous recommandons d’utiliser Adobe Acrobat Reader pour des raisons de compatibilité.
3. Comme expliqué dans la capture relative de données, récupérez l'e-mail de l'employé à l'aide de la technologie OCR. Un conteneur, Attach Window renommé dans cet exemple en Attach PDF, qui contient le sélecteur et permet à toutes les autres activités de savoir où effectuer des actions est généré. Il contient une activité Find Image, qui sélectionne l'ancre pour l'extraction relative, une activité Get OCR Text qui récupère l'adresse e-mail de l'employé et deux activités Set Clipping Region : une pour traduire la première région de détourage en la seconde, et l’autre pour réinitialiser la zone de détourage.
4. Dans le module Variables, créez une nouvelle variable de type Valeur générique (GenericValue) et nommez-la email.
5. Saisissez la variable de l'e-mail dans la propriété Texte (Text) de l'activité de type Extraire le texte OCR (Get OCR Text) précédente.
6. Nommez la séquence ci-dessus Lire l'e-mail.

Remarque :

Les moteurs OCR disponibles dans Studio UiPath présentent tous des avantages et des inconvénients, en fonction des circonstances dans lesquelles ils sont utilisés. Il est donc essentiel d'essayer chacun afin de determiner dans quel contexte les utiliser. L'utilisation pour chaque tâche du moteur OCR le plus adapté permet en effet d'obtenir de meilleurs résultats.

7. Comme expliqué dans la section Extraction relative de données, récupérez le numéro de facture à l'aide de la technologie OCR. L'enregistreur génère un conteneur, Attach Window renommé dans cet exemple en Attach PDF, qui contient le sélecteur et permet à toutes les autres activités de savoir où effectuer des actions. À l'intérieur du conteneur, il y a une activité Find Image qui sélectionne l'ancre pour l'extraction relative, une activité Get OCR Text qui récupère le numéro de facture de l'employé et deux activités Set Clipping Region , une pour traduire la première région de détourage en seconde, et un pour réinitialiser la zone de détourage.

8. Dans le module Variables, créez une nouvelle variable de type Valeur générique (GenericValue) et nommez-la invoiceNo.

9. Saisissez la variable invoiceNo dans la propriété Texte (Text) de l'activité de type Extraire le texte OCR (Get OCR Text) précédente.

10. Nommez la séquence ci-dessus Read Invoice Number (extraire le numéro de la facture).

    

11. Comme expliqué dans la Capture relative de données, récupérez les dépenses totales de l'employé à l'aide de la technologie OCR. L'enregistreur génère un conteneur, Attach PDF, qui contient le sélecteur et permet à toutes les autres activités de savoir où effectuer des actions. À l'intérieur, il y a une activité Find Image qui sélectionne l'ancre pour l'extraction relative, une activité Get OCR Text qui récupère le total des dépenses de l'employé et deux activités Set Clipping Region , une pour traduire la première région de détourage en la seconde, et une pour réinitialiser la zone de détourage.

12. Dans le module Variables, créez une nouvelle variable de type Valeur générique (GenericValue) et nommez-la totalValue.

13. Saisissez la variable totalValue dans la propriété Texte (Text) de l'activité de type Extraire le texte OCR (Get OCR Text) précédente.

14. Nommez la séquence ci-dessus Extraire le total des frais (Read Total Expenses).

    

    Remarque :

    Pour ouvrir une application dans un environnement virtuel nous conseillons d'abord de créer un raccourci pointant vers l'application à ouvrir sur le bureau de l'ordinateur, puis de lui assigner un raccourci clavier. Un clic sur l'icône de l'application en utilisant Cliquer sur le texte OCR (Click OCR Text) peut parfois échouer si la couleur de l'arrière-plan ou de l'icône change.

15. Créez un raccourci pour l'application ExpenseIt sur le bureau de l'ordinateur virtuel.

16. Cliquez sur le raccourci avec le bouton droit de la souris pour ouvrir le menu contextuel, puis sélectionnez l'option Propriétés (Properties) pour afficher la fenêtre des Propriétés du raccourci (Shortcut Properties).

17. Rendez-vous dans l'onglet Raccourci (Shortcut) et ajoutez un raccourci clavier pour l'application dans le champ Touche de Raccourci (Shortcut Key), en appuyant sur la combinaison de touches désirée (par exemple Alt + Ctrl + T).

    

18. Ouvrez l'assistant d'enregistrement Citrix (Citrix Recording Wizard) pour démarrer un nouvel enregistrement.

19. Enregistrez l'envoi du raccourci clavier créé pour l'application vers la fenêtre de l'ordinateur virtuel.

20. Utilisez la méthode de capture relative de données pour cliquer sur le champ E-mail de l'application ExpenseIt en fonction de la position de son intitulé.

21. Entrez la variable email dans le champ E-mail (Email) de l'application ExpenseIt.

22. Utilisez la méthode Capture relative de données (Relative Scraping) pour cliquer sur le champ Numéro de l'employé (Employee Number) de l'application ExpenseIt en fonction de la position de son intitulé.

23. Entrez la variable invoiceNo dans le champ Numéro de l'employé (Employee Number) de l'application ExpenseIt.

24. Cliquez sur Enregistrer & Quitter (Save & Exit) pour fermer l'Assistant d'enregistrement (Recording Wizard). Un conteneur de type Lier à une fenêtre (Attach Window) est généré pendant l'enregistrement : il contient le sélecteur et indique à toutes les autres activités où effectuer les actions. Il comprend : une activité de type Transmettre un raccourci clavier (Send Hotkey), une activité Cliquer sur l'image (Click Image) dont la fonction est de cliquer sur le champ situé à droite de l'intitulé E-mail (Email), une activité Saisir dans (Type Into) dont la fonction est de saisir la variable de l'e-mail dans le champ, une activité Cliquer sur l'image (Click Image) dont la fonction est de cliquer sur le champ à droite de l'intitulé Numéro de l'employé(Employee Number) et, enfin, une activité de type Saisir dans (Type Into) qui enregistre la variable invoiceNo dans le champ.

    

25. Ouvrez l'assistant d'enregistrement Citrix (Citrix Recording Wizard) pour démarrer un nouvel enregistrement.

26. Enregistrez un clic du curseur sur le bouton Créer le rapport de dépenses (Create Expense Report) dans l'application ExpenseIt.

27. Utilisez la méthode Capture relative de données (Relative Scraping) pour extraire la valeur correspondant à l'intitulé du champ Total des frais ($) (Total Expenses).

28. Cliquez sur Enregistrer & Quitter (Save & Exit) pour fermer l'assistant d'enregistrement(Recording Wizard). Un conteneur de type Lier à une fenêtre (Attach Window) est généré pendant l'enregistrement : il contient le sélecteur et indique à toutes les autres activités où effectuer les actions. Il comprend : une activité de type Cliquer sur le texte OCR (Click OCR Text) dont la fonction est de cliquer sur le bouton Créer le rapport de dépenses (Create Expense Report), une activité de type Chercher une image (Find Image) dont la fonction est de déterminer un point d'ancrage pour la capture relative des données, une activité de type Extraire le texte OCR (Get OCR Text) dont le but est d'extraire la valeur totale des dépenses et, enfin, deux activités de type Définir une zone de capture (Set Clipping Region), dont la première sert à transmettre la zone de capture à la deuxième, tandis que la deuxième sert à réinitialiser la zone de capture.

    

29. Dans le module Variables, créez une nouvelle variable de type Valeur générique (GenericValue) et nommez-la totalExpense.

30. Saisissez la variable totalExpense dans le champ Texte (Text) de l'activité de type Extraire le texte OCR (Get OCR Text) précédente.

31. Insérez une nouvelle activité de type Si (If) après la dernière séquence d'enregistrement générée.

32. Indiquez totalExpense = totalValue dans la propriété Condition (Condition) de l'activité Si (If) : l'automatisation vérifiera alors si la valeur totale de la facture est égale à celle indiquée dans l'application pour la gestion des dépenses.

33. Insérez une activité de type Zone de message (Message Box) dans la section Puis (Then) de l'activité Si (If).

34. Dans le champ de propriété Text de Message Box, écrivez un message qui indique que les valeurs sont égales, d'où la facture correcte.

35. Insérez une activité de type Zone de message (Message Box) dans la section Autre (Else) de l'activité Si (If).

36. Dans le champ de propriété Text de Message Box, écrivez un message qui indique que les valeurs ne sont pas égales, d'où la facture incorrecte.

    

37. Appuyez sur la touche F5 pour exécuter l'automatisation. Remarque : l'automatisation enregistre les informations provenant de la facture numérisée dans l'application ExpenseIt, compare la valeur totale de la facture avec le total des dépenses enregistrées et informe l'utilisateur si les valeurs sont égales ou inégales.

Puisque ce processus d'automatisation sous-entend un contexte virtuel, il est inutile de télécharger un modèle de projet, car celui-ci ne fonctionnerait pas sur une autre machine. Nous vous encourageons donc à créer votre propre projet grâce aux instructions ci-dessus.