Exemple d'utilisation de l'automatisation d'image et d'OCR

En raison des difficultés rencontrées lors de la création d'un projet d'automatisation dans des environnements virtuels, il est naturel d'employer à la fois des méthodes d'automatisation basées sur des images et sur des techniques OCR. Nous vous invitons ici à créer un projet d'automatisation dont l'objectif est de récupérer, d'une part, l'e-mail d'un salarié et, d'autre part, un numéro de facture à partir d'une facture numérisée. Le projet saisit ensuite les données dans une application factice pour la gestion des dépenses (ExpenseIt) qui se trouve sur un ordinateur virtuel, puis compare le total de la facture avec celui de l'application :

1. Créez une nouvelle Séquence (Sequence).
2. Ouvrez la facture numérisée, la facture utilisée dans l'exemple peut être téléchargée ici. Nous vous recommandons d’utiliser Adobe Acrobat Reader pour des raisons de compatibilité.
3. Comme expliqué ici, récupérez l’e-mail de l’employé à l’aide de la technologie OCR. Un conteneur, Lier à une fenêtre (Attach Window) renommé dans cet exemple en Lier à un fichier PDF (Attach PDF), qui contient le sélecteur et permet à toutes les autres activités de savoir où effectuer des actions est généré. Il contient une activité Rechercher l'image (Find Image), qui sélectionne l'ancre pour l'extraction relative de données, une activité Obtenir le texte OCR (Get OCR Text) qui récupère l'adresse e-mail de l'employé et deux activités Définir la zone de détourage (Set Clipping Region) : une pour traduire la première zone de détourage en une seconde, et l'autre pour réinitialiser la zone de détourage.
4. Dans le module Variables, créez une nouvelle variable de type Valeur générique (GenericValue) et nommez-la email.
5. Saisissez la variable de l'e-mail dans la propriété Texte (Text) de l'activité de type Extraire le texte OCR (Get OCR Text) précédente.
6. Nommez la séquence ci-dessus Lire l'e-mail.
   
   

   

   
   

   Remarque : les moteurs OCR présentés par UiPath Studio ont leurs avantages et leurs inconvénients, leur utilisation dépend des circonstances, et il est essentiel de tester celui qui fait le meilleur travail dans chaque situation pour décider lequel utiliser. Changer le moteur OCR pour différentes tâches peut améliorer vos résultats.
7. Comme expliqué ici, récupérez le numéro de facture à l'aide de la technologie OCR. L'enregistreur génère un conteneur, Attach Window (Lier à une fenêtre) renommé dans cet exemple en Attach PDF(Attach PDF), qui contient le sélecteur et permet à toutes les autres activités de savoir où effectuer des actions. À l'intérieur du conteneur, il y a une activité Find Image(Find Image) qui sélectionne l'ancre pour l'extraction relative, une activité Get OCR Text qui récupère le numéro de facture de l'employé et deux activités Set Clipping Region (Set Clipping Region), une pour traduire la première région de détourage en seconde, et un pour réinitialiser la région de détourage.
8. Dans le module Variables, créez une nouvelle variable de type Valeur générique (GenericValue) et nommez-la invoiceNo.
9. Saisissez la variable invoiceNo dans la propriété Texte (Text) de l'activité de type Extraire le texte OCR (Get OCR Text) précédente.
10. Nommez la séquence ci-dessus Read Invoice Number (extraire le numéro de la facture).
    
    

    

    
    
11. Comme expliqué ici, récupérez les dépenses totales de l'employé à l'aide de la technologie OCR. L'enregistreur génère un conteneur, Attach PDF, qui contient le sélecteur et permet à toutes les autres activités de savoir où effectuer des actions. À l'intérieur, il y a une activité Find Image, qui sélectionne l'ancre pour l'extraction relative, une activité Get OCR Text qui récupère le total des dépenses de l'employé et deux activités Set Clipping Region , une pour traduire la première région de détourage en la seconde, et un pour réinitialiser la région de détourage.
12. Dans le module Variables, créez une nouvelle variable de type Valeur générique (GenericValue) et nommez-la totalValue.
13. Saisissez la variable totalValue dans la propriété Texte (Text) de l'activité de type Extraire le texte OCR (Get OCR Text) précédente.
14. Nommez la séquence ci-dessus Extraire le total des frais (Read Total Expenses).
    
    

    

    
    

    Remarque : une bonne pratique pour ouvrir des applications dans des environnements de machines virtuelles consiste à créer un raccourci pour l'application à ouvrir sur le bureau de la machine et à lui attribuer un raccourci clavier. Essayer de cliquer sur l’icône de l’application à l’aide de Cliquer sur le texte OCR peut parfois échouer en raison de modifications de la couleur d’arrière-plan ou de la sélection de l’icône.
15. Créez un raccourci pour l'application ExpenseIt sur le bureau de l'ordinateur virtuel.
16. Cliquez sur le raccourci avec le bouton droit de la souris pour ouvrir le menu contextuel, puis sélectionnez l'option Propriétés (Properties) pour afficher la fenêtre des Propriétés du raccourci (Shortcut Properties).
17. Rendez-vous dans l'onglet Raccourci (Shortcut) et ajoutez un raccourci clavier pour l'application dans le champ Touche de Raccourci (Shortcut Key), en appuyant sur la combinaison de touches désirée (par exemple Alt + Ctrl + T).
    
    

    

    
    
18. Ouvrez l'assistant d'enregistrement Citrix (Citrix Recording Wizard) pour démarrer un nouvel enregistrement.
19. Enregistrez l'envoi du raccourci clavier créé pour l'application vers la fenêtre de l'ordinateur virtuel.
20. Utilisez la méthode de capture relative de données (Relative Scraping) pour cliquer sur le champ E-mail (Email) de l'application ExpenseIt en fonction de la position de son intitulé.
21. Entrez la variable email dans le champ E-mail (Email) de l'application ExpenseIt.
22. Utilisez la méthode Capture relative de données (Relative Scraping) pour cliquer sur le champ Numéro de l'employé (Employee Number) de l'application ExpenseIt en fonction de la position de son intitulé.
23. Entrez la variable invoiceNo dans le champ Numéro de l'employé (Employee Number) de l'application ExpenseIt.
24. Cliquez sur Enregistrer et quitter (Save & Exit) dans l’assistant d’enregistrement. L'enregistreur génère un conteneur Attach Window qui contient le sélecteur et permet à toutes les autres activités de savoir où effectuer des actions. Il contient une activité Send Hotkey (Send Hotkey), une activité Click Image (Cliquer sur l’image) qui clique sur le champ à droite du libellé E-mail , une activité Saisir dans (Type Into) qui tape la variable d’e-mail dans le champ, une activité Cliquer sur l’image (Click Image) qui clique sur le champ à droite de l’Employé Libellé numérique et une activité Type Into qui tape la variable invoiceNo dans le champ.
    
    

    

    
    
25. Ouvrez l'assistant d'enregistrement Citrix (Citrix Recording Wizard) pour démarrer un nouvel enregistrement.
26. Enregistrez un clic du curseur sur le bouton Créer le rapport de dépenses (Create Expense Report) dans l'application ExpenseIt.
27. Utilisez la méthode Capture relative de données (Relative Scraping) pour extraire la valeur correspondant à l'intitulé du champ Total des frais ($) (Total Expenses).
28. Cliquez sur Enregistrer & Quitter (Save & Exit) pour fermer l'assistant d'enregistrement(Recording Wizard). Un conteneur de type Lier à une fenêtre (Attach Window) est généré pendant l'enregistrement : il contient le sélecteur et indique à toutes les autres activités où effectuer les actions. Il comprend : une activité de type Cliquer sur le texte OCR (Click OCR Text) dont la fonction est de cliquer sur le bouton Créer le rapport de dépenses (Create Expense Report), une activité de type Chercher une image (Find Image) dont la fonction est de déterminer un point d'ancrage pour la capture relative des données, une activité de type Extraire le texte OCR (Get OCR Text) dont le but est d'extraire la valeur totale des dépenses et, enfin, deux activités de type Définir une zone de capture (Set Clipping Region), dont la première sert à transmettre la zone de capture à la deuxième, tandis que la deuxième sert à réinitialiser la zone de capture.
    
    

    

    
    
29. Dans le module Variables, créez une nouvelle variable de type Valeur générique (GenericValue) et nommez-la totalExpense.
30. Saisissez la variable totalExpense dans le champ Texte (Text) de l'activité de type Extraire le texte OCR (Get OCR Text) précédente.
31. Insérez une nouvelle activité de type Si (If) après la dernière séquence d'enregistrement générée.
32. Définissez la propriété Condition de l'activité Si sur totalExpense = totalValue. Cela signifie que l'automatisation vérifie si la valeur totale de la facture est égale à la valeur dans l'application des dépenses.
33. Insérez une activité de type Zone de message (Message Box) dans la section Puis (Then) de l'activité Si (If).
34. Dans le champ de propriété Text de Message Box, écrivez un message qui indique que les valeurs sont égales, d'où la facture correcte.
35. Insérez une activité de type Zone de message (Message Box) dans la section Autre (Else) de l'activité Si (If).
36. Dans le champ de propriété Text de Message Box, écrivez un message qui indique que les valeurs ne sont pas égales, d'où la facture incorrecte.
    
    

    

    
    
37. Appuyez sur la touche F5 pour exécuter l'automatisation. Remarque : l'automatisation enregistre les informations provenant de la facture numérisée dans l'application ExpenseIt, compare la valeur totale de la facture avec le total des dépenses enregistrées et informe l'utilisateur si les valeurs sont égales ou inégales.

Puisque ce processus d'automatisation sous-entend un contexte virtuel, il est inutile de télécharger un modèle de projet, car celui-ci ne fonctionnerait pas sur une autre machine. Nous vous encourageons donc à créer votre propre projet grâce aux instructions ci-dessus.