Méthodes de sortie ou de capture de données d'écran

Les méthodes de sortie ou de capture de données d'écran sont des activités qui permettent d'extraire des données, que ce soit à partir d'un élément d'une interface utilisateur ou à partir d'un document (comme par exemple un fichier .pdf).

Pour determiner quelle méthode employer pour l'automatisation de votre processus métier, examinons leurs caractéristiques respectives :

Méthode de capacité	Vitesse	Précision	Exécution en arrière-plan	Capable d'extraire la position du texte	Capable d'extraire un texte caché	Prise en charge de Citrix
FullText	10/10	100 %	oui	non	oui	non
Native	8/10	100 %	non	oui	non	non
OCR	3/10	98 %	non	oui	non	oui

Texte complet (FullText) est la méthode par défaut : elle est rapide et précise, mais contrairement à la méthode de type Native, elle ne peut pas extraire la position du texte à l'écran.

Ces deux méthodes ne fonctionnent que dans le cadre d'applications de bureau. De plus, la méthode Native ne fonctionne qu'avec les applications conçues pour le rendu de texte avec l'interface GDI (Graphics Device Interface).

La méthode OCR (pour la reconnaissance optique de caractères) n'est pas toujours fiable à 100 %, mais elle peut être utile car elle fonctionne avec toutes les applications (et notamment Citrix). Studio utilise deux moteurs OCR par défaut : Google Tesseract et Microsoft Modi.

Vous pouvez modifier les langues pour les moteurs OCR et vous pouvez en savoir plus sur l'Installation des langues pour OCR ici.

Méthode de capacité	Prise en charge de plusieurs langues	Superficie préférée	Prise en charge de l'inversion des couleurs	Définition d'un format de texte attendu	Filtrage des caractères autorisés	Résultat optimal avec les polices de Microsoft
Google Tesseract	Peut être ajouté	Petite	oui	oui	oui	non
Microsoft MODI	Par défaut	Grande	non	non	non	oui

Pour commencer à extraire du texte à partir de diverses sources, cliquez sur le bouton Capture de données d'écran (Screen Scraping) à partir du groupe des Assistants (Wizards) de l'onglet Design.

L'assistant pour la capture de données d'écran permet de pointer la souris sur un élément de l'interface utilisateur et d'extraire le texte contenu dans celui-ci, grâce à une des trois méthodes de sortie décrites plus haut. Studio sélectionne automatiquement une méthode de capture et l'affiche en haut de la fenêtre Assistant pour la capture des données d'écran (Screen Scraper Wizard).

Pour modifier la méthode de capture, sélectionnez la méthode de votre choix dans le module Options (Options), puis cliquez sur Actualiser (Refresh).

Lorsque vous êtes satisfait des résultats de l'extraction, cliquez sur Copier dans le Presse-papiers (Copy to Clipboard) et sur Terminer (Finish). Cette dernière option copie le texte extrait dans le Presse-papiers, et il peut être ajouté à une activité Générer un tableau de données dans le panneau Designer. Tout comme l'enregistrement sur le bureauLe grattage d'écran génère un conteneur (avec le sélecteur de la fenêtre du haut) qui contient des activités, et des sélecteurs partiels pour chaque activité.

Il est possible d'explorer les différentes fonctionnalités liées aux type de capture de données d'écran à partir de la fenêtre Assistant pour la capture des données d'écran (Screen Scraper Wizard), dans le module Options (Options) :

1. FullText

   
   

   

   
   
   • Ignorer les éléments masqués (Ignore Hidden) : les textes masqués présents dans l'élément d'interface utilisateur sélectionné ne sont pas copiés si cette case est cochée.

2. Native

   
   

   

   
   
   • Aucun formatage (No Formatting) : lorsque cette case est cochée, le texte est copié mais le formatage du texte n'est pas conservé. En cas contraire, la position relative du texte extrait est conservée.
   • Obtenir les infos de mots (Get Words Info) : lorsque cette case est cochée, Studio extrait également les coordonnées d'écran de chaque mot. En outre, le champ Personnaliser les séparateurs (Custom Separators) permet de spécifier les caractères utilisés comme séparateurs. Si le champ est vide, tous les séparateurs de textes connus sont utilisés.

3. Reconnaissance optique des caractères Google (Google OCR)

   
   

   

   
   
   • Langues (Languages) : l'anglais est la seule langue disponible par défaut.
   • Caractères (Characters) permet de sélectionner les types de caractères à extraire, parmi les options suivantes : Tous les caractères (Any character), Nombres uniquement (Numbers only), Lettres (Letters), Majuscules (Uppercase), Minuscules (Lowercase), Numéros de téléphone(Phone numbers), Devises (Currency), Date et Sur mesure(Custom). Si vous sélectionnez l'option sur mesure (Custom), deux champs supplémentaires apparaissent : Autoriser (Autorisé) et Refusé (Denied) pour vous permettre d'autoriser ou d'interdire la capture de caractères particuliers et de créer ainsi vos propres règles.
   • Inverser (Invert): lorsque cette case est cochée, les couleurs de l'élément d'interface utilisateur sont inversées avant la capture des données, ce qui est utile lorsque l'arrière-plan est plus sombre que le texte.
   • Échelle (Scale): il s'agit du facteur de mise à l'échelle de l'image ou de l'élément sélectionné dans l'interface utilisateur. Plus ce facteur est élevé, plus l'image est élargie. Cette option est recommandée pour les petites images et pour favoriser la détection OCR.

   • Get Words Info : permet d'obtenir la position de chaque mot capturé sur un écran donné.

     Remarque : dans certaines instances d'UiPath Studio, le moteur Google Tesseract peut contenir des fichiers d'entraînement (à propos des fichiers d'entraînement : Wikipedia, GitHub) qui ne fonctionnent pas pour certaines langues autres que l'anglais. L'exécution d'un projet avec ces fichiers d'entraînement corrompus peut entraîner la levée d'une exception. Pour résoudre ce problème, téléchargez le fichier d'entraînement pour la langue que vous souhaitez utiliser à partir d' ici et copiez-le dans le dossier tessdata du répertoire d'installation UiPath. Pour vérifier si les fichiers d'entraînement que vous avez téléchargés fonctionnent, vous pouvez télécharger ce projet de test.

4. UiPath Screen OCR

   
   

   

   
   
   • Point de terminaison : le point de terminaison où le modèle OCR est hébergé, soit publiquement, soit via une compétence ML dans AI Center.
   • Clé API – la clé API du point de terminaison.
   • Get Words Info : permet d'obtenir la position de chaque mot capturé sur un écran donné.
   • Utiliser le serveur local (Utiliser le serveur local) - sélectionnez cette option si vous souhaitez exécuter l'OCR localement (nécessite le pack de serveur local Computer Vision)

5. Reconnaissance optique des caractères Microsoft (Microsoft OCR)

   Attention: le moteur d'extraction Microsoft OCR ne prend pas en charge les workflows .NET 5.
   
   

   

   
   

• Langues : permet de changer la langue du texte capturé. La langue sélectionnée par défaut est l'anglais.
• Échelle (Scale): il s'agit du facteur de mise à l'échelle de l'image ou de l'élément sélectionné dans l'interface utilisateur. Plus ce facteur est élevé, plus l'image est élargie. Cette option est recommandée pour les petites images et pour favoriser la détection OCR.
• Extraire informations des mots (Get Words Info) : permet d'obtenir la position de chaque mot capturé sur un écran donné.

Nous avons vu qu'il est possible d'extraire un texte à partir d'un élément donné dans une interface utilisateur. Il est de surcroît possible d'extraire les valeurs de plusieurs types d'attributs liés à cet élément, la position exacte de l'élément à l'écran, ou encore son ancêtre.

Ces données peuvent être extraites grâce à des activités spécifiques, accessibles à partir des options UI Automation > Element > Trouver (Find) et UI Automation > Element > Attribut (Attribute) dans le module Activités (Activities).

Voici la liste des activités proposées :

• Obtenir l'ancêtre (Get Ancestor): cette activité permet de récupérer un ancêtre à partir d'un élément donné dans une interface utilisateur. Vous pouvez indiquer à quel niveau lancer la recherche dans la hiérarchie de l'interface utilisateur, puis stocker les résultats de la recherche dans une variable de type UiElement.

  
  

  

  
  

• Obtenir l'attribut (Get Attribute) permet de récupérer la valeur d'un attribut pour un élément donné d'une interface utilisateur. Une fois que l'élément de l'interface utilisateur est indiqué à l'écran, une liste déroulante contenant tous les attributs disponibles s'affiche.

  
  

  

  
  

• Extraire Position (Get Position): cette activité permet de récupérer le rectangle englobant pour l'UiElement spécifié et prend uniquement en charge les variables Rectangle.

  
  

  

  
  

Studio UiPath propose également une option de capture relative de données d'écran (Relative Scraping) : il s'agit d'une méthode de capture qui identifie l'emplacement du texte à extraire par rapport à un point d’ancrage. Vous pouvez en savoir plus à ce sujet ici.

Vous pouvez également générer des tables à partir de données non structurées et stocker les informations dans les variables DataTable, en utilisant l'assistant de l'extraction des données d'écran. Pour plus d'informations, consultez la section Génération de tables à partir de données non structurées.