Activités de type OCR

In some situations, certain applications are not compatible with the usage of normal scraping or UI automation technologies. Activities in Studio which use OCR technology scan the entire screen of the machine, finding all the characters that are displayed. This enables the user to create automations based on what can be seen on the screen, simplifying automation in virtual machine environments. Citrix and other remote desktop utilities are usually the target of OCR-based activities, as they only stream an image of the desktop to the user, which means normal UI selectors are impossible to find.

Remarque : pour construire un projet d'automatisation nous conseillons d'abord de créer le projet grâce à l'assistant d'enregistrement, puis de générer automatiquement les sélecteurs, et enfin d'affiner les activités selon vos besoins.

Les fonctions de type Cliquer sur le texte OCR (Click OCR Text) et Pointer sur le texte OCR (Hover OCR Text) permettent d'utiliser la technique OCR pour analyser l'écran de l'ordinateur et y effectuer des actions. Si les éléments graphiques changent, mais pas le texte, les automatisations créées à l'aide de la reconnaissance de texte continuent en règle générale de fonctionner. Ces activités sont très utiles pour automatiser des actions de base dans des environnements de machines virtuelles. En mode saisie, ces activités reçoivent une cible, qui peut être soit une variable chaîne (string), une variable Région (Region), une variable ÉlémentIU (UIElement) ou un sélecteur, qui indique les coordonnées où l'action doit être effectuée. La cible peut également être générée automatiquement à l'aide de la fonctionnalité Indiquer à l'écran (Indicate on Screen), qui essaie d'identifier les éléments d'IU dans la région indiquée, et génère des sélecteurs pour eux. Si cela ne fonctionne pas pour vous, une intervention manuelle peut être nécessaire.

Obtenir le texte OCR (Get OCR Text) extrait une chaîne et ses informations d’un élément d’IU indiqué à l’aide de la méthode d'extraction de données d’écran OCR. Cette activité peut être également générée automatiquement lors de l’extraction des données d’écran, avec un conteneur. Par défaut, le moteur OCR de Google est utilisé, mais vous pouvez facilement le modifier avec Abbyy ou Microsoft. Il existe quelques différences entre ces moteurs OCR, comme expliqué ici, ce qui les rend adaptés à différentes situations. En mode saisie, ces activités reçoivent une cible, qui peut être soit une variable Région (Region), une variable ÉlémentIU (UIElement) ou un sélecteur, qui vous aide à identifier ce que vous souhaitez automatiser et où les actions doivent être effectuées. La cible peut également être générée automatiquement à l'aide de la fonctionnalité Indiquer à l'écran (Indicate on Screen), qui essaie d'identifier les éléments d'IU dans la région indiquée, et génère des sélecteurs pour eux. Si cela ne fonctionne pas pour vous, une intervention manuelle peut être nécessaire. Cette activité renvoie une variable de chaîne contenant le texte trouvé dans l'élément d'IU et une variable InfoTexte (TextInfo) qui contient les coordonnées d'écran de tous les mots trouvés.

La fonction Chercher la position du texte OCR (Find OCR Text Position) recherche une chaîne donnée dans un élément d'interface utilisateur, puis l'insère dans une variable de type UIElement. Cette activité peut être utile pour trouver des éléments de l'interface utilisateur par rapport à un texte sur l'écran. En mode saisie, cette activité reçoit une chaîne contenant le texte à rechercher, ainsi qu'une Cible (soit une variable de Région, une variable de type UIElement, ou un sélecteur) qui permet d'identifier l'objet à automatiser et les actions à effectuer. La cible peut également être définie automatiquement grâce à la fonctionnalité Indiquer à l'écran (Indicate on screen), dont l'objectif est de tenter d'identifier les éléments de l'interface utilisateur dans la région indiquée et de créer des sélecteurs pour ces éléments. Une intervention manuelle peut cependant s'avérer nécessaire en cas d'échec. Cette activité renvoie une variable de type UiElement qui contient la position du texte trouvé.

La fonction Texte OCR Existe (OCR Text Exists) vérifie la présence d'un texte dans un élément d'interface utilisateur donné grâce à la technologie OCR et renvoie une variable booléenne qui indique Vrai si le texte existe et Faux dans le cas contraire. Cette activité est utile pour tous les types d'automatisation basés sur du texte : elle permet de prendre une décision en fonction de la présence d'une chaîne et elle peut être utilisée comme condition dans l'activité Répéter la portée (Retry Scope) pour déclencher certaines actions au sein d'une boucle. En mode saisie, cette activité reçoit une chaîne contenant le texte à rechercher, ainsi qu'une Cible (soit une variable de Région, une variable de type UIElement, ou un sélecteur) qui permet d'identifier l'objet à automatiser et les actions à effectuer. La cible peut également être définie automatiquement grâce à la fonctionnalité Indiquer à l'écran (Indicate on screen), dont l'objectif est de tenter d'identifier les éléments de l'interface utilisateur dans la région indiquée et de créer des sélecteurs pour ces éléments. Une intervention manuelle peut cependant s'avérer nécessaire en cas d'échec. Cette activité génère une variable booléenne indiquant si le texte existe.

Les moteurs OCR, tels que Google OCR, Google Cloud OCR, Microsoft OCR, Microsoft Cloud OCR et Abbyy Cloud OCR sont également disponibles en tant qu'activités distinctes. Ces activités extraient une chaîne et sa position d'une image fournie à l'aide de différents moteurs OCR. Ces activités peuvent être utilisées avec d'autres activités OCR (Cliquer sur un texte OCR (Click OCR Text), Pointer sur un texte OCR (Hover OCR Text), Obtenir un texte OCR (Get OCR Text), Rechercher une position de texte OCR (Find OCR Text Position)). En entrée, ces activités reçoivent une variable Image qui contient le fichier image à numériser. En tant que sortie, les activités renvoient une variable IEnumerable<KeyValuePair<Rectangle,String>> , qui contient le texte extrait et leurs coordonnées à l'écran, et une variable de chaîne qui contient le texte extrait.