Activités de type OCR

Il est possible que certaines applications soient incompatibles avec les technologies habituellement utilisées pour l’extraction des données ou UI Automation. Les activités OCR disponibles dans Studio permettent d’analyser l’intégralité de l’écran d’ordinateur et de détecter tous les caractères qui y sont affichés. L’utilisateur peut alors créer une automatisation en fonction de ce qui est visible à l’écran, ce qui facilite grandement l’automatisation dans le cadre d’un environnement de machine virtuelle. La reconnaissance optique des caractères est en effet couramment utilisée avec Citrix et d’autres utilitaires de bureau à distance, car, dans leur cas, seule une image du bureau est transmise à l’utilisateur : les sélecteurs d’interface utilisateur normaux sont donc impossibles à trouver.

Remarque : pour construire un projet d'automatisation nous conseillons d'abord de créer le projet grâce à l'assistant d'enregistrement, puis de générer automatiquement les sélecteurs, et enfin d'affiner les activités selon vos besoins.

Cliquez sur Texte OCR (Click OCR Text ) et Pointer sur Texte OCR (Hover OCR Text ) utiliser OCR pour scanner l'écran de la machine pour le texte et effectuer des actions relatives à celui-ci. Si les éléments graphiques changent, mais pas le texte, les automatisations créées à l'aide de la reconnaissance de texte continueront généralement de fonctionner. Ce sont des activités très utiles pour automatiser les actions de base dans les environnements de machines virtuelles. En entrée, ces activités reçoivent une cible, qui peut être une variable de chaîne, une variable Region, une variable UIElement ou un sélecteur, qui indique les coordonnées de l’endroit où l’action doit être effectuée. La cible peut également être générée automatiquement à l'aide de la fonctionnalité Indiquer à l'écran (Indicate on Screen ), qui tente d'identifier les éléments d'IU dans la région indiquée et génère des sélecteurs pour eux. Si cela ne fonctionne pas pour vous, une intervention manuelle peut être nécessaire.

Get OCR Text extrait une chaîne et ses informations d’un élément de l’IU indiqué à l’aide de la méthode d’extraction de données d’écran OCR. Cette activité peut également être générée automatiquement lors de l’extraction de données d’écran, avec un conteneur. Par défaut, le moteur Google OCR est utilisé, mais vous pouvez facilement le modifier avec Abbyy ou Microsoft. Il existe quelques différences entre ces moteurs OCR, comme expliqué ici, ce qui les rend adaptés à différentes situations. En entrée, cette activité reçoit une cible, qui peut être une variable Region (Region), une variable UiElement ou un sélecteur, qui vous aide à identifier ce que vous souhaitez automatiser et où les actions doivent être effectuées. La cible peut également être générée automatiquement à l'aide de la fonctionnalité Indiquer à l'écran (Indicate on Screen ), qui tente d'identifier les éléments d'IU dans la région indiquée et génère des sélecteurs pour eux. Si cela ne fonctionne pas pour vous, une intervention manuelle peut être nécessaire. Cette activité renvoie une variable de chaîne contenant le texte trouvé dans l'élément d'IU et une variable TextInfo qui contient les coordonnées d'écran de tous les mots trouvés.

La fonction Chercher la position du texte OCR (Find OCR Text Position) recherche une chaîne donnée dans un élément d'interface utilisateur, puis l'insère dans une variable de type UIElement. Cette activité peut être utile pour trouver des éléments de l'interface utilisateur par rapport à un texte sur l'écran. En mode saisie, cette activité reçoit une chaîne contenant le texte à rechercher, ainsi qu'une Cible (soit une variable de Région, une variable de type UIElement, ou un sélecteur) qui permet d'identifier l'objet à automatiser et les actions à effectuer. La cible peut également être définie automatiquement grâce à la fonctionnalité Indiquer à l'écran (Indicate on screen), dont l'objectif est de tenter d'identifier les éléments de l'interface utilisateur dans la région indiquée et de créer des sélecteurs pour ces éléments. Une intervention manuelle peut cependant s'avérer nécessaire en cas d'échec. Cette activité renvoie une variable de type UiElement qui contient la position du texte trouvé.

La fonction Texte OCR Existe (OCR Text Exists) vérifie la présence d'un texte dans un élément d'interface utilisateur donné grâce à la technologie OCR et renvoie une variable booléenne qui indique Vrai si le texte existe et Faux dans le cas contraire. Cette activité est utile pour tous les types d'automatisation basés sur du texte : elle permet de prendre une décision en fonction de la présence d'une chaîne et elle peut être utilisée comme condition dans l'activité Répéter la portée (Retry Scope) pour déclencher certaines actions au sein d'une boucle. En mode saisie, cette activité reçoit une chaîne contenant le texte à rechercher, ainsi qu'une Cible (soit une variable de Région, une variable de type UIElement, ou un sélecteur) qui permet d'identifier l'objet à automatiser et les actions à effectuer. La cible peut également être définie automatiquement grâce à la fonctionnalité Indiquer à l'écran (Indicate on screen), dont l'objectif est de tenter d'identifier les éléments de l'interface utilisateur dans la région indiquée et de créer des sélecteurs pour ces éléments. Une intervention manuelle peut cependant s'avérer nécessaire en cas d'échec. Cette activité génère une variable booléenne indiquant si le texte existe.

Les moteurs OCR, tels que Google OCR, Google Cloud OCR, Microsoft OCR, Microsoft Cloud OCR et Abbyy Cloud OCR sont également disponibles en tant qu'activités distinctes. Ces activités extraient une chaîne et sa position d'une image fournie à l'aide de différents moteurs OCR. Ces activités peuvent être utilisées avec d'autres activités OCR (Cliquer sur un texte OCR (Click OCR Text), Pointer sur un texte OCR (Hover OCR Text), Obtenir un texte OCR (Get OCR Text), Rechercher une position de texte OCR (Find OCR Text Position)). En entrée, ces activités reçoivent une variable Image qui contient le fichier image à numériser. En tant que sortie, les activités renvoient une variable IEnumerable<KeyValuePair<Rectangle,String>> , qui contient le texte extrait et leurs coordonnées à l'écran, et une variable de chaîne qui contient le texte extrait.