Activités de type image

Les activités de reconnaissance d'images sont capables d'identifier des éléments de l'interface utilisateur à partir d'images, puis de les utiliser pour reproduire un comportement humain. Ces activités permettent de prendre une décision en fonction de la présence d'une image et peuvent être utilisées comme conditions dans une activité de type Répéter la portée (Retry Scope), afin de déclencher certaines actions au sein d'une boucle. Elles permettent également d'inspecter l'écran de la machine pour trouver des éléments de l'interface utilisateur apparaissant de façon aléatoire, puis de renvoyer des variables de type UIElement contenant la zone de capture correspondant à la position de cet élément sur l'écran. Il est possible d'utiliser ces activités pour charger et de télécharger des images. Enfin, grâce au paramètre Précision (Accuracy) il est possible d'indiquer le degré de conformité des images recherchées (100% ou moins), ce qui permet de palier à des modifications éventuelles des images. Cette fonctionnalité est utile si les éléments graphiques recherchés ont tendance à varier légèrement.

Cliquer sur l'image (Click Image ) et Pointer sur l'image (Hover Image) sont des activités utilisées pour identifier les éléments d'IU en fonction de leur image. Une fois l’image spécifiée, l’activité analyse l’écran à la recherche d’un élément donné et clique ou survole l’écran. Ces activités sont rapides et fiables, mais sensibles aux variations graphiques, car elles peuvent échouer si les couleurs ou les détails de l'arrière-plan changent. Ces activités sont utiles pour automatiser les processus qui impliquent de simuler le comportement humain, à l’aide d’éléments d’IU tels que des boutons ou des cases à cocher. Ces activités sont également importantes lors de l'automatisation des processus dans des environnements de machines virtuelles, tels que Citrix, car elles rendent possible l'interaction avec les éléments d'IU. En entrée, ces activités reçoivent une variable d'image qui contient l'image sur laquelle il faut cliquer, et une Cible, qui peut être une variable de chaîne, une variable Region, une variable UIElement ou un sélecteur, qui indiquent les coordonnées où l'action doit être effectuée . La cible peut également être générée automatiquement à l'aide de la fonctionnalité Indiquer à l'écran (Indicate on Screen ), qui tente d'identifier les éléments d'IU dans la région indiquée et génère des sélecteurs pour eux. Si cela ne fonctionne pas pour vous, une intervention manuelle peut être nécessaire.

La fonction Chercher une image (Find Image) attend qu'un élément d'interface utilisateur donné apparaisse. Pour ce faire, l'utilisateur doit fournir une image modèle, correspondant à l'élément d'interface désiré. Lorsque l'élément apparait, l'activité renvoie une variable de type UiElement contenant la zone de capture pour l'image trouvée. Cette activité peut être utile dans le cadre d'un environnement virtuel, afin d'identifier les éléments de l'interface utilisateur et d'effectuer des manipulations variées. L'activité Chercher une image (Find Image) permet également de prendre une décision en fonction de la présence d'une image donnée, et elle peut être utilisée comme condition dans l'activité Répéter la portée (Retry Scope) pour déclencher certaines actions au sein d'une boucle. En mode de saisie, cette activité reçoit une variable contenant l'image à trouver, ainsi qu'une Cible (soit une variable de Région, une variable de type UIElement, ou un sélecteur) qui permet d'identifier l'objet à automatiser et les actions à effectuer. La cible peut également être définie automatiquement grâce à la fonctionnalité Indiquer à l'écran (Indicate on screen), dont l'objectif est de tenter d'identifier les éléments de l'interface utilisateur dans la région indiquée et de créer des sélecteurs pour ces éléments. Une intervention manuelle peut cependant s'avérer nécessaire en cas d'échec.

La fonction Image Existe (Image Exists) vérifie la présence d'une image donnée à l'écran et renvoie une variable booléenne pour indiquer si l'image existe. Cette activité est utile car elle permet de prendre une décision en fonction de la présence d'une image donnée, et elle peut être utilisée comme condition dans l'activité Répéter la portée (Retry Scope) pour déclencher certaines actions au sein d'une boucle. En mode de saisie, cette activité reçoit une variable contenant l'image à rechercher, ainsi qu'une Cible (soit une variable de Région, une variable de type UIElement, ou un sélecteur) qui permet d'identifier l'objet à automatiser et les actions à effectuer. La cible peut également être définie automatiquement grâce à la fonctionnalité Indiquer à l'écran (Indicate on screen), dont l'objectif est de tenter d'identifier les éléments de l'interface utilisateur dans la région indiquée et de créer des sélecteurs pour ces éléments. Une intervention manuelle peut cependant s'avérer nécessaire en cas d'échec.

La fonction Apparition d'une image (On Image Appear) attend qu'une image apparaisse à l'écran pour une durée donnée. Cette activité est un conteneur : il est donc possible d'y insérer plusieurs actions à appliquer à l'image trouvée. Cette activité est extrêmement utile dans le cadre d'un environnement virtuel, car elle permet d'attendre l'apparition d'un élément de l'interface utilisateur, puis d'effectuer une série de manipulations. L'activité Apparition d'une image (On Image Appear) peut également être utilisée pour déclencher d'autres activités. En mode de saisie, cette activité reçoit une variable d'image contenant l'image à rechercher, ainsi qu'une Cible (soit une variable de Région, une variable de type UIElement, ou un sélecteur) qui permet d'identifier l'objet à automatiser et les actions à effectuer. La cible peut également être définie automatiquement grâce à la fonctionnalité Indiquer à l'écran (Indicate on screen), dont l'objectif est de tenter d'identifier les éléments de l'interface utilisateur dans la région indiquée et de créer des sélecteurs pour ces éléments. Une intervention manuelle peut cependant s'avérer nécessaire en cas d'échec.

La fonction Disparition d'une image (On Image Vanish) attend qu'une image disparaisse à l'écran pour une durée donnée. Cette activité est un conteneur : il est donc possible d'y insérer plusieurs actions à effectuer une fois que l'image disparait. Cette activité est extrêmement utile dans le cadre d'un environnement virtuel, car elle permet d'attendre la disparition d'un élément de l'interface utilisateur, puis d'effectuer une série de manipulations. L'activité Disparition d'une image peut également être utilisée pour déclencher d'autres activités. En mode saisie, cette activité reçoit une variable d'image contenant l'image à rechercher, ainsi qu'une Cible (soit une variable de Région, une variable de type UIElement, ou un sélecteur) qui permet d'identifier l'objet à automatiser et les actions à effectuer. La cible peut également être définie automatiquement grâce à la fonctionnalité Indiquer à l'écran (Indicate on screen), dont l'objectif est de tenter d'identifier les éléments de l'interface utilisateur dans la région indiquée et de créer des sélecteurs pour ces éléments. Une intervention manuelle peut cependant s'avérer nécessaire en cas d'échec.