Activités Computer Vision

Cette section inclut les activités liées à Computer Vision, trouvées dans le package UiPath.UIAutomation.Activities.

• CV Check
• CV Click
• CV Dropdown Select
• CV Element Exists
• CV Extract Table
• CV Get Text
• CV Highlight
• CV Hover
• CV Refresh
• CV Screen Scope
• CV Type Into

Remarque : les activités Computer Vision ne sont pas compatibles avec Windows 7.

Les activités Computer Vision contiennent des activités UI Automation fondamentales refactorisées telles que Click, Type Intoou Get Text. La principale différence entre les activités Computer Vision et leurs homologues classiques réside dans leur utilisation du réseau de neurones Computer Vision développé en interne par notre service d’apprentissage automatique. Le réseau neuronal est capable d’identifier les éléments d’IU tels que les boutons, les champs de saisie de texte ou les cases à cocher sans utiliser de sélecteurs.

Créées principalement pour l’automatisation dans des environnements de bureau virtuels, tels que les machines Citrix, ces activités contournent le problème des sélecteurs inexistants ou non fiables, car elles envoient des images de la fenêtre que vous automatisez au réseau neuronal, où elle est analysée, et tous les éléments de l’interface utilisateur sont identifiés et étiquetés en fonction de ce qu'ils sont. Les ancres intelligentes sont utilisées pour identifier l'emplacement exact de l'élément d'IU avec lequel vous interagissez, garantissant que l'action que vous avez l'intention d'effectuer est réussie.

Utilisation des activités Computer Vision

Toutes les activités Computer Vision ne fonctionnent que lorsqu'elles sont à l'intérieur d'une activité CV Screen Scope , qui établit la connexion réelle au serveur de réseau de neurones, vous permettant ainsi d'analyser l'interface utilisateur des applications que vous souhaitez automatiser.

Tout workflow utilisant les activités Computer Vision doit commencer par faire glisser une activité CV Screen Scope vers le panneau du concepteur.

Une fois cela fait, le bouton Indiquer à l’écran (Indicate on screen) dans le corps de l’activité d’étendue peut être utilisé pour sélectionner la zone de l’écran dans laquelle vous souhaitez travailler.

Remarque : un double-clic sur la capture d'écran informative affiche l'image qui a été capturée et met en surbrillance en violet tous les éléments d'IU qui ont été identifiés par le réseau neuronal et le moteur OCR.

Remarque : la sélection de zone peut également être utilisée pour indiquer uniquement une partie de l'interface utilisateur de l'application que vous souhaitez automatiser. Ceci est particulièrement utile dans les situations où plusieurs champs de texte ont le même libellé et ne peuvent pas être correctement identifiés.

Une fois qu’une activité CV Screen Scope est correctement configurée, vous pouvez commencer à utiliser toutes les autres activités du pack pour créer votre automatisation.

Indiquer à l'écran

Les activités qui effectuent des actions sur les éléments d'IU peuvent être configurées au moment de la conception à l'aide du bouton Indiquer sur l'écran (Indicate on screen) se trouvant dans la fiche d'activités. Les activités disposant de cette fonctionnalité sont les suivantes :

• CV Check
• CV Click
• CV Dropdown Select
• CV Element Exists
• CV Extract Table
• CV Get Text
• CV Highlight
• CV Hover
• CV Screen Scope
• CV Type Into

Le bouton Indiquer sur l'écran (raccourci clavier : I) vous permet d'ouvrir l'assistant.

Indiquer

Le champ Indiquer (Indicate) spécifie ce que vous indiquez pour le moment. Lorsque l'assistant est ouvert pour la première fois, la cible doit être indiquée. Pour chaque cible possible, l'assistant sélectionne automatiquement une ancre, si elle est disponible.

Afficher les éléments

Le bouton Afficher les éléments (raccourci : s) de l'assistant met en surbrillance tous les éléments d'IU qui ont été identifiés par l'analyse Computer Vision, ce qui vous permet de choisir plus facilement avec quoi interagir.

Actualisation de l'écran

Le bouton Actualiser l’écran (raccourci : F5) peut être utilisé au moment de la conception, au cas où quelque chose changerait dans l’application cible, vous permettant d’envoyer une nouvelle image au serveur Computer Vision pour qu’elle soit à nouveau analysée.

Actualisation différée de l'écran

Le bouton Actualisation différée de l'écran (raccourci : F2) exécute une actualisation de l'application cible après avoir attendu 3 secondes. Le sens de défilement automatique au moment de l'exécution est également capturé (propriété ScrollDirection).

Relatif à

Les activités qui ont l'assistant Indiquer (Indicate) incluent également une fonctionnalité Relatif à (Relative To), où la cible est un élément stable et vous marquez une distance par rapport à celui-ci. La cible principale, la cible stable, agit comme une cible proxy pour la deuxième cible, la cible relative.

Cela est utile lorsque vous souhaitez sélectionner une zone qui ne correspond pas aux éléments d'IU que le moteur Computer Vision a identifiés, ou lorsque vous souhaitez sélectionner une zone générale dans l'interface utilisateur sans spécifier d'élément d'IU.

La cible relative peut être soit un point unique, soit une sélection de zone dans l'application que vous automatisez.

La sélection d'un point unique est normalement placée à un endroit où la détection de Computer Vision n'est pas précise et peut ne pas trouver certains éléments. Les activités qui utilisent la sélection à un point sont Cliquer CV (CV Click), Pointer CV (CV Hover) et Saisir dans CV (CV Type Into).

La sélection de zone est utilisée par Obtenir le texte CV (CV Get Text) et est automatiquement activée pour cette activité.

Remarque : un point ou une zone utilisé comme cible pour Relative To sont tous deux évolutifs avec l’échelle de résolution que vous avez choisie pour votre écran. Si l'échelle de l'application elle-même est variable, cette fonctionnalité perd de sa fiabilité.

En règle générale, toute ancre que vous ajoutez doit être trouvée au moment du runtime, ce qui signifie que si au moins une ancre est introuvable, toute la sélection est introuvable. Ainsi, les ancres doivent être des éléments stables que Computer Vision peut détecter à chaque fois et qui ne changent pas de façon radicale dans l'interface utilisateur au moment du runtime.

Imaginons que vous souhaitiez cliquer sur le bouton « X » dans l'image ci-dessous. Vous remarquerez que la cible est sur le bouton « X », mais que le clic se produit dans le cercle vert. C'est parce que vous avez choisi de cliquer de manière relative au bouton « X ». Ainsi, à moins que Computer Vision ne puisse détecter un certain élément d'IU, il n'est pas nécessaire d'utiliser la fonctionnalité Relatif à (Relative To).

Pour sélectionner le bouton « X » et non une zone relative à ce bouton, assurez-vous que le bouton « X » est cerclé de vert.

Si le bouton « X » n'est pas stable, vous pouvez cliquer par de manière relative à un élément stable.

Indication de table

Les activités Computer Vision offrent également une prise en charge des tables d'indication. Le ciblage dans les tableaux peut être effectué en sélectionnant une cellule avec laquelle vous souhaitez interagir, ce qui invite le réseau de neurones à identifier automatiquement la colonne et la ligne qui définissent la position de cette cellule, en les affichant dans une grille.

Par défaut, les noms de la colonne et de la ligne sont utilisés dans le descripteur pour localiser l'emplacement de la cellule. Cliquer sur les index de colonne et de ligne les ajoute automatiquement à votre descripteur. Cela peut être utile dans les situations où les noms de colonne et de ligne sont modifiés, mais que vous souhaitez extraire la même position d'une cellule.

Après avoir indiqué avec succès la Cible, l'assistant se ferme et l'activité est configurée avec la cible que vous avez sélectionnée.

Remarque : n'oubliez pas que chaque fois que vous choisissez de soumettre des erreurs dans le comportement du réseau de neurones, vous l'aidez à apprendre et nous aidez indirectement à vous offrir un meilleur produit. Soumettez autant de problèmes que possible, car cela nous donne la possibilité de les reconnaître et de les résoudre.