Activités Computer Vision

Cette section inclut les activités liées à Computer Vision, trouvées dans le package UiPath.UIAutomation.Activities .

• CV Check
• CV Click
• CV Dropdown Select
• CV Element Exists
• CV Extract Table
• CV Get Text
• CV Highlight
• CV Hover
• CV Refresh
• CV Screen Scope
• CV Type Into

Remarque :

The Computer Vision activities are not compatible with Windows 7.

Les activités de Computer Vision contiennent des activités UI Automation fondamentales telles que Click, Type Into ou Get Text qui ont été refactorisées. La principale différence entre les activités CV et celles Classic est leur utilisation du réseau de neurones Computer Vision, développé en interne par notre département d’apprentissage automatique. Le réseau neuronal est capable d’identifier des éléments d’IU tels que des boutons, des champs de saisie de texte ou des cases à cocher sans utiliser de sélecteurs.

Créées principalement pour l’automatisation dans des environnements de bureau virtuels, tels que les machines Citrix, ces activités contournent le problème des sélecteurs inexistants ou non fiables, car elles envoient des images de la fenêtre que vous automatisez au réseau neuronal, où elle est analysée, et tous les éléments de l’interface utilisateur sont identifiés et étiquetés en fonction de ce qu'ils sont. Les ancres intelligentes sont utilisées pour identifier l'emplacement exact de l'élément d'IU avec lequel vous interagissez, garantissant que l'action que vous avez l'intention d'effectuer est réussie.

Utilisation des activités Computer Vision

Toutes les activités de Computer Vision ne fonctionnent qu’à l’intérieur d’une activité CV Screen Scope , qui établit la connexion réelle au serveur de réseau neuronal, vous permettant ainsi d’analyser l’interface utilisateur des applications que vous souhaitez automatiser.

Tout workflow utilisant les activités Computer Vision doit commencer par faire glisser une activité CV Screen Scope vers le panneau du concepteur.

Une fois cela fait, le bouton Indiquer à l’écran (Indicate on screen) dans le corps de l’activité d’étendue peut être utilisé pour sélectionner la zone de l’écran dans laquelle vous souhaitez travailler.

Remarque :

Un double-clic sur la capture d'écran informative affiche l'image qui a été capturée et met en surbrillance en violet tous les éléments d'IU qui ont été identifiés par le réseau neuronal et le moteur OCR.

Remarque :

Area selection can also be used to indicate only a portion of the UI of the application you want to automate. This is especially useful in situations where there are multiple text fields that have the same label and cannot be properly identified.

Once a CV Screen Scope activity is properly configured, you can start using all of the other activities in the pack to build your automation.

Indiquer à l'écran

Les activités qui effectuent des actions sur les éléments d'IU peuvent être configurées au moment de la conception à l'aide du bouton Indiquer sur l'écran (Indicate on screen) se trouvant dans la fiche d'activités. Les activités disposant de cette fonctionnalité sont les suivantes :

• CV Check
• CV Click
• CV Dropdown Select
• CV Element Exists
• CV Extract Table
• CV Get Text
• CV Highlight
• CV Hover
• CV Screen Scope
• CV Type Into

Le bouton Indiquer sur l'écran (raccourci clavier : I) vous permet d'ouvrir l'assistant.

Indiquer

The Indicate field specifies what you are indicating at the moment. When the helper is opened for the first time, the Target needs to be indicated. For each possible target, the wizard automatically selects an anchor, if one is available.

Afficher les éléments

The Show Elements (hotkey: s) button in the wizard highlights all UI elements that have been identified by the Computer Vision analysis, making it easier for you to choose what to interact with.

Actualisation de l'écran

Le bouton Actualiser l'écran (raccourci clavier : F5) peut être utilisé au moment de la conception, en cas de changement dans l'application cible, ce qui vous permet d'envoyer une nouvelle image au serveur Computer Vision pour qu'elle soit analysée.

Actualisation différée de l'écran

Le bouton Actualisation différée de l'écran (raccourci clavier : F2) effectue une actualisation de l'application cible après 3 secondes. Le sens de défilement automatique du runtime est également capturé (propriété DirectionDéfilement).

Relatif à

Les activités qui ont l'assistant Indiquer (Indicate) incluent également une fonctionnalité Relatif à (Relative To), où la cible est un élément stable et vous marquez une distance par rapport à celui-ci. La cible principale, la cible stable, agit comme une cible proxy pour la deuxième cible, la cible relative.

Cela est utile lorsque vous souhaitez sélectionner une zone qui ne correspond pas aux éléments d'IU que le moteur Computer Vision a identifiés, ou lorsque vous souhaitez sélectionner une zone générale dans l'interface utilisateur sans spécifier d'élément d'IU.

La cible relative peut être soit un point unique, soit une sélection de zone dans l'application que vous automatisez.

La sélection d'un point unique est normalement placée à un endroit où la détection de Computer Vision n'est pas précise et peut ne pas trouver certains éléments. Les activités qui utilisent la sélection à un point sont Cliquer CV (CV Click), Pointer CV (CV Hover) et Saisir dans CV (CV Type Into).

La sélection de zone est utilisée par Obtenir le texte CV (CV Get Text) et est automatiquement activée pour cette activité.

Remarque :

Un point ou une zone utilisé comme cible pour Par rapport à est évolutif avec l'échelle de résolution que vous avez choisie pour votre écran. Si l’échelle de l’application elle-même est variable, cette fonctionnalité perd sa fiabilité.

En règle générale, toute ancre que vous ajoutez doit être trouvée au moment du runtime, ce qui signifie que si au moins une ancre est introuvable, toute la sélection est introuvable. Ainsi, les ancres doivent être des éléments stables que Computer Vision peut détecter à chaque fois et qui ne changent pas de façon radicale dans l'interface utilisateur au moment du runtime.

Imaginons que vous souhaitiez cliquer sur le bouton « X » dans l'image ci-dessous. Vous remarquerez que la cible est sur le bouton « X », mais que le clic se produit dans le cercle vert. C'est parce que vous avez choisi de cliquer de manière relative au bouton « X ». Ainsi, à moins que Computer Vision ne puisse détecter un certain élément d'IU, il n'est pas nécessaire d'utiliser la fonctionnalité Relatif à (Relative To).

Pour sélectionner le bouton « X » et non une zone relative à ce bouton, assurez-vous que le bouton « X » est cerclé de vert.

Si le bouton « X » n'est pas stable, vous pouvez cliquer par de manière relative à un élément stable.

Indication de table

Les activités Computer Vision offrent également une prise en charge des tables d'indication. Le ciblage dans les tableaux peut être effectué en sélectionnant une cellule avec laquelle vous souhaitez interagir, ce qui invite le réseau de neurones à identifier automatiquement la colonne et la ligne qui définissent la position de cette cellule, en les affichant dans une grille.

Par défaut, les noms de la colonne et de la ligne sont utilisés dans le descripteur pour localiser l'emplacement de la cellule. Cliquer sur les index de colonne et de ligne les ajoute automatiquement à votre descripteur. Cela peut être utile dans les situations où les noms de colonne et de ligne sont modifiés, mais que vous souhaitez extraire la même position d'une cellule.

After successfully indicating the Target, the wizard closes and the activity is configured with the target you selected.

Remarque :

Please remember that whenever you choose to submit errors in the behavior of the neural network, you are helping it learn and indirectly helping us give you a better product. Submit as many issues as you can, as this gives us the opportunity to acknowledge and fix them.