- Vue d'ensemble (Overview)
- Automatisation de l'interface utilisateur
- Applications et technologies automatisées avec UI Automation
- Compatibilité du projet
- UI-ANA-016 - Extraire l'URL ouverte du navigateur
- UI-ANA-017 - ContinuerSurErreur (ContinueOnError) True
- UI-ANA-018 - Répertorier les activités d'OCR/d'image
- UI-DBP-006 - Utilisation du conteneur
- UI-DBP-013 - Utilisation abusive de l’automatisation Excel
- UI-DBP-030 - Utilisation de variables interdites dans les sélecteurs
- UI-DBP-031 : Vérification de l’activité
- UI-PRR-001 - Simuler un clic
- UI-PRR-002 - Type de simulation
- UI-PRR-003 - Ouverture d'une utilisation abusive de l'application
- UI-PRR-004 - Délais codés en dur
- UI-REL-001 - Idx volumineux dans les sélecteurs
- UI-SEC-004 - Données d’e-mail du sélecteur
- UI-SEC-010 - Restrictions d'applications/d'URL
- UI-USG-011 - Attributs non autorisés
- UX-SEC-010 - Restrictions d'applications/d'URL
- UX-DBP-029 - Utilisation d'un mot de passe non sécurisé
- UI-PST-001 - Niveau du journal d'audit dans les paramètres du projet
- Outil de migration de navigateur UiPath
- Zone de détourage
- Enregistreur de Computer Vision
- À propos des éléments d'interface utilisateur
- Propriétés des activités de l'interface utilisateur
- Exemple d'utilisation des méthodes de saisie
- Méthodes de sortie ou de capture de données d'écran
- Exemple d'utilisation de méthodes de sortie ou de capture de données d'écran
- Génération de tables à partir de données non structurées
- Capture relative de données
- À propos de l'automatisation des images et des textes
- Activités liées à la souris et au clavier
- Exemple d'utilisation de l'automatisation de la souris et du clavier
- Les activités de type texte
- Exemple d'utilisation d'automatisation de texte
- Activités de type OCR
- Activités de type image
- Exemple d'utilisation de l'automatisation d'image et d'OCR
- Index des activités
- Activer (Activate)
- Base d'ancrage (Anchor Base)
- Lier à un navigateur (Attach Browser)
- Lier à une fenêtre (Attach Window)
- Block User Input
- Légende (Callout)
- Vérifier (Check)
- Cliquer (Click)
- Cliquer sur l'image (Click Image)
- Déclencheur de clic image (Click Image Trigger)
- Cliquer sur le texte OCR (Click OCR Text)
- Cliquer sur le texte (Click Text)
- Déclencheur de clic (Click Trigger)
- Fermer l'application (Close Application)
- Fermer l'onglet (Close Tab)
- Fermer la fenêtre (Close Window)
- Context Aware Anchor
- Copier le texte sélectionné (Copy Selected Text)
- Element Attribute Change Trigger
- Élément existant (Element Exists)
- Étendue de l'élément (Element Scope)
- Element State Change Trigger
- Export UI Tree
- Extraire les données structurées (Extract Structured Data)
- Rechercher les enfants (Find Children)
- Rechercher l'élément (Find Element)
- Rechercher l'image (Find Image)
- Rechercher les correspondances de l'image (Find Image Matches)
- Rechercher une position de texte OCR (Find OCR Text Position)
- Rechercher l'élément relatif (Find Relative Element)
- Rechercher la position du texte (Find Text Position)
- Obtenir la fenêtre active (Get Active Window)
- Obtenir l'ancêtre (Get Ancestor)
- Obtenir l'attribut (Get Attribute)
- Obtenir les infos de l'événement (Get Event Info)
- Récupérer du presse-papiers (Get From Clipboard)
- Obtenir le texte complet (Get Full Text)
- Obtenir le texte OCR (Get OCR Text)
- Récupérer le mot de passe (Get Password)
- Obtenir la position (Get Position)
- Obtenir l'élément source (Get Source Element)
- Obtenir le texte (Get Text)
- Obtenir le texte visible (Get Visible Text)
- Revenir en arrière (Go Back)
- Avancer (Go Forward)
- Accéder à l'accueil (Go Home)
- Google Cloud Vision OCR
- Masquer la fenêtre (Hide Window)
- Mettre en surbrillance (Highlight)
- Déclencheur de raccourci (Hotkey Trigger)
- Pointer (Hover)
- Pointer sur l'image (Hover Image)
- Pointer sur le texte OCR (Hover OCR Text)
- Pointer sur le texte (Hover Text)
- Image existante (Image Exists)
- Indiquer sur l'écran (Indicate On Screen)
- Injecter du code .NET
- Inject Js Script
- Invoquer la méthode ActiveX
- Déclencheur de pression de touche (Key Press Trigger)
- Charger l'image (Load Image)
- Agrandir la fenêtre (Maximize Window)
- Microsoft Azure ComputerVision OCR
- Reconnaissance optique des caractères Microsoft (Microsoft OCR)
- Microsoft Project Oxford Online OCR
- Réduire la fenêtre (Minimize Window)
- Surveiller les événements (Monitor Events)
- Déclencheur de souris (Mouse Trigger)
- Déplacer la fenêtre (Move Window)
- Accéder à (Navigate To)
- Texte OCR existant (OCR Text Exists)
- Sur affichage de l'élément (On Element Appear)
- Sur disparition de l'élément (On Element Vanish)
- Sur apparition de l'image (On Image Appear)
- Sur disparition de l'image (On Image Vanish)
- Ouvrir l'application (Open Application)
- Ouvrir le navigateur (Open Browser)
- Actualiser le navigateur (Refresh Browser)
- Relire l'événement utilisateur (Replay User Event)
- Restaurer la fenêtre (Restore Window)
- Enregistrer l'image (Save Image)
- Sélectionner l'élément (Select Item)
- Sélectionner plusieurs éléments (Select Multiple Items)
- Envoyer le raccourci (Send Hotkey)
- Définir la zone de détourage (Set Clipping Region)
- Définir le focus (Set Focus)
- Définir le texte (Set Text)
- Placer dans le presse-papiers (Set To Clipboard)
- Définir l'attribut Web (Set Web Attribute)
- Afficher la fenêtre (Show Window)
- Déclencher le processus (Start Process)
- Déclencheur système (System Trigger)
- Prendre une capture d'écran (Take Screenshot)
- Tesseract OCR
- Texte existant (Text Exists)
- Info-bulle
- Saisir dans (Type Into)
- Saisir un texte sécurisé (Type Secure Text)
- Utiliser le premier plan
- Attendre un attribut (Wait Attribute)
- Attendre que l'élément disparaisse (Wait Element Vanish)
- Attendre que l'image disparaisse (Wait Image Vanish)
- Application event trigger
- Block User Input
- Check/Uncheck
- Check App State
- Check Element
- Cliquer (Click)
- Click Event Trigger
- Glisser et déposer
- Extract Table Data
- For Each UiElement
- Get Browser Data
- Get Clipboard (Obtenir le Presse-papiers)
- Obtenir le texte (Get Text)
- Get URL
- Go To URL
- Mettre en surbrillance (Highlight)
- Pointer (Hover)
- Inject Js Script
- Raccourcis clavier
- Keypress Event Trigger
- Mouse scroll
- Navigate Browser
- Sélectionner l'élément (Select Item)
- Set Browser Data
- Set Clipboard (Définir le Presse-papiers)
- Définir le navigateur du runtime (Set Runtime Browser)
- Définir le focus (Set Focus)
- Définir le texte (Set Text)
- Prendre une capture d'écran (Take Screenshot)
- Saisir dans (Type Into)
- Unblock User Input
- Use Application/Browser
- Window operation
- Joindre
- Vérifier (Check)
- Cliquer (Click)
- Glisser et déposer
- Extraire des données
- Obtenir l'attribut (Get Attribute)
- ObtenirEnfants
- ObtenirCibleRuntime
- GetText
- Get URL
- GoToUrl
- Mettre en surbrillance (Highlight)
- Pointer (Hover)
- IsEnabled
- Raccourci clavier
- Mouse scroll
- Ouvrir
- Sélectionner l'élément (Select Item)
- Prendre une capture d'écran (Take Screenshot)
- Saisir dans (Type Into)
- ÉtatAttente
- Effectuez une recherche par navigateur et récupérez les résultats à l'aide des API UI Automation
- Navigation sur le Web
- Rechercher des images
- Cliquer sur des images
- Déclencher et surveiller des événements
- Créer et remplacer des fichiers
- Pages HTML : extraire et manipuler des informations
- Manipulation des fenêtres
- Sélection de liste automatisée
- Rechercher et manipuler des éléments de fenêtre
- Gérer l'automatisation du texte
- Charger et traiter des images
- Gérer les actions activées par la souris
- Automatiser l'exécution des applications
- Exécution automatisée d'une application locale
- Navigation avec le navigateur
- Automatisation Web
- Exemple de fonctionnalités du déclencheur
- Activer la prise en charge d’UI Automation dans DevExpress
- Computer Vision Local Server
- Automatisation mobile
- Notes de publication
- À propos de l'architecture d'automatisation des appareils mobiles
- Compatibilité du projet
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Installer l'application
- Gérer l'application actuelle
- Gérer une autre application
- Ouvrir DeepLink
- Ouvrir l'URL
- Mobile Device Connection
- Balayer directionnel
- Dessiner un modèle
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Prendre une capture d'écran (Take Screenshot)
- Prendre une partie de capture d'écran
- Élément existant (Element Exists)
- Execute Command
- Obtenir l'attribut (Get Attribute)
- Get Selected Item
- Obtenir le texte (Get Text)
- Set Selected Item
- Définir le texte (Set Text)
- Balayer
- Tap
- Saisir texte
- Premiers pas avec les API d’automatisation mobile
- Gestion des boîtes de dialogue contextuelles dans les automatisations mobiles
- Creating variables from selector attributes
- Créer des workflows d'automatisation mobile
- Utiliser l’automatisation mobile pour les applications de banque mobile
- Automatisation pour les applications React Native
- Terminal
- Notes de publication
- À propos du package d'activités Terminal
- Compatibilité du projet
- Meilleures pratiques
- Rechercher un texte (Find Text)
- Get Color At Position
- Obtenir la position du curseur (Get Cursor Position)
- Obtenir le champ (Get Field)
- Obtenir le champ en position (Get Field at Position)
- Accéder à la zone d'écran (Get Screen Area)
- Obtenir le texte (Get Text)
- Obtenir le texte en position (Get Text at Position)
- Déplacer le curseur (Move Cursor)
- Move Cursor to Text
- Envoyer la touche Contrôle (Send Control Key)
- Envoyer les touches (Send Keys)
- Envoyer les touches en toute sécurité (Send Keys Secure)
- Définir le champ (Set Field)
- Définir le champ en position (Set Field at Position)
- Session de terminal (Terminal Session)
- Attendre le texte de champ (Wait Field Text)
- Attendre le texte d'écran (Wait Screen Text)
- Attendre le texte en position (Wait Text at Position)

Activités UIAutomation
Pour automatiser des actions spécifiques dans l’interface utilisateur, vous devez interagir avec différents fenêtres, boutons, listes déroulantes et bien d’autres. Les éléments d’IU peuvent être identifiés notamment en utilisant leur position sur l’écran, mais cela peut être peu fiable.
Dans Studio, ce problème est résolu grâce à l’emploi de sélecteurs. Leur rôle est de stocker les attributs d’un élément d’interface utilisateur graphique et de ses parents sous la forme d’un fragment XML.
Les sélecteurs sont généralement générés par Studio de façon automatique, sans que vous ayez besoin de fournir d'autres données. C'est d'autant plus vrai si votre projet d'automatisation porte sur une interface utilisateur statique.
Certains logiciels (par exemple des applications Web) sont cependant caractérisés par une mises en page changeante et des nœuds d’attribut liés à des valeurs volatiles. Ces changements ne peuvent pas être anticipés par Studio et il est donc possible que vous ayez besoin de créer certains sélecteurs manuellement.
Voici la structure d'un sélecteur :
<node_1/><node_2/>...<node_N/>
<node_1/><node_2/>...<node_N/>
Le dernier nœud représente l'élément de l'interface utilisateur graphique que l'on souhaite automatiser, tandis tous les nœuds précédents représentent les parents de cet élément. <node_1> est généralement connu sous le nom de nœud racine : il représente la fenêtre supérieure de l'application.
Chaque nœud possède un ou plusieurs attributs pour permettre d'identifier sans hésitation un niveau donné de l'application sélectionnée.
Chaque nœud suit le format suivant :
<ui_system attr_name_1='attr_value_1' ... attr_name_N='attr_value_N'/>
<ui_system attr_name_1='attr_value_1' ... attr_name_N='attr_value_N'/>
Une valeur est associée à chaque attribut. Il est important de choisir des attributs avec des valeurs constantes, car le sélecteur ne pourra pas reconnaître l'élément si les valeurs des attributs changent à chaque démarrage de l'application.
Les sélecteurs sont affichés dans le panneau d'activités Propriétés (Properties), sous Saisie > Cible > Sélecteur (Input > Target > Selector). Toutes les activités liées aux éléments graphiques possèdent cette propriété.
La fenêtre Options de sélection (Selection Options) permet de sélectionner et de modifier une cible. Pour accéder à cette fenêtre, dans le panneau Concepteur de workflow (Workflow Designer), cliquez sur le bouton Options dans le corps d'une activité et sélectionnez Indiquer la cible à l'écran (Indicate target on screen) ou Modifier la cible (Edit target).
La fenêtre Éditeur de sélecteur (Selector Editor) permet d'afficher et de modifier le sélecteur automatique, ainsi que ses attributs. Pour accéder à cette fenêtre, utilisez le bouton Ellipse à côté du champ Sélecteur (Selector), dans le panneau Propriétés (Properties).
Option |
Description |
---|---|
Valider |
Le bouton indique l'état du sélecteur en vérifiant la validité de la définition de sélecteur et la visibilité de l'élément cible à l'écran. Le bouton Valider a trois états :
Le bouton est relié aux états de validation d'UI Explorer. |
Indiquer l'élément (Indicate Element) |
Indiquez un nouvel élément d'IU pour remplacer le précédent. |
Réparer (Repair) |
Permet d'indiquer à nouveau le même élément d'IU cible et de réparer le sélecteur. Cette opération ne remplace pas complètement le sélecteur précédent. Le bouton est uniquement disponible lorsque le sélecteur n'est pas valide. |
Mettre en surbrillance (Highlight) |
Met l'élément cible au premier plan. Il reste surligné jusqu'à ce que l'option soit désactivée par clic. Le bouton est uniquement activé si le sélecteur est valide. |
Modifier les attributs |
Contient tous les composants de l'application nécessaires à l'identification de l'application cible (une fenêtre, un bouton, etc.). Cette section est modifiable. |
Modifier le sélecteur |
Contient le sélecteur réel. Cette section est modifiable. |
Ouvrir dans UI Explorer |
Lance UI Explorer. L'option est uniquement activée pour les sélecteurs valides. |
Les tableaux suivants présentent la compatibilité entre les balises et les attributs utilisés pour créer des sélecteurs et la capacité du sélecteur:
WND
Attribut | Description |
Fuzzy |
RegEx |
Sensible à la casse |
---|---|---|---|---|
app | Le nom de fichier de l’application contenant l’élément d’IU. |
|
|
|
cls | Le nom de classe de la fenêtre contenant l’élément d’IU. |
|
|
|
title | Le titre de la fenêtre de l’élément d’IU. |
|
|
|
aaname | Nom ’Active Accessibility’ de l’élément d’IU. |
|
|
|
ctrlname (WinForms) | Nom WinForms de l’élément d’IU. |
|
|
|
ctrlid (WinForms) | ID de contrôle Win32 de la fenêtre contenant l’élément d’IU. |
|
|
|
idx | Le numéro d’instance de l’élément d’IU. |
|
|
|
tid | ID du thread qui a créé l’élément d’IU. |
|
|
|
pid | ID de processus de l’application contenant l’élément d’IU. |
|
|
|
isremoteapp |
|
|
| |
aastate | État ’Active Accessibility’ de l’élément d’IU. |
|
|
|
sapClient (SAP) | Client SAP sélectionné sur l’écran de connexion. |
|
|
|
sapLanguage (SAP) | Langue SAP spécifiée sur l’écran de connexion. |
|
|
|
sapProgram (SAP) | Programme source SAP en cours d’exécution. |
|
|
|
sapScreen (SAP) | Numéro d’écran SAP actuellement affiché. |
|
|
|
sapSession (SAP) | Numéro de session SAP, également affiché dans la barre d’état de l’interface utilisateur graphique SAP. |
|
|
|
sapSysName (SAP) | Nom du système SAP. |
|
|
|
NuméroSysSap (SAP) | Serveur d’applications SAP. |
|
|
|
sapSysSessionId (SAP) | Toutes les sessions de l’interface utilisateur graphique SAP de la même connexion sont représentées sur le serveur avec le même SysSessionId .
|
|
|
|
sapTransaction (SAP) | Transaction SAP en cours d’exécution. |
|
|
|
sapUser (SAP) | Utilisateur SAP connecté au système. |
|
|
|
HTML
Attribut | Description |
Fuzzy |
RegEx |
Sensible à la casse |
---|---|---|---|---|
url | L’URL de la page Web contenant l’élément actuel. |
|
|
|
htmlwindowname |
|
|
| |
title | Le titre de la fenêtre de l’élément. |
|
|
|
class | Le nom de classe du contexte accessible de l’élément. |
|
|
|
app | Le nom de fichier de l'application contenant l'élément d'IU |
|
|
|
idx | Le numéro d’instance de l’élément d’IU. |
|
|
|
pid | ID de processus de l’application contenant l’élément d’IU. |
|
|
|
tid | ID du thread qui a créé l’élément d’IU. |
|
|
|
excludehwnd |
|
|
| |
bsid (Browser Session ID) |
|
|
| |
isremoteapp |
|
|
|
WEBCTRL
Les attributs tag et idx utilisent des valeurs de chaîne. Tous les autres attributs WEBCTRL ont des valeurs dynamiques.`
Attribut | Description |
Fuzzy |
RegEx |
Sensible à la casse |
---|---|---|---|---|
tag | Balise HTML de l’élément. |
|
|
|
idx | Le numéro d’instance de l’élément d’IU. |
|
|
|
aaname | Nom ’Active Accessibility’ de l’élément d’IU. |
|
|
|
name | Propriété Name de l’élément d’IU. |
|
|
|
id | L’identificateur unique de l’élément d’IU. |
|
|
|
parentid | L’attribut de l’ID HTML du premier élément ancêtre qui contient l’ID. |
|
|
|
class |
|
|
| |
css-selector |
|
|
| |
innertext | La propriété innerText d’un élément HTML. |
|
|
|
visibleinnertext |
|
|
| |
isleaf |
|
|
| |
parentclass | L’attribut de classe HTML du premier élément ancêtre qui contient la classe. |
|
|
|
parentname | L’attribut de nom HTML du premier élément d’IU ancêtre qui contient un nom. |
|
|
|
src | Spécifie l’emplacement ou la source de l’élément. |
|
|
|
href | L’URL de la page Web à laquelle le lien accède. |
|
|
|
tableCol | Le numéro de colonne de table qui contient l’élément d’IU. |
|
|
|
tableRow | Le numéro de ligne de table qui contient l’élément d’IU. |
|
|
|
colName | Le nom de la colonne de table qui contient l’élément d’IU. |
|
|
|
rowName | Le nom de la ligne de table qui contient l’élément d’IU. |
|
|
|
aria-label | Attribut aria-label de l’élément. |
|
|
|
aria-labelledby |
|
|
|
Ctrl
Attribut | Description |
Fuzzy |
RegEx |
Sensible à la casse |
---|---|---|---|---|
Rôle | La propriété du rôle ’Accessibilité active’ de l’élément d’IU. |
|
|
|
name | Propriété Name de l’élément d’IU. |
|
|
|
automationid | L’ID ’UI Automation’ de l’élément d’IU. |
|
|
|
labeledby | L’objet ’UI Automation’ libellé par l’attribut de l’élément d’IU. |
|
|
|
aastate | État ’Active Accessibility’ de l’élément d’IU. |
|
|
|
virtualname | Le nom de l’élément donné par la technologie d’accessibilité sous-jacente. |
|
|
|
text | Le texte de l’élément d’IU, tel qu’il s’affiche à l’écran. |
|
|
|
rowName | Le nom de la ligne de table qui contient l’élément d’IU. |
|
|
|
idx | Le numéro d’instance de l’élément d’IU. |
|
|
|
UIA
Attribut | Description |
Fuzzy |
RegEx |
Sensible à la casse |
---|---|---|---|---|
accelkey (Accelerator Key) |
|
|
| |
acskey (Access Key) |
|
|
| |
automationid | L’ID ’UI Automation’ de l’élément d’IU. |
|
|
|
cls | Le nom de classe de la fenêtre contenant l’élément d’IU. |
|
|
|
helpText | Chaîne d’aide de l’élément d’IU. |
|
|
|
legacyAccHelp (Legacy Accessible Help) |
|
|
| |
enabled |
|
|
| |
kbfocus (Is Keyboard Focusable) |
|
|
| |
ispwd (Is Password) |
|
|
| |
itemstatus |
|
|
| |
itemtype |
|
|
| |
rtid (Runtime ID) |
|
|
| |
Rôle | La propriété du rôle ’Accessibilité active’ de l’élément d’IU. |
|
|
|
name | Propriété Name de l’élément d’IU. |
|
|
|
pid | ID de processus de l’application contenant l’élément d’IU. |
|
|
|
tableRow | Le numéro de ligne de table qui contient l’élément d’IU. |
|
|
|
tableCol | Le numéro de colonne de table qui contient l’élément d’IU. |
|
|
|
rowName | Le nom de la ligne de table qui contient l’élément d’IU. |
|
|
|
colName | Le nom de la colonne de table qui contient l’élément d’IU. |
|
|
|
idx | Le numéro d’instance de l’élément d’IU. |
|
|
|
Java
Attribut | Description |
Fuzzy |
RegEx |
Sensible à la casse |
---|---|---|---|---|
Rôle | La propriété du rôle ’Accessibilité active’ de l’élément d’IU. |
|
|
|
name | Propriété Name de l’élément d’IU. |
|
|
|
virtualname | Le nom de l’élément donné par la technologie d’accessibilité sous-jacente. |
|
|
|
javastate | L’état de l’élément d’IU, tel que fourni par le ’pont d’accessibilité Java’. |
|
|
|
tableRow | Le numéro de ligne de table qui contient l’élément d’IU. |
|
|
|
tableCol | Le numéro de colonne de table qui contient l’élément d’IU. |
|
|
|
rowName | Le nom de la ligne de table qui contient l’élément d’IU. |
|
|
|
colName | Le nom de la colonne de table qui contient l’élément d’IU. |
|
|
|
idx | Le numéro d’instance de l’élément d’IU. |
|
|
|
SAP
Attribut | Description |
Fuzzy |
RegEx |
Sensible à la casse |
---|---|---|---|---|
id | L’identificateur unique de l’élément d’IU. |
|
|
|
leafid |
|
|
|
|
tableRow | Le numéro de ligne de table qui contient l’élément d’IU. |
|
|
|
tableCol | Le numéro de colonne de table qui contient l’élément d’IU. |
|
|
|
colName | Le nom de la colonne de table qui contient l’élément d’IU. |
|
|
|
relpath |
|
|
| |
itemId |
|
|
|
Silverlight
Veuillez noter que la balise Silverlight ne prend pas en charge les capacités Fuzzy, RegEx et Case-Sensitive.