- Vue d'ensemble (Overview)
- Automatisation de l'interface utilisateur
- Applications et technologies automatisées avec UI Automation
- Compatibilité du projet
- UI-ANA-016 - Extraire l'URL ouverte du navigateur
- UI-ANA-017 - ContinuerSurErreur (ContinueOnError) True
- UI-ANA-018 - Répertorier les activités d'OCR/d'image
- UI-DBP-006 - Utilisation du conteneur
- UI-DBP-013 - Utilisation abusive de l’automatisation Excel
- UI-DBP-030 - Utilisation de variables interdites dans les sélecteurs
- UI-DBP-031 : Vérification de l’activité
- UI-PRR-001 - Simuler un clic
- UI-PRR-002 - Type de simulation
- UI-PRR-003 - Ouverture d'une utilisation abusive de l'application
- UI-PRR-004 - Délais codés en dur
- UI-REL-001 - Idx volumineux dans les sélecteurs
- UI-SEC-004 - Données d’e-mail du sélecteur
- UI-SEC-010 - Restrictions d'applications/d'URL
- UI-USG-011 - Attributs non autorisés
- UX-SEC-010 - Restrictions d'applications/d'URL
- UX-DBP-029 - Utilisation d'un mot de passe non sécurisé
- UI-PST-001 - Niveau du journal d'audit dans les paramètres du projet
- Outil de migration de navigateur UiPath
- Zone de détourage
- Enregistreur de Computer Vision
- Index des activités
- Activer (Activate)
- Base d'ancrage (Anchor Base)
- Lier à un navigateur (Attach Browser)
- Lier à une fenêtre (Attach Window)
- Block User Input
- Légende (Callout)
- Vérifier (Check)
- Cliquer (Click)
- Cliquer sur l'image (Click Image)
- Déclencheur de clic image (Click Image Trigger)
- Cliquer sur le texte OCR (Click OCR Text)
- Cliquer sur le texte (Click Text)
- Déclencheur de clic (Click Trigger)
- Fermer l'application (Close Application)
- Fermer l'onglet (Close Tab)
- Fermer la fenêtre (Close Window)
- Context Aware Anchor
- Copier le texte sélectionné (Copy Selected Text)
- Element Attribute Change Trigger
- Élément existant (Element Exists)
- Étendue de l'élément (Element Scope)
- Element State Change Trigger
- Export UI Tree
- Extraire les données structurées (Extract Structured Data)
- Rechercher les enfants (Find Children)
- Rechercher l'élément (Find Element)
- Rechercher l'image (Find Image)
- Rechercher les correspondances de l'image (Find Image Matches)
- Rechercher une position de texte OCR (Find OCR Text Position)
- Rechercher l'élément relatif (Find Relative Element)
- Rechercher la position du texte (Find Text Position)
- Obtenir la fenêtre active (Get Active Window)
- Obtenir l'ancêtre (Get Ancestor)
- Obtenir l'attribut (Get Attribute)
- Obtenir les infos de l'événement (Get Event Info)
- Récupérer du presse-papiers (Get From Clipboard)
- Obtenir le texte complet (Get Full Text)
- Obtenir le texte OCR (Get OCR Text)
- Récupérer le mot de passe (Get Password)
- Obtenir la position (Get Position)
- Obtenir l'élément source (Get Source Element)
- Obtenir le texte (Get Text)
- Obtenir le texte visible (Get Visible Text)
- Revenir en arrière (Go Back)
- Avancer (Go Forward)
- Accéder à l'accueil (Go Home)
- Google Cloud Vision OCR
- Masquer la fenêtre (Hide Window)
- Mettre en surbrillance (Highlight)
- Déclencheur de raccourci (Hotkey Trigger)
- Pointer (Hover)
- Pointer sur l'image (Hover Image)
- Pointer sur le texte OCR (Hover OCR Text)
- Pointer sur le texte (Hover Text)
- Image existante (Image Exists)
- Indiquer sur l'écran (Indicate On Screen)
- Injecter du code .NET
- Inject Js Script
- Invoquer la méthode ActiveX
- Déclencheur de pression de touche (Key Press Trigger)
- Charger l'image (Load Image)
- Agrandir la fenêtre (Maximize Window)
- Microsoft Azure ComputerVision OCR
- Reconnaissance optique des caractères Microsoft (Microsoft OCR)
- Microsoft Project Oxford Online OCR
- Réduire la fenêtre (Minimize Window)
- Surveiller les événements (Monitor Events)
- Déclencheur de souris (Mouse Trigger)
- Déplacer la fenêtre (Move Window)
- Accéder à (Navigate To)
- Texte OCR existant (OCR Text Exists)
- Sur affichage de l'élément (On Element Appear)
- Sur disparition de l'élément (On Element Vanish)
- Sur apparition de l'image (On Image Appear)
- Sur disparition de l'image (On Image Vanish)
- Ouvrir l'application (Open Application)
- Ouvrir le navigateur (Open Browser)
- Actualiser le navigateur (Refresh Browser)
- Relire l'événement utilisateur (Replay User Event)
- Restaurer la fenêtre (Restore Window)
- Enregistrer l'image (Save Image)
- Sélectionner l'élément (Select Item)
- Sélectionner plusieurs éléments (Select Multiple Items)
- Envoyer le raccourci (Send Hotkey)
- Définir la zone de détourage (Set Clipping Region)
- Définir le focus (Set Focus)
- Définir le texte (Set Text)
- Placer dans le presse-papiers (Set To Clipboard)
- Définir l'attribut Web (Set Web Attribute)
- Afficher la fenêtre (Show Window)
- Déclencher le processus (Start Process)
- Déclencheur système (System Trigger)
- Prendre une capture d'écran (Take Screenshot)
- Tesseract OCR
- Texte existant (Text Exists)
- Info-bulle
- Saisir dans (Type Into)
- Saisir un texte sécurisé (Type Secure Text)
- Utiliser le premier plan
- Attendre un attribut (Wait Attribute)
- Attendre que l'élément disparaisse (Wait Element Vanish)
- Attendre que l'image disparaisse (Wait Image Vanish)
- Application event trigger
- Check/Uncheck
- Check App State
- Check Element
- Cliquer (Click)
- Click Event Trigger
- Glisser et déposer
- Extract Table Data
- For Each UiElement
- Get Browser Data
- Get Clipboard (Obtenir le Presse-papiers)
- Obtenir le texte (Get Text)
- Get URL
- Go To URL
- Mettre en surbrillance (Highlight)
- Pointer (Hover)
- Inject Js Script
- Raccourcis clavier
- Keypress Event Trigger
- Mouse scroll
- Navigate Browser
- Sélectionner l'élément (Select Item)
- Set Browser Data
- Set Clipboard (Définir le Presse-papiers)
- Définir le navigateur du runtime (Set Runtime Browser)
- Définir le texte (Set Text)
- Prendre une capture d'écran (Take Screenshot)
- Saisir dans (Type Into)
- Use Application/Browser
- Window operation
- Joindre
- Vérifier (Check)
- Cliquer (Click)
- Glisser et déposer
- Extraire des données
- Obtenir l'attribut (Get Attribute)
- ObtenirEnfants
- ObtenirCibleRuntime
- GetText
- Get URL
- GoToUrl
- Mettre en surbrillance (Highlight)
- Pointer (Hover)
- IsEnabled
- Raccourci clavier
- Mouse scroll
- Ouvrir
- Sélectionner l'élément (Select Item)
- Prendre une capture d'écran (Take Screenshot)
- Saisir dans (Type Into)
- ÉtatAttente
- Effectuez une recherche par navigateur et récupérez les résultats à l'aide des API UI Automation
- Navigation sur le Web
- Rechercher des images
- Cliquer sur des images
- Déclencher et surveiller des événements
- Créer et remplacer des fichiers
- Pages HTML : extraire et manipuler des informations
- Manipulation des fenêtres
- Sélection de liste automatisée
- Rechercher et manipuler des éléments de fenêtre
- Gérer l'automatisation du texte
- Charger et traiter des images
- Gérer les actions activées par la souris
- Automatiser l'exécution des applications
- Exécution automatisée d'une application locale
- Navigation avec le navigateur
- Automatisation Web
- Exemple de fonctionnalités du déclencheur
- Activer la prise en charge d’UI Automation dans DevExpress
- Computer Vision Local Server
- Automatisation mobile
- Notes de publication
- À propos de l'architecture d'automatisation des appareils mobiles
- Compatibilité du projet
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Installer l'application
- Gérer l'application actuelle
- Gérer une autre application
- Ouvrir DeepLink
- Ouvrir l'URL
- Mobile Device Connection
- Balayer directionnel
- Dessiner un modèle
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Prendre une capture d'écran (Take Screenshot)
- Prendre une partie de capture d'écran
- Élément existant (Element Exists)
- Execute Command
- Obtenir l'attribut (Get Attribute)
- Get Selected Item
- Obtenir le texte (Get Text)
- Set Selected Item
- Définir le texte (Set Text)
- Balayer
- Tap
- Saisir texte
- Premiers pas avec les API d’automatisation mobile
- Gestion des boîtes de dialogue contextuelles dans les automatisations mobiles
- Creating variables from selector attributes
- Créer des workflows d'automatisation mobile
- Utiliser l’automatisation mobile pour les applications de banque mobile
- Automatisation pour les applications React Native
- Terminal
- Notes de publication
- À propos du package d'activités Terminal
- Compatibilité du projet
- Meilleures pratiques
- Rechercher un texte (Find Text)
- Get Color At Position
- Obtenir la position du curseur (Get Cursor Position)
- Obtenir le champ (Get Field)
- Obtenir le champ en position (Get Field at Position)
- Accéder à la zone d'écran (Get Screen Area)
- Obtenir le texte (Get Text)
- Obtenir le texte en position (Get Text at Position)
- Déplacer le curseur (Move Cursor)
- Move Cursor to Text
- Envoyer la touche Contrôle (Send Control Key)
- Envoyer les touches (Send Keys)
- Envoyer les touches en toute sécurité (Send Keys Secure)
- Définir le champ (Set Field)
- Définir le champ en position (Set Field at Position)
- Session de terminal (Terminal Session)
- Attendre le texte de champ (Wait Field Text)
- Attendre le texte d'écran (Wait Screen Text)
- Attendre le texte en position (Wait Text at Position)

Activités UIAutomation
Appareils Android locaux
linkConfiguration des appareils Android locaux
linkPour configurer un appareil local afin qu'il fonctionne avec les activités Mobile Automation, vous devez exécuter une instance locale d'Appium et disposer des outils nécessaires pour automatiser les appareils Android.
Vous pouvez automatiser deux types d’appareils Android locaux :
- Physique : un appareil Android physique que vous pouvez connecter à votre machine locale via un câble USB.
- Émulateur : un émulateur pour un appareil Android stocké localement.
Commandes Appium les plus utilisées
linkLa liste ci-dessous décrit les commandes les plus utilisées pour configurer Appium dans le contexte de l'automatisation des appareils mobiles :
appium driver list
- répertorie les pilotes installés (recommandé pour Appium 2.0)adb devices
- répertorie les appareils connectésadb start-server
- démarre le débogage du serveuradb kill-server
- arrête le serveur de débogagectrl + c
- tue Appiumappium-doctor
- aide au débogage de votre Appium.
Stockage d'applications
linkAPK
ou IPA
vers une URL accessible de manière anonyme par le serveur Appium (par exemple, stockage d'objets blob).
L'installation d'applications à partir du Play Store ou de l'App Store n'est pas possible, sauf si vous automatisez manuellement ces applications pour installer votre application spécifique.
Configuration d'un périphérique Android physique local
linkPrérequis
Suivez les étapes ci-dessous pour remplir les conditions préalables à la configuration d'un appareil Android physique local :
- Téléchargez et installez Java. Vous pouvez télécharger Java via un fichier zip ici.
- Téléchargez et installez Node.js. Vous pouvez télécharger la dernière version de Node.js ici.
- Une fois l'installation de Node.js terminée, ouvrez une invite de commande et vérifiez si elle a réussi à l'aide des commandes suivantes :
node-v
: renvoie la version de Node.js installée sur votre machine. La version renvoyée doit être égale ou supérieure à 19.npm-v
- renvoie la version de npm installée sur votre machine. La version renvoyée doit être égale ou supérieure à 8.
- Téléchargez et installez Android Studio. Vous pouvez télécharger Android Studio ici.
- Installez les outils du SDK Android (obsolètes) à l'aide d' Android Studio.
- Sous Windows, accédez à Paramètres système avancés (Advanced system settings) > Avancé (Advanced) > Variables d'environnement (Environment Variables).
- Sous Variables système (System variables), cliquez sur Nouveau (New) et configurez les variables suivantes :
a. Variable JAVA_HOME . Pointe vers le dossier dans lequel Java a été installé.
JAVA_HOME
.
C:\Program Files\Java\jdk8
.
b. Variable ANDROID_HOME . Pointe vers le dossier dans lequel le SDK Android a été installé.
ANDROID_HOME
Valeur de la variable: le chemin où se trouve le SDK Android sur votre machine. Par exemple : C:\Users\Username\AppData\Local\Android\Sdk
Remarque: la partie Username
, à l'intérieur du chemin de la valeur de la variable ( Variable Value ), doit être remplacée par le nom réel de l'utilisateur travaillant sur la machine.
-
Ouvrez l'invite de commande Node.js et installez Appium:
- Pour Appium 1.0, exécutez la commande suivante :
npm install -g appium
. Appium 1.0 est livré avec tous les pilotes installés. - Pour Appium 2.0, exécutez la commande suivante :
npm install -g appium@next
.
- Pour Appium 1.0, exécutez la commande suivante :
appium driver install uiautomator2
.
Pour plus d'informations sur la configuration d' Appium 1.0 , voir Introduction au démarrage rapide ( Quick Start Intro).
- Redémarrez l'ordinateur pour appliquer les modifications.
-
Ouvrez l'appareil mobile physique et activez les options du développeur.
- Sur votre téléphone, accédez à Paramètres (Settings) > Options de développement (Developer Options).
- Dans la section Réseaux (Networking), ouvrez la configuration USB par défaut et définissez-la sur Chargement du téléphone uniquement (Charging phone only).
- Activer le débogage USB.
- Sur votre téléphone, accédez à Paramètres (Settings) > Options de développement (Developer Options).
- Dans la section Réseaux (Networking), ouvrez la configuration USB par défaut et définissez-la sur Chargement du téléphone uniquement (Charging phone only).
Configuration d'un périphérique Android physique local
- Connectez le périphérique physique à la machine locale à l'aide d'un câble USB.
- Ouvrez une invite de commande et démarrez le serveur de débogage à l'aide de la commande suivante :
adb.exe start-server
. - Autoriser le débogage USB sur l'appareil mobile (si vous êtes invité à l'autoriser).
- Ajoutez manuellement le paramètre
the --base-path /wd/hub
avant de démarrer la session Appium. - Démarrez le serveur Appium à l'aide de la commande suivante :
appium -p 10001 --relaxed-security --allow-insecure chromedriver_autodownload
.Remarque :- Si le téléchargement automatique échoue, vous pouvez pointer vers un chromedriver.exe déjà téléchargé en concaténant la commande suivante :
--chromedriver-executable "path_to_chromedriver"
- Assurez-vous de laisser la connexion au serveur Appium fonctionner sans aucune interférence. Par exemple, si vous cliquez dans le terminal, la communication est coupée, ce qui peut entraîner une erreur de communication dans le gestionnaire d'appareils mobiles.
- Ajoutez l'appareil émulé local configuré dans le Gestionnaire d'appareils mobiles, à l'aide de la procédure Ajout d'un appareil Android local dans le Gestionnaire d'appareils mobiles.
Configuration d'un appareil Android émulé local
linkPrérequis
- Téléchargez et installez Java. Vous pouvez télécharger Java via un fichier zip ici.
- Téléchargez et installez Node.js. Vous pouvez télécharger la dernière version de Node.js ici.
- Une fois l'installation de Node.js terminée, ouvrez une invite de commande et vérifiez si elle a réussi à l'aide des commandes suivantes :
node-v
: renvoie la version de Node.js installée sur votre machine. La version renvoyée doit être égale ou supérieure à 19.npm-v
- renvoie la version de npm installée sur votre machine. La version renvoyée doit être égale ou supérieure à 8.
- Téléchargez et installez Android Studio. Vous pouvez télécharger Android Studio ici.
- Sous Windows, accédez à Paramètres système avancés (Advanced system settings) > Avancé (Advanced) > Variables d'environnement (Environment Variables).
- Sous Variables système (System variables), cliquez sur Nouveau (New) et configurez les variables suivantes :
a. Variable JAVA_HOME . Pointe vers le dossier dans lequel Java a été installé.
JAVA_HOME
.
C:\Program Files\Java\jdk8
.
b. Variable ANDROID_HOME . Pointe vers le dossier dans lequel le SDK Android a été installé.
- Nom de la variable:
ANDROID_HOME
-
Valeur de la variable : le chemin où se trouve le SDK Android sur votre machine. Par exemple :
C:\Users\Username\AppData\Local\Android\Sdk
.Remarque : la partieUsername
, à l'intérieur du chemin de la valeur de variable ( Variable Value ), doit être remplacée par le nom réel de l'utilisateur travaillant sur la machine.- Ouvrez l'invite de commande Node.js et installez Appium:
- Pour Appium 1.0, exécutez la commande suivante :
npm install -g appium
. Appium 1.0 est livré avec tous les pilotes installés. - Pour Appium 2.0, exécutez la commande suivante :
npm install -g appium@next
.
appium driver install uiautomator2
.
Pour plus d'informations sur la configuration d' Appium 2.0 , consultez Introduction au démarrage rapide ( Quick Start Intro).
- Redémarrez l'ordinateur pour appliquer les modifications.
Créer un émulateur Android
Créez vos émulateurs Android à l'aide d'Android Studio.
- Ouvrez Android Studio.
- Cliquez sur Configurer (Configure) et sélectionnez SDK Manager dans la liste déroulante.
- Décochez la case Masquer les packages obsolètes (Hide Obsolete Packages) et assurez-vous que Outils SDK Android (Android SDK Tools) (obsolète) est sélectionné.
- Cliquez sur Appliquer (Apply) puis sur OK pour fermer.
- Accédez à Configurer (Configurer) > Gestionnaire AVD (AVD Manager) pour configurer un appareil virtuel. Pour plus d'informations, consultez Créer et gérer des appareils virtuels.
- Mettez à jour les applications Google de votre appareil.
Activer l'automatisation Web et hybride avec WebDriver
Activez le débogage WebView sur l'appareil local pour permettre au Gestionnaire d'appareils mobiles de reconnaître la majorité des éléments d'IU à l'intérieur d'une application.
Si Appium ne détecte pas automatiquement la version Chrome ou WebView sur votre Android, choisissez l'une des options ci-dessous :
- Utilisez la commande
--allow-insecure chromedriver_autodownload
. Cela permet à Appium de détecter et de télécharger automatiquement la version de ChromeDriver qui correspond à votre environnement. - Spécifiez et téléchargez manuellement WebDriver pour Chrome :
2.1. Ouvrez votre appareil dans Android Studio.
2.2. Accédez à Paramètres (Settings) > Applications et notifications (Apps & notifications).
2.3 Cliquez sur Voir toutes les applications (See all apps).
2.4. Cliquez sur l'ellipse verticale et sélectionnez Afficher le système (Show system) dans la liste déroulante.
2.5. Utilisez la fonction de recherche pour rechercher Android System WebView.
2.6. Ouvrez l'application et accédez à Avancé (Advanced).
2.7. Copiez le numéro de version au bas de l'écran.
2.8. Téléchargez WebDriver pour Chrome et tenez compte des points suivants :
- Sélectionnez la version qui correspond à la version Android System Webview de l'étape précédente et extrayez-la dans un dossier.
- Vous recherchez une correspondance exacte pour la version (major.minor.patch.revision).
- Si aucune correspondance n'est disponible, utilisez la dernière version majeure de ChromeDriver qui correspond à la version majeure d'Android System Webview.
- Si vous souhaitez automatiser l'application Chrome, effectuez simplement les mêmes étapes ci-dessus et notez plutôt la version de Chrome.
- Ajoutez l'appareil émulé local configuré dans le Gestionnaire d'appareils mobiles, à l'aide de la procédure Ajout d'un appareil Android local dans le Gestionnaire d'appareils mobiles .
Ajouter un appareil Android local dans le gestionnaire d'appareils mobiles
link- Ouvrez le gestionnaire d'appareils mobiles depuis Studio.
- Dans le panneau de navigation de gauche, accédez à Appareils (Devices).
- Configurez votre appareil comme suit :
- Nom (Name) : saisissez un nom pour identifier votre appareil dans l'onglet Appareils (Devices).
- URL Appium (Appium URL) : saisissez l'hôte local. Par exemple :
http://localhost:10001/wd/hub
. - Plate-forme (Platform) : cliquez sur le champ pour sélectionner Android dans la liste déroulante.
- Nom de l'appareil (Device Name) : saisissez le nom de l'appareil. Sur Android Studio, vous pouvez par exemple accéder à Configurer (Configure) > Gestionnaire AVD (AVD Manager), puis allez à Plus d'actions (More Actions) > Afficher les détails (View Details).
- Version de la plate-forme (Platform Version) : ajoutez le numéro de version de votre système d'exploitation Android.
-
Capacités supplémentaires souhaitées (Additional Desired Capabilities) (facultatif) : ajoutez des capacités spécifiques pour personnaliser votre session d'automatisation.
Important : pour activer les pilotes Appium précédemment installés, ajoutez la capacité suivante à la section Capacités supplémentaires souhaitées :Nom
Valeur (Value)
appium:automationName
UiAutomator2
Pour plus d'informations, consultez Capacités souhaitées d'Appium.
- (Facultatif) : définissez l'emplacement de votre appareil dans l'onglet Emplacement (Location) pour tester les applications qui utilisent les services de localisation pour générer des données de localisation.
- (Facultatif) Configurez les détails de journalisation et d'enregistrement vidéo dans l'onglet Journalisation (Logging).
- (Facultatif) Configurez votre processus de développement dans l'onglet Développement (Development).
- Fermer les onglets similaires (Close Similar Tabs) (activé par défaut) : fermez les onglets exécutant des connexions avec des appareils et des applications similaires.
- Attendre la mise à jour de la page (Wait for Page Update) (activé par défaut) : attendez que la source de la page récupère une capture d'écran de chaque action.
- Cliquez sur Enregistrer et fermer (Save & Close) pour ajouter votre appareil.
Votre appareil est ajouté à la liste des appareils. Pour ajouter un périphérique local, voir .
- Configuration des appareils Android locaux
- Commandes Appium les plus utilisées
- Stockage d'applications
- Configuration d'un périphérique Android physique local
- Prérequis
- Configuration d'un périphérique Android physique local
- Configuration d'un appareil Android émulé local
- Prérequis
- Créer un émulateur Android
- Activer l'automatisation Web et hybride avec WebDriver
- Ajouter un appareil Android local dans le gestionnaire d'appareils mobiles