- Vue d'ensemble (Overview)
- Automatisation de l'interface utilisateur
- Applications et technologies automatisées avec UI Automation
- UI-ANA-016 - Extraire l'URL ouverte du navigateur
- UI-ANA-017 - ContinuerSurErreur (ContinueOnError) True
- UI-ANA-018 - Répertorier les activités d'OCR/d'image
- UI-DBP-006 - Utilisation du conteneur
- UI-DBP-013 - Utilisation abusive de l’automatisation Excel
- UI-DBP-030 - Utilisation de variables interdites dans les sélecteurs
- ST-DBP-021 - Délai d'expiration codé en dur
- UI-PRR-001 - Simuler un clic
- UI-PRR-002 - Type de simulation
- UI-PRR-003 - Ouverture d'une utilisation abusive de l'application
- UI-PRR-004 - Délais codés en dur
- UI-REL-001 - Idx volumineux dans les sélecteurs
- UI-SEC-004 - Données d’e-mail du sélecteur
- UI-SEC-010 - Restrictions d'applications/d'URL
- UI-USG-011 - Attributs non autorisés
- SY-USG-013 - Invocation de fichier privé
- SY-USG-014 - Espaces réservés de modèle d'exécution incorrects
- Outil de migration de navigateur UiPath
- Enregistreur de Computer Vision
- Activer (Activate)
- Base d'ancrage (Anchor Base)
- Lier à un navigateur (Attach Browser)
- Lier à une fenêtre (Attach Window)
- Block User Input
- Call Transaction
- Légende (Callout)
- Vérifier (Check)
- Cliquer (Click)
- Cliquer sur l'image (Click Image)
- Déclencheur de clic image (Click Image Trigger)
- Cliquer sur le texte OCR (Click OCR Text)
- Click Picture on Screen
- Cliquer sur le texte (Click Text)
- Click Toolbar Button
- Déclencheur de clic (Click Trigger)
- Fermer l'application (Close Application)
- Fermer l'onglet (Close Tab)
- Fermer la fenêtre (Close Window)
- Context Aware Anchor
- Copier le texte sélectionné (Copy Selected Text)
- Element Attribute Change Trigger
- Élément existant (Element Exists)
- Étendue de l'élément (Element Scope)
- Element State Change Trigger
- Expand ALV Hierarchical Table
- Expand ALV Tree
- Expand Tree
- Export UI Tree
- Extraire les données structurées (Extract Structured Data)
- Rechercher les enfants (Find Children)
- Rechercher l'élément (Find Element)
- Rechercher l'image (Find Image)
- Rechercher les correspondances de l'image (Find Image Matches)
- Rechercher une position de texte OCR (Find OCR Text Position)
- Rechercher l'élément relatif (Find Relative Element)
- Rechercher la position du texte (Find Text Position)
- Obtenir la fenêtre active (Get Active Window)
- Obtenir l'ancêtre (Get Ancestor)
- Obtenir l'attribut (Get Attribute)
- Obtenir les infos de l'événement (Get Event Info)
- Récupérer du presse-papiers (Get From Clipboard)
- Obtenir le texte complet (Get Full Text)
- Obtenir le texte OCR (Get OCR Text)
- Récupérer le mot de passe (Get Password)
- Obtenir la position (Get Position)
- Obtenir l'élément source (Get Source Element)
- Obtenir le texte (Get Text)
- Obtenir le texte visible (Get Visible Text)
- Revenir en arrière (Go Back)
- Avancer (Go Forward)
- Accéder à l'accueil (Go Home)
- Google Cloud Vision OCR
- Masquer la fenêtre (Hide Window)
- Mettre en surbrillance (Highlight)
- Déclencheur de raccourci (Hotkey Trigger)
- Pointer (Hover)
- Pointer sur l'image (Hover Image)
- Pointer sur le texte OCR (Hover OCR Text)
- Pointer sur le texte (Hover Text)
- Image existante (Image Exists)
- Indiquer sur l'écran (Indicate On Screen)
- Injecter du code .NET
- Injecter JavaScript (Inject JS Script)
- Invoquer la méthode ActiveX
- Déclencheur de pression de touche (Key Press Trigger)
- Charger l'image (Load Image)
- Agrandir la fenêtre (Maximize Window)
- Microsoft Azure ComputerVision OCR
- Reconnaissance optique des caractères Microsoft (Microsoft OCR)
- Microsoft Project Oxford Online OCR
- Réduire la fenêtre (Minimize Window)
- Surveiller les événements (Monitor Events)
- Déclencheur de souris (Mouse Trigger)
- Déplacer la fenêtre (Move Window)
- Accéder à (Navigate To)
- Texte OCR existant (OCR Text Exists)
- Sur affichage de l'élément (On Element Appear)
- Sur disparition de l'élément (On Element Vanish)
- Sur apparition de l'image (On Image Appear)
- Sur disparition de l'image (On Image Vanish)
- Ouvrir l'application (Open Application)
- Ouvrir le navigateur (Open Browser)
- Read Statusbar
- Actualiser le navigateur (Refresh Browser)
- Relire l'événement utilisateur (Replay User Event)
- Restaurer la fenêtre (Restore Window)
- SAP Login
- SAP Logon
- SAP Session Attributes Change Trigger
- Enregistrer l'image (Save Image)
- Select Dates In Calendar
- Sélectionner l'élément (Select Item)
- Select Menu Item
- Sélectionner plusieurs éléments (Select Multiple Items)
- Envoyer le raccourci (Send Hotkey)
- Définir la zone de détourage (Set Clipping Region)
- Définir le focus (Set Focus)
- Définir le texte (Set Text)
- Placer dans le presse-papiers (Set To Clipboard)
- Définir l'attribut Web (Set Web Attribute)
- Afficher la fenêtre (Show Window)
- Déclencher le processus (Start Process)
- Déclencheur système (System Trigger)
- Table Cell Scope
- Prendre une capture d'écran (Take Screenshot)
- Tesseract OCR
- Texte existant (Text Exists)
- Info-bulle
- Saisir dans (Type Into)
- Saisir un texte sécurisé (Type Secure Text)
- Utiliser le premier plan
- Attendre un attribut (Wait Attribute)
- Attendre que l'élément disparaisse (Wait Element Vanish)
- Attendre que l'image disparaisse (Wait Image Vanish)
- Application event trigger
- Check/Uncheck
- Check App State
- Check Element
- Cliquer (Click)
- Click Event Trigger
- Close Popup
- Glisser et déposer
- Extract Table Data
- For Each UiElement
- Obtenir l'attribut (Get Attribute)
- Get Browser Data
- Obtenir le texte (Get Text)
- Get URL
- Go To URL
- Mettre en surbrillance (Highlight)
- Pointer (Hover)
- Inject Js Script
- Raccourcis clavier
- Keypress Event Trigger
- Mouse scroll
- Navigate Browser
- Sélectionner l'élément (Select Item)
- Set Browser Data
- Set Runtime Browser
- Définir le texte (Set Text)
- Prendre une capture d'écran (Take Screenshot)
- Saisir dans (Type Into)
- Use Application/Browser
- Joindre
- Vérifier (Check)
- Cliquer (Click)
- Glisser et déposer
- Extraire des données
- Obtenir l'attribut (Get Attribute)
- ObtenirEnfants
- ObtenirCibleRuntime
- GetText
- Get URL
- GoToUrl
- Mettre en surbrillance (Highlight)
- Pointer (Hover)
- Activé
- Raccourci clavier
- Mouse scroll
- Ouvrir
- Sélectionner l'élément (Select Item)
- Prendre une capture d'écran (Take Screenshot)
- Saisir dans (Type Into)
- ÉtatAttente
- Effectuez une recherche par navigateur et récupérez les résultats à l'aide des API UI Automation
- Navigation sur le Web
- Rechercher des images
- Cliquer sur des images
- Déclencher et surveiller des événements
- Créer et remplacer des fichiers
- Pages HTML : extraire et manipuler des informations
- Manipulation des fenêtres
- Sélection de liste automatisée
- Rechercher et manipuler des éléments de fenêtre
- Gérer l'automatisation du texte
- Charger et traiter des images
- Gérer les actions activées par la souris
- Automatiser l'exécution des applications
- Exécution automatisée d'une application locale
- Navigation avec le navigateur
- Automatisation Web
- Exemple de fonctionnalités du déclencheur
- Computer Vision Local Server
- Automatisation mobile
- Notes de publication
- Compatibilité du projet
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Installer l'application
- Gérer l'application actuelle
- Gérer une autre application
- Ouvrir DeepLink
- Ouvrir l'URL
- Mobile Device Connection
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Prendre une capture d'écran (Take Screenshot)
- Prendre une partie de capture d'écran
- Élément existant (Element Exists)
- Execute Command
- Obtenir l'attribut (Get Attribute)
- Get Selected Item
- Obtenir le texte (Get Text)
- Set Selected Item
- Définir le texte (Set Text)
- Balayer
- Tap
- Saisir texte
- Dessiner un modèle
- Terminal
- Notes de publication
- À propos du package d'activités Terminal
- Compatibilité du projet
- Session de terminal (Terminal Session)
- Accéder à la zone d'écran (Get Screen Area)
- Obtenir le texte en position (Get Text at Position)
- Get Color At Position
- Obtenir le champ en position (Get Field at Position)
- Définir le champ en position (Set Field at Position)
- Attendre le texte en position (Wait Text at Position)
- Envoyer les touches (Send Keys)
- Déplacer le curseur (Move Cursor)
- Envoyer les touches en toute sécurité (Send Keys Secure)
- Obtenir le texte (Get Text)
- Rechercher un texte (Find Text)
- Move Cursor to Text
- Envoyer la touche Contrôle (Send Control Key)
- Obtenir le champ (Get Field)
- Attendre le texte d'écran (Wait Screen Text)
- Attendre le texte de champ (Wait Field Text)
- Définir le champ (Set Field)
UI Automation Modern
UI Automation Modern utilise une combinaison de technologies pour identifier et localiser les éléments d'IU : sélecteur complet, sélecteur de correspondances approximatives et image, le tout encapsulé dans un algorithme basé sur des ancres.
UI Automation Modern contient des activités qui vous permettent d'automatiser les interactions d'IU les plus courantes. La première étape de l’automatisation des interactions d’interface utilisateur consiste à définir l’application de bureau ou la page Web avec laquelle interagir en ajoutant une activité Utiliser l'application/le navigateur (Use Application/Browser). Ajoutez ensuite les activités de cette application ou page Web devant être automatisées à l’intérieur de l’activité Use Application/Browser.
Pour accélérer le processus, vous pouvez utiliser l’enregistreur d’application/Web qui génère automatiquement des activités en capturant vos actions à l’écran.
Le package UI Automation Next prend en charge les navigateurs Web suivants :
- Internet Explorer v8.0 ou versions ultérieures
- Google Chrome version 64 ou versions ultérieures
- Mozilla Firefox version 52.0 ou versions ultérieures
- Microsoft Edge Chromium version 79 ou ultérieure sur Windows 10 version 1803 ou ultérieure. Edge Legacy n’est pas pris en charge.
UI Automation Next utilise une combinaison des méthodes suivantes pour identifier les éléments d’IU :
- Sélecteur - Fragment XML qui stocke les attributs d'un élément et de ses éléments parents, y compris l'application cible.
-
Sélecteur de correspondances approximatives : un sélecteur qui prend en compte les modifications possibles des attributs d'un élément, en les identifiant en fonction d'un modèle plutôt que d'une correspondance exacte. Cette méthode fonctionne mieux lorsqu'elle est utilisée avec des ancres.
Vous pouvez trouver plus d'informations sur les sélecteurs dans le guide Studio.
- Image - Une image dans la fenêtre de l'application qui identifie l'élément, par exemple une icône ou un bouton.
Une cible est un élément d’IU avec lequel vous souhaitez interagir (par exemple, un bouton sur lequel cliquer, une zone de texte dans laquelle saisir du texte ou une partie de page Web à partir de laquelle copier du texte).
Une ancre est un autre élément à proximité qui permet d'identifier uniquement la cible. Lorsque vous indiquez une cible, UiPath tente d’identifier et de sélectionner automatiquement une ancre. Vous pouvez également ajouter manuellement trois ancres maximum.
Quand utiliser une ancre
Les ancres sont utiles lorsqu’un élément cible n’est pas unique. Par exemple, un formulaire dans une application de bureau contient généralement plusieurs zones de texte similaires dans lesquelles saisir diverses données. Pour identifier les données à saisir dans chacune d’elles, vous regardez les libellés à côté d’elles. De même, lorsque le libellé d’une zone de texte est ajouté comme ancre, le robot utilise l’ancre pour identifier la zone de texte dans laquelle saisir du texte.
Dans certains scénarios, plusieurs ancres sont nécessaires pour distinguer une cible d’autres éléments similaires appelés doublons. Par exemple, si un formulaire contient des sections pour l’adresse de facturation et l’adresse d’expédition, les zones de texte dans ces sections apparaissent deux fois avec le même libellé, de sorte que vous devez ajouter à la fois les libellés (p. ex., « Code postal ») et le titre de la section (p. ex., « Adresse de facturation ») comme ancres pour identifier la bonne zone de texte.
Dans la plupart des cas, tout ce que vous avez à faire pour définir une cible est de placer le pointeur dessus à l’écran et de cliquer. Les méthodes requises pour identifier la cible et toute ancre appropriée sont détectées et leurs propriétés sont générées automatiquement.
Pour indiquer une cible :
-
Cliquez sur Indiquer la cible à l’écran à l’intérieur d’une activité Ui Automation Next.
Le mode de sélection de cible est ouvert. Lorsque vous déplacez la souris, tous les éléments d’IU reconnus sont mis en surbrillance. La fenêtre Options de sélection apparaît à l’écran. Elle présente des informations sur l’état d’identification de la cible et des options supplémentaires.
-
Placez le pointeur de la souris sur l’élément désiré, assurez-vous qu’il est mis en surbrillance, puis cliquez dessus.
-
Si l’élément cible est identifié, il est mis en surbrillance en vert.
- Si une ancre a également été automatiquement sélectionnée, elle est mise en surbrillance en bleu.
- Si une ancre n’a pas été automatiquement sélectionnée, vous pouvez cliquer sur un élément à proximité qui permet d’identifier la cible (par exemple, un libellé ou un titre) pour l’ajouter comme ancre.
- Pour ajouter une ancre supplémentaire, pointez l’élément cible, sélectionnez Ajouter une ancre dans le menu de survol, puis cliquez sur l’élément à ajouter comme ancre.
-
Si la cible n’a pas été identifiée parce qu’il y a trop d’autres éléments similaires à l’écran, l’élément est mis en surbrillance en rouge et les éléments similaires sont mis en surbrillance comme doublons en jaune. Cliquez sur un autre élément sur l’écran pour l’ajouter comme ancre.
- Si la sélection est valide, la cible et l’ancre sont mises en surbrillance en vert et bleu respectivement.
- Si la cible et l’ancre sont mises en surbrillance et apparaissent en rouge, cela signifie que la sélection n’est toujours pas valide. Pointez l’élément que vous avez indiqué comme étant la cible et cliquez sur Ajouter une ancre dans le menu de survol pour ajouter une deuxième ancre. Le cas échéant, répétez cette action pour ajouter une troisième ancre.
-
Pour compléter l’identification de la cible, cliquez sur Confirmer dans la fenêtre Options de sélection. Vous pouvez également confirmer en cliquant sur dans le menu de survol de la cible ou en appuyant sur la touche d'entrée de votre clavier.
La cible est configurée et l’activité affiche une capture d’écran de la cible et de toutes les ancres qui ont été ajoutées.
-
Des options supplémentaires sont disponibles dans la fenêtre Options de sélection (Selection Options) pour vous aider à indiquer les éléments suivants :
-
Si un élément n’apparaît pas à l'écran ou si l’état de l'application n'est pas approprié, vous pouvez appuyer sur la touche F2 de votre clavier pour ne pas sélectionner l'élément pendant que vous réglez l’application afin que son état soit approprié.
Cette option est utile pour les éléments qui nécessitent l'implémentation d'une action supplémentaire pour qu'ils apparaissent à l’écran ou disparaissent facilement de ce dernier. Par exemple, si vous souhaitez indiquer des éléments spécifiques dans les menus déroulants ou de survol, vous pouvez, pour les activer, interrompre la sélection pendant que vous cliquez dans le menu déroulant ou déplacez le pointeur de souris par-dessus un menu de survol.
- Passez au mode de sélection d’image. Appuyez sur F3 sur votre clavier pour passer à l’identification par l’image seulement, puis utilisez votre souris pour sélectionner une région visible de la fenêtre d’application utilisable comme cible ou ancre.
-
Modifiez l’infrastructure d’IU. Par défaut, une infrastructure propriétaire est utilisée pour accéder à la fenêtre d’application cible. Si une cible n’est pas détectée, essayez de changer l'infrastructure en appuyant sur F4 sur votre clavier. Sélectionnez AA (Active Accessibility) pour les applications plus anciennes ou UIA (Microsoft UI Automation) pour les applications plus récentes. Une fois que vous avez sélectionné une cible, l’option de modification de l’infrastructure d’IU n’est plus disponible.
Si la cible n’est pas identifiée correctement lors de l’exécution du projet, vous pouvez modifier la cible et ses ancres après l’avoir indiquée en sélectionnant > Modifier la cible dans le corps de l’activité. Le mode de sélection avec la cible s'ouvre et toutes les ancres identifiées sont mises en évidence. Un menu s’affiche lorsque vous pointez la souris au-dessus d’une cible ou d’une ancre.
- Pour supprimer une cible ou une ancre, pointez-la, puis cliquez sur Supprimer dans le menu de survol. Si vous supprimez une cible, le premier élément sur lequel vous cliquez est ajouté comme nouvelle cible.
- Pour ajouter une ancre à une cible, cliquez sur l’élément à ajouter comme ancre. Selon les paramètres de votre projet, vous devrez peut-être cliquer sur Ajouter une ancre ( Add Anchor ) dans le menu de survol de la cible en premier. Vous pouvez ajouter jusqu'à trois ancres pour chaque cible.
-
Pour supprimer une cible ou une ancre, pointez-la, puis cliquez sur Supprimer dans le menu de survol. Les propriétés des méthodes utilisées pour détecter l’élément peuvent être modifiées à partir de la section Paramètres avancés de la fenêtre Options de sélection :
-
Sélecteur / Sélecteur de correspondances approximatives
-
Modifiez le sélecteur à l’aide de la zone de texte correspondante. Pour copier le sélecteur afin de le coller dans un autre élément ou l'éditer dans UI Explorer, cliquez sur Copier à côté du sélecteur.
Vous pouvez également utiliser des variables dans les valeurs d'attribut. Les variables doivent être entourées d'accolades doubles. Par exemple,<wnd name='da{{var1}}'/>
ajoute la valeur devar1
au sélecteur. La valeur par défaut de la variable est utilisée au moment de la conception. - Concernant les sélecteurs approximatifs, vous pouvez modifier le niveau de Précision du sélecteur en faisant glisser le curseur correspondant de 0,4 à 1. Cette mesure correspond au niveau de similitude entre l’attribut que vous recherchez et celui à trouver. Pour trouver des résultats avec une similitude plus élevée, augmentez la valeur. La valeur par défaut est de 0,7.
-
-
Image
- Modifiez le niveau de précision de l’image en faisant glisser le curseur correspondant de 0,4 à 1. Cette mesure exprime le niveau de similitude entre l’image que vous recherchez et celle à trouver. Dans les situations où l’image à trouver peut être légèrement différente de celle que vous recherchez, vous pouvez diminuer la précision. La valeur par défaut est de 0,8.
- Désactivez/activez une méthode en désélectionnant/sélectionnant la case à côté de son nom.
- Vérifiez l’unicité d’une méthode en cliquant sur Afficher toutes les correspondances ( Show all matchs). à côté. Cela permet de vérifier tous les éléments de la fenêtre et met en évidence toutes les similarités avec l’élément actuellement sélectionné en jaune.
-
Cliquez sur Appliquer (Apply) pour enregistrer les modifications, puis sur Valider (Validate) si vous souhaitez valider la sélection. Pour enregistrer la sélection, cliquez sur Confirmer.
-
Validation de votre sélection
La validation vous permet de vérifier l’efficacité de la sélection actuelle en termes d’identification de la cible en la vérifiant à l’aide de l'ensemble des méthodes et ancrages sélectionnés. Le résultat de la validation s’affiche en haut de la fenêtre Options de sélection (Selection Options). Si des ajustements sont nécessaires, un message s’affiche avec des informations sur la façon d’améliorer la sélection.
Les performances de chaque méthode sont affichées dans la section Paramètres avancés de la fenêtre Options de sélection et représentées à l’aide de l’une des icônes suivantes :
La méthode a été la première à identifier avec succès l’élément.
La méthode a identifié correctement l’élément.
La méthode n’a pas permis d’identifier l’élément parce que trop de doublons ont été trouvés.
La méthode n’a pas identifié l’élément.