- Vue d'ensemble (Overview)
- Automatisation de l'interface utilisateur
- Applications et technologies automatisées avec UI Automation
- Compatibilité du projet
- UI-ANA-016 - Extraire l'URL ouverte du navigateur
- UI-ANA-017 - ContinuerSurErreur (ContinueOnError) True
- UI-ANA-018 - Répertorier les activités d'OCR/d'image
- UI-DBP-006 - Utilisation du conteneur
- UI-DBP-013 - Utilisation abusive de l’automatisation Excel
- UI-DBP-030 - Utilisation de variables interdites dans les sélecteurs
- UI-PRR-001 - Simuler un clic
- UI-PRR-002 - Type de simulation
- UI-PRR-003 - Ouverture d'une utilisation abusive de l'application
- UI-PRR-004 - Délais codés en dur
- UI-REL-001 - Idx volumineux dans les sélecteurs
- UI-SEC-004 - Données d’e-mail du sélecteur
- UI-SEC-010 - Restrictions d'applications/d'URL
- UI-USG-011 - Attributs non autorisés
- UX-SEC-010 - Restrictions d'applications/d'URL
- UX-DBP-029 - Utilisation d'un mot de passe non sécurisé
- UI-PST-001 - Niveau du journal d'audit dans les paramètres du projet
- Outil de migration de navigateur UiPath
- Clipping region
- Enregistreur de Computer Vision
- Activer (Activate)
- Base d'ancrage (Anchor Base)
- Lier à un navigateur (Attach Browser)
- Lier à une fenêtre (Attach Window)
- Block User Input
- Légende (Callout)
- Vérifier (Check)
- Cliquer (Click)
- Cliquer sur l'image (Click Image)
- Déclencheur de clic image (Click Image Trigger)
- Cliquer sur le texte OCR (Click OCR Text)
- Cliquer sur le texte (Click Text)
- Déclencheur de clic (Click Trigger)
- Fermer l'application (Close Application)
- Fermer l'onglet (Close Tab)
- Fermer la fenêtre (Close Window)
- Context Aware Anchor
- Copier le texte sélectionné (Copy Selected Text)
- Element Attribute Change Trigger
- Élément existant (Element Exists)
- Étendue de l'élément (Element Scope)
- Element State Change Trigger
- Export UI Tree
- Extraire les données structurées (Extract Structured Data)
- Rechercher les enfants (Find Children)
- Rechercher l'élément (Find Element)
- Rechercher l'image (Find Image)
- Rechercher les correspondances de l'image (Find Image Matches)
- Rechercher une position de texte OCR (Find OCR Text Position)
- Rechercher l'élément relatif (Find Relative Element)
- Rechercher la position du texte (Find Text Position)
- Obtenir la fenêtre active (Get Active Window)
- Obtenir l'ancêtre (Get Ancestor)
- Obtenir l'attribut (Get Attribute)
- Obtenir les infos de l'événement (Get Event Info)
- Récupérer du presse-papiers (Get From Clipboard)
- Obtenir le texte complet (Get Full Text)
- Obtenir le texte OCR (Get OCR Text)
- Récupérer le mot de passe (Get Password)
- Obtenir la position (Get Position)
- Obtenir l'élément source (Get Source Element)
- Obtenir le texte (Get Text)
- Obtenir le texte visible (Get Visible Text)
- Revenir en arrière (Go Back)
- Avancer (Go Forward)
- Accéder à l'accueil (Go Home)
- Google Cloud Vision OCR
- Masquer la fenêtre (Hide Window)
- Mettre en surbrillance (Highlight)
- Déclencheur de raccourci (Hotkey Trigger)
- Pointer (Hover)
- Pointer sur l'image (Hover Image)
- Pointer sur le texte OCR (Hover OCR Text)
- Pointer sur le texte (Hover Text)
- Image existante (Image Exists)
- Indiquer sur l'écran (Indicate On Screen)
- Injecter du code .NET
- Inject Js Script
- Invoquer la méthode ActiveX
- Déclencheur de pression de touche (Key Press Trigger)
- Charger l'image (Load Image)
- Agrandir la fenêtre (Maximize Window)
- Microsoft Azure ComputerVision OCR
- Reconnaissance optique des caractères Microsoft (Microsoft OCR)
- Microsoft Project Oxford Online OCR
- Réduire la fenêtre (Minimize Window)
- Surveiller les événements (Monitor Events)
- Déclencheur de souris (Mouse Trigger)
- Déplacer la fenêtre (Move Window)
- Accéder à (Navigate To)
- Texte OCR existant (OCR Text Exists)
- Sur affichage de l'élément (On Element Appear)
- Sur disparition de l'élément (On Element Vanish)
- Sur apparition de l'image (On Image Appear)
- Sur disparition de l'image (On Image Vanish)
- Ouvrir l'application (Open Application)
- Ouvrir le navigateur (Open Browser)
- Actualiser le navigateur (Refresh Browser)
- Relire l'événement utilisateur (Replay User Event)
- Restaurer la fenêtre (Restore Window)
- Enregistrer l'image (Save Image)
- Sélectionner l'élément (Select Item)
- Sélectionner plusieurs éléments (Select Multiple Items)
- Envoyer le raccourci (Send Hotkey)
- Définir la zone de détourage (Set Clipping Region)
- Définir le focus (Set Focus)
- Définir le texte (Set Text)
- Placer dans le presse-papiers (Set To Clipboard)
- Définir l'attribut Web (Set Web Attribute)
- Afficher la fenêtre (Show Window)
- Déclencher le processus (Start Process)
- Déclencheur système (System Trigger)
- Prendre une capture d'écran (Take Screenshot)
- Tesseract OCR
- Texte existant (Text Exists)
- Info-bulle
- Saisir dans (Type Into)
- Saisir un texte sécurisé (Type Secure Text)
- Utiliser le premier plan
- Attendre un attribut (Wait Attribute)
- Attendre que l'élément disparaisse (Wait Element Vanish)
- Attendre que l'image disparaisse (Wait Image Vanish)
- Application event trigger
- Check/Uncheck
- Check App State
- Check Element
- Cliquer (Click)
- Click Event Trigger
- Fermer la fenêtre contextuelle
- Glisser et déposer
- Extract Table Data
- For Each UiElement
- Obtenir l'attribut (Get Attribute)
- Get Browser Data
- Obtenir le texte (Get Text)
- Get URL
- Go To URL
- Mettre en surbrillance (Highlight)
- Pointer (Hover)
- Inject Js Script
- Raccourcis clavier
- Keypress Event Trigger
- Mouse scroll
- Navigate Browser
- Sélectionner l'élément (Select Item)
- Set Browser Data
- Définir le navigateur du runtime (Set Runtime Browser)
- Définir le texte (Set Text)
- Prendre une capture d'écran (Take Screenshot)
- Saisir dans (Type Into)
- Use Application/Browser
- Joindre
- Vérifier (Check)
- Cliquer (Click)
- Glisser et déposer
- Extraire des données
- Obtenir l'attribut (Get Attribute)
- ObtenirEnfants
- ObtenirCibleRuntime
- GetText
- Get URL
- GoToUrl
- Mettre en surbrillance (Highlight)
- Pointer (Hover)
- IsEnabled
- Raccourci clavier
- Mouse scroll
- Ouvrir
- Sélectionner l'élément (Select Item)
- Prendre une capture d'écran (Take Screenshot)
- Saisir dans (Type Into)
- ÉtatAttente
- Effectuez une recherche par navigateur et récupérez les résultats à l'aide des API UI Automation
- Navigation sur le Web
- Rechercher des images
- Cliquer sur des images
- Déclencher et surveiller des événements
- Créer et remplacer des fichiers
- Pages HTML : extraire et manipuler des informations
- Manipulation des fenêtres
- Sélection de liste automatisée
- Rechercher et manipuler des éléments de fenêtre
- Gérer l'automatisation du texte
- Charger et traiter des images
- Gérer les actions activées par la souris
- Automatiser l'exécution des applications
- Exécution automatisée d'une application locale
- Navigation avec le navigateur
- Automatisation Web
- Exemple de fonctionnalités du déclencheur
- Computer Vision Local Server
- Automatisation mobile
- Notes de publication
- Compatibilité du projet
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Installer l'application
- Gérer l'application actuelle
- Gérer une autre application
- Ouvrir DeepLink
- Ouvrir l'URL
- Mobile Device Connection
- Balayer directionnel
- Dessiner un modèle
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Prendre une capture d'écran (Take Screenshot)
- Prendre une partie de capture d'écran
- Élément existant (Element Exists)
- Execute Command
- Obtenir l'attribut (Get Attribute)
- Get Selected Item
- Obtenir le texte (Get Text)
- Set Selected Item
- Définir le texte (Set Text)
- Balayer
- Tap
- Saisir texte
- Terminal
- Notes de publication
- À propos du package d'activités Terminal
- Compatibilité du projet
- Meilleures pratiques
- Rechercher un texte (Find Text)
- Get Color At Position
- Obtenir la position du curseur (Get Cursor Position)
- Obtenir le champ (Get Field)
- Obtenir le champ en position (Get Field at Position)
- Accéder à la zone d'écran (Get Screen Area)
- Obtenir le texte (Get Text)
- Obtenir le texte en position (Get Text at Position)
- Déplacer le curseur (Move Cursor)
- Move Cursor to Text
- Envoyer la touche Contrôle (Send Control Key)
- Envoyer les touches (Send Keys)
- Envoyer les touches en toute sécurité (Send Keys Secure)
- Définir le champ (Set Field)
- Définir le champ en position (Set Field at Position)
- Session de terminal (Terminal Session)
- Attendre le texte de champ (Wait Field Text)
- Attendre le texte d'écran (Wait Screen Text)
- Attendre le texte en position (Wait Text at Position)
CV Screen Scope
UiPath.CV.Activities.CVScope
Initialise le moteur neuronal UiPath Computer Vision, en fournissant une analyse de la fenêtre indiquée et fournit une étendue pour toutes les activités de Computer Vision. L’activité vous permet de sélectionner le moteur OCR que vous souhaitez utiliser pour extraire le texte dans l’application cible. Le moteur OCR utilisé par défaut pour cette activité est UiPath Screen OCR. Le moteur peut être modifié en remplaçant manuellement le moteur par défaut par celui de votre choix.
Commun
-
Poursuite sur erreur (ContinueOnError) - Spécifie si l'automatisation doit continuer même si l'activité génère un message d'erreur. Ce champ prend uniquement en charge les valeurs booléennes (True, False). La valeur par défaut est False. Par conséquent, si le champ est vide et si une erreur est renvoyée, l'exécution du projet s'interrompt. Si la valeur est configurée sur True, l'exécution du projet continue indépendamment de toute erreur.
Remarque : si cette activité est incluse dans l'activité Try Catch et que la valeur de la propriété ContinuerSurErreur est « True », aucune erreur ne sera détectée lors de l'exécution du projet. - DélaiAvant : délai (en millisecondes) avant que l’activité commence à effectuer des opérations. La valeur par défaut de ce champ est de 300 millisecondes.
- NomAffichage (DisplayName) - Nom affiché de l'activité.
Entrée
-
MéthodeCV : liste déroulante qui indique la méthode de détection que vous souhaitez utiliser avec cette activité. Par défaut, les options DétectionÉlément et OCR sont sélectionnées. Les options suivantes sont disponibles :
- Aucune : utilise uniquement l’automatisation de l’image.
- Détection d’éléments : utilise Computer Vision.
- OCR : utilise l’OCR.
- Target.ClippingRegion : définit le rectangle de détourage, en pixels, par rapport à l'objet UiElement, dans les sens suivants : gauche, haut, droite, bas. Elle prend en charge les nombres positifs et négatifs.
- Cible.Élément : cette propriété utilise la variable UiElement renvoyée par une autre activité. Elle ne peut pas être utilisée avec la propriété Sélecteur. Ce champ ne prend en charge que les variables UiElement.
- Sélecteur de cible (Target.Selector) - Propriété de texte utilisée pour trouver un élément donné de l'interface utilisateur lors de l'exécution de l'activité. Il s'agit en fait d'un fragment XML spécifiant les attributs de l'élément de l'interface graphique utilisateur que vous recherchez et de certains de ses parents.
- Délai d'attente (millisecondes) : indique le délai d'attente (en millisecondes) pour l'exécution de l'activité avant qu'une erreur
SelectorNotFoundException
soit générée. La valeur par défaut est de 30 000 millisecondes (30 secondes). -
Cible.AttendrePrêt : avant d’effectuer les actions, la propriété attend que la cible soit prête. Par défaut, ce champ est défini sur INTERACTIVE. Les options suivantes sont disponibles :
- None (Aucun) - Attend uniquement la création de l'élément de l'interface utilisateur cible avant d'exécuter l'action. Vous pouvez, par exemple, utiliser cette option si vous souhaitez récupérer uniquement du texte à partir d'une page Web ou cliquer sur un bouton spécifique sans être obligé d'attendre que tous les éléments de l'interface utilisateur soient chargés. Il est à noter que ceci peut avoir des conséquences indésirables si le bouton est basé sur des éléments qui ne sont pas encore chargés, comme par exemple des scripts.
- INTERACTIVE : attend que les éléments d’IU avec lesquels vous travaillez dans l’application cible existent avant d’exécuter l’action.
-
COMPLETE : attend le chargement de tous les éléments d’IU dans l’application cible avant l’exécution effective de l’action.
Pour évaluer si une application est à l'état Interactif (Interactive) ou Terminé (Complete), les balises suivantes sont vérifiées :
- Applications de bureau : un message
wm_null
est envoyé pour vérifier l'existence des balises<wnd>
,<ctrl>
,<java>
ou<uia>
. S'ils existent, l'activité est exécutée. - Applications Web (Web Applications)
- Internet Explorer : la balise
<webctrl>
est utilisée pour vérifier si l’état Prêt du document HTML est défini sur Terminé. De plus, l’état Occupé doit être défini surFalse
. - Autres : la balise
<webctrl>
est utilisée pour vérifier si l’état Prêt du document HTML est défini sur Terminé.
- Internet Explorer : la balise
- Applications SAP : ce processus vérifie d’abord la présence de la balise
<wnd>
, puis détecte si la session est occupée grâce à une API spécifique de SAP.
- Applications de bureau : un message
Divers
- Privé (Private) - Si cette option est sélectionnée, les valeurs des variables et des arguments ne sont plus enregistrées au niveau Détaillé (Verbose).
Scroll
- Décalage de défilement : décalage de défilement utilisé dans le défilement pour trouver la cible de chacune des activités Computer Vision dans cette étendue.
Serveur (synchronisé)
-
ApiKey : clé API utilisée pour l'authentification auprès du serveur Computer Vision. Ce champ ne prend en charge que les chaînes ou les variables String. Cela est une propriété globale, partagée entre toutes les activités CV Screen Scope du workflow.
Remarque : veuillez noter que la clé API n’est requise que lors de la connexion au serveur UiPath Automation Cloud. Vous pouvez trouver plus d’informations sur l’acquisition d’une clé ici.Remarque :La modification de la propriété CléAPI d’une activité d’étendue modifie la valeur de toutes les autres étendues du workflow en cours. Vous n’avez donc pas à le faire manuellement. - URL : URL du serveur qui exécute le service Computer Vision. Par défaut, cette option est configurée sur
https://cv.uipath.com/
. Il s’agit d’une propriété globale, partagée entre toutes les activités CV Screen Scope du workflow. -
UtiliserLeServeurLocal : si cette case est cochée, le serveur local sera utilisé pour l’analyse. Pour utiliser le serveur local, le package UiPath.ComputerVision.LocalServer doit être installé.
Remarque :Lorsque vous utilisez un déploiement de serveur sur site du modèle de réseau neuronal, pour vous y connecter avec les activités Computer Vision, vous devez remplacer la valeur de la propriété URL de l'activité CV Screen Scope par l'URL de votre serveur.
Plus de détails sur la connexion au serveur sont disponibles ici.
L’application que vous souhaitez automatiser peut être indiquée à l’activité CV Screen Scope en utilisant le bouton Indiquer à l’écran (Indicate On Screen) dans le corps de l’activité. Après cela, une capture de l’écran que vous avez indiquée s’affiche dans le corps de l’activité.
Si vous indiquez plusieurs écrans lors de l’automatisation d’une application, vous pouvez passer d’un écran à l’autre en utilisant les boutons directionnels (<, >) pour vérifier facilement les écrans utilisés par l’activité.
Les écrans peuvent également être renommés en les sélectionnant dans la liste déroulante Nom de l’écran (Screen Name) et en cliquant sur le bouton .