Création d’un référentiel d’objets

Important : Le référentiel d'objets (Object Repository) fonctionne avec les versions 20.10 et ultérieures des packages UiPath.UIAutomation.Activities ou MobileAutomation.Activities dans les projets pour lesquels Expérience de conception moderne (Modern Design Experience) est activée.

Le référentiel d'objets constitue une collection d'éléments regroupés par applications, versions et écrans qui peuvent provenir :

• d'un projet local, c'est-à-dire du référentiel local.
• d'une bibliothèque, c'est-à-dire des dépendances de la bibliothèque d'interface utilisateur avec le projet actuel.

Un référentiel local peut être créé soit via :

• l'utilisation de l’enregistreur Capturer des éléments (Capture Elements) pour capturer les descripteurs d’IU.
• manuellement, via la création d’applications, d’écrans et d’éléments directement dans le panneau référentiel d’objets.

Une bibliothèque d’interface utilisateur peut être créée en :

• extrayant le référentiel local de n’importe quel projet dans un projet de bibliothèque et en le publiant sous forme de package NuGet.

• depuis une nouvelle bibliothèque, en y construisant le référentiel et en le publiant en tant que package NuGet.

  Vous pouvez ensuite utiliser les packages NuGet de la bibliothèque d'interface utilisateur et les ajouter en tant que dépendances à vos processus.

  Attention : l’enregistreur Capturer des éléments (Capture Elements) enregistre uniquement des objets en vue d'une réutilisation dans les projets, l’enregistreur ne génère pas de flux de travail dans le panneau Concepteur (Designer).

Création d’un référentiel via la Capture d'éléments

Dans une bibliothèque ou un processus, cliquez sur le bouton Capturer des éléments dans le Référentiel d’objets pour ouvrir l’enregistreur Capturer des éléments.

Cliquez sur Démarrer l’enregistrement (Start Recording) pour commencer à capturer des éléments. L'enregistreur Capturer des éléments (Capture Elements) utilise la technologie Cible unifiée (Unified Target) de la version 20.10 et versions ultérieures du pack UIAutomation.Activities afin de capturer des cibles et des ancres avec un certain degré de précision pour chaque sélecteur, image ou ancre.

Les éléments d’IU sont capturés à la fois par un Sélecteur (Selector), un Sélecteur de correspondances approximatives (Fuzzy Selector) et une Image (Image), chacun ayant son degré de précision. Vous pouvez choisir de ne conserver qu’un seul ou la totalité de ces éléments cibles. Il en va de même pour les éléments ancre associés à chaque élément d’IU de l’application.

Dans l’enregistreur, vous pouvez :

• Cliquer sur Ajouter une application (Add Application) ou Ajouter un écran (Add Screen) pour ajouter une nouvelle application ou un nouvel écran.
• Interrompez l’enregistrement à tout moment en cliquant sur Pause . Pour reprendre l’enregistrement, cliquez à nouveau sur Enregistrer (Record) .

• Gérer les éléments enregistrés :

  • Mettre à jour les propriétés d’un écran ou d’un élément en le sélectionnant dans le panneau de gauche et en l’éditant dans le panneau Propriétés (Properties) de droite.
  • Réarranger et regrouper les éléments en faisant un glisser-déposer dans le panneau gauche.
  • Pour les identifier plus facilement, mettez en surbrillance les éléments que vous avez déjà capturés en survolant leur nom dans la fenêtre « Capturer les éléments  et en utilisant le bouton .

  • Pendant que l'enregistrement est en pause :

    • Supprimer un élément en faisant un clic droit dessus et en sélectionnant Supprimer (Delete).
    • Créer un nouvel élément en tant qu’enfant d’un écran ou d’un élément en faisant un clic droit sur l’élément existant et en sélectionnant Créer un élément (Create Element).
  • En option, cliquer sur Paramètres (Settings) , puis choisir de configurer chaque élément ou d'appliquer automatiquement des modifications (les deux paramètres sont activés par défaut).
• Cliquez sur Sauvegarder les objets dans la bibliothèque (Save objects to library) pour enregistrer les modifications, fermer l’enregistreur et revenir à votre projet.

Capturer tous les éléments

Vous pouvez utiliser la fonction Capturer tous les éléments pour capturer tous les éléments disponibles d'une application via la technologie Computer Vision et les ajouter au référentiel d'objets. Cette méthode est utile pour les scénarios où l'automatisation repose fortement sur l'utilisation du référentiel d'objets, car ainsi vous n'avez plus besoin d'ajouter manuellement tous les éléments de l'interface utilisateur, ce qui permet de gagner du temps lors de la création du processus.

1. Cliquez sur le bouton Capturer tous les éléments (Capture all elements) dans l'assistant de capture des éléments. Vous êtes invité à indiquer la fenêtre contenant les éléments que vous souhaitez ajouter au référentiel d'objets. Vous pouvez également sélectionner uniquement une région de l'application cible en cliquant et en faisant glisser un rectangle de la zone à partir de laquelle vous souhaitez capturer des éléments.

2. L'indication de l'application détecte tous les éléments et les met en surbrillance en vert. Vous pouvez également désélectionner manuellement les éléments que vous ne souhaitez pas ajouter au référentiel d'objets. La fenêtre de l'Assistant de numérisation (Scan Wizard) vous permet de sélectionner ou de désélectionner tous les éléments à l'aide des boutons respectifs Sélectionner tout (Select all) ou Désélectionner tout (Deselect all). Une fois votre sélection terminée, cliquez sur Capturer (Capture) pour fermer l'assistant de numérisation et revenir à la fenêtre Capturer les éléments (Capture Elements).

   Si certains éléments n'ont pas été identifiés, vous pouvez nous aider à améliorer la détection en envoyant une image à UiPath pour analyse. Cliquez sur Signaler des problèmes (Report issues), sélectionnez une zone contenant des éléments non identifiés, puis sélectionnez Envoyer (Send).

   
   

   

   
   
   Remarque :

   Cette fonctionnalité nécessite d'avoir configuré un serveur Computer Vision à utiliser. Il existe plusieurs méthodes pour effectuer cela :

   • Utiliser le serveur cloud Computer Vision
   • Utiliser un serveur Computer Vision sur site

   Après avoir choisi le type de serveur que vous souhaitez utiliser, vous devez le sélectionner comme serveur à utiliser pour le projet en cours, en modifiant les champs Serveur (Server) et ApiKey des Paramètres du projet (Project Settings).

Propriétés du Descripteur (Descriptor Properties)

Les applications, les écrans et les éléments doivent recevoir des noms descriptifs depuis l’enregistreur Capturer des éléments (Capture Elements) afin de les rendre facilement identifiables dans le Référentiel d’objets.

Types d’éléments

Dans une application, un sélecteur peut représenter un bouton, une case à cocher, un champ de texte, une bascule, une zone de liste, tout type d’élément pouvant interagir avec le Robot. L’élément capturé peut être défini dans l’enregistreur Capturer des éléments (Capture Elements).

Dans la liste déroulante Type, recherchez et choisissez le type adapté à chaque élément. Dans le référentiel d'objets, l'élément reçoit une icône propre à son type, ce qui simplifie la distinction entre les objets.

Après avoir capturé des éléments, cliquez sur le bouton Sauvegarder les objets dans la bibliothèque (Save objects to library), et les objets seront ajoutés au Référentiel d’objets (Object Repository). Pour ajouter des éléments supplémentaires, cliquez avec le bouton droit sur un écran ou un élément dans le référentiel, puis sélectionnez Créer un élément. Pour ajouter des écrans supplémentaires, cliquez avec le bouton droit sur l’application et sélectionnez Créer un écran.

Utilisation de la fonction Capturer des élements pour les applications et écrans existants

Si vous avez quitté l’enregistreur avant de capturer tous les éléments désirés, ou si vous souhaitez ajouter ou modifier des éléments à l’aide de la fonction Capturer des éléments pour une application ou un écran déjà ajouté au référentiel d’objets, vous pouvez lancer l’enregistreur à tout moment dans le contexte de cette application ou de cet écran :

1. Faites un clic droit sur n’importe quelle application ou écran sous Descripteurs de l'IU du projet (Project UI Descriptors), puis sélectionnez Capturer des éléments (Capture Elements). Cela ouvre la fenêtre Capturer des éléments dans le contexte de cette application ou de cet écran :

   • Si vous avez sélectionné une application, tous les écrans et éléments sous cette application sont pré-remplis dans Capturer des éléments.
   • Si vous avez sélectionné un écran, tous les éléments sous cet écran sont pré-remplis dans Capturer des éléments.
2. Mettez à jour les écrans et les éléments si besoin. Vous pouvez ajouter de nouveaux écrans, commencer l'enregistrement pour ajouter de nouveaux éléments, modifier ou supprimer des écrans ou des éléments existants. Si vous modifiez les écrans et éléments existants, les modifications sont appliquées aux descripteurs du référentiel d’objets lorsque vous enregistrez.
3. Cliquez sur Sauvegarder les objets dans la bibliothèque (Save objects to library) pour enregistrer les modifications, fermer l’enregistreur et revenir à votre projet.

Création d’un Référentiel depuis le Panneau Référentiel d’objets (Object Repository Panel)

Vous pouvez créer votre propre référentiel depuis le panneau Référentiel d’objets (Object Repository) en définissant manuellement l’application, ainsi que chaque écran et chaque élément.

Créer une application d'IU

Dans le panneau Référentiel d’objets, cliquez sur le signe Plus dans l’onglet Descripteurs (Descriptors) ou, dans le même onglet, cliquez avec le bouton droit sur Descripteurs de projet (Project Descriptors) et sélectionnez Créer une application (Create Application). La fenêtre Créer une application s’ouvre :

Ajoutez un nom d’application, une version et une description uniques. Cliquez sur Créer l’application. Votre application est visible dans l’onglet Descripteurs, dans Descripteurs d’IU de projet.

Créer un écran

Sous l’onglet Descripteurs, sélectionnez votre application, cliquez sur le signe Plus ou cliquez avec le bouton droit sur votre application et sélectionnez Créer un écran (Create Screen). La fenêtre Ajouter un écran (Add Screen) s’ouvre :

Ajoutez un nom unique pour l’écran ainsi qu'une description. Indiquez l’écran que vous souhaitez automatiser et modifiez l’élément capturé avec Cible unifiée (Unified Target) :

• modifiez le chemin d’accès à l’application si nécessaire.

• Ajouter des arguments de l'application.

  Une fois terminé, cliquez sur Créer écran (Create screen).

Créer un élément d’IU

Dans l'onglet Descripteurs, sélectionnez l'écran de votre application, cliquez sur le signe plus ou cliquez sur l'écran avec le bouton droit de la souris et sélectionnez Créer un élément. La fenêtre Ajouter un élément s'ouvre :

Dans la section Type de de descripteur (Descriptor Type), cliquez sur Indiquer l’élément (Indicate element) afin d'utiliser Cible unifiée (Unified Target) pour indiquer et capturer l’élément depuis l’écran.

Ajoutez un nom intuitif dans le champ Nom de l’élément (Element Name) et sélectionnez le type de l’élément dans la liste déroulante sous Type (Type). Une fois terminé, cliquez sur Enregistrer (Save).

Remarque :

• Pour modifier un élément du référentiel d'objets, cliquez dessus avec le bouton droit de la souris, puis sélectionnez Modifier l'élément ou double-cliquez sur l'élément dans l'arborescence.
• Pour modifier le descripteur d'un élément, utilisez l'option Modifier le descripteur de la fenêtre Modifier l'élément, ou cliquez avec le bouton droit sur l'élément dans l'arborescence, puis sélectionnez Modifier le descripteur.

Utilisation du référentiel d'objets avec des enregistreurs

Si le référentiel d'objets est appliqué à votre instance de Studio (conformément aux instructions de la page À propos du référentiel d'objets), lorsque vous utilisez Enregistreur d'application/Web, les activités générées ne référencent pas automatiquement les descripteurs du référentiel.

Au niveau des activités, une infobulle informative vous indique d'ajouter des descripteurs au référentiel d'objets ou d'utiliser ceux dont vous disposez déjà.

Pour ce faire, cliquez sur l'icône dans l'activité et suivez les étapes d'ajout ou de réutilisation de descripteurs, ou sélectionnez Options > Ajouter au référentiel d'objets pour ajouter l'élément au référentiel d'objets.

Ajouter des Éléments d'Activités à un Référentiel

Une fois que vous avez créé un référentiel d’objets, vous pouvez ajouter des éléments d’IU supplémentaires directement depuis le panneau Concepteur (Designer).

Dans le panneau Concepteur (Designer), ajoutez une activité qui prend en charge les sélecteurs comme Cliquer (Click) ou Saisir dans (Type Into). Assurez-vous que l’activité ajoutée se trouve dans une activité Use Application/Browser.

Dans le corps de l’activité, cliquez sur l’icône Référentiel d’objets pour ouvrir la fenêtre Options de sélection (Selection Options). Capturez l’élément, sélectionnez Confirmer (Confirm) et la fenêtre Ajouter un élément au Référentiel d’objets (Add Element to Object Repository) s’ouvrira. Donnez un nom à l’élément et cliquez sur Enregistrer (Save). Notez que l’élément est ajouté au panneau Référentiel d’objets (Object Repository).

Utiliser des Objets dans le projet en cours

À partir du Référentiel d’objets (Object Repository), glissez-déposez un écran ou un élément au-dessus d'une activité de votre workflow. L’image, les arguments et les autres détails de l’objet sont automatiquement ajoutés à l’activité. Lorsqu'une activité utilise un écran ou un élément du référentiel d'objets, un clic sur l'icône Référentiel d'objets dans l'activité met en surbrillance le descripteur qu'il utilise dans l'arborescence du référentiel d'objets.

Dans l’exemple ci-dessous, nous avons fait glisser l’objet MyAppScreen au-dessus de l’activité Use Application/Browser. Le chemin d’accès à l’application a été automatiquement ajouté à l’activité.

Alternativement, faites glisser et déposer un objet sur le signe Plus à l’intérieur du workflow. Si vous faites glisser et déposer un écran, une activité Utiliser l'application/le navigateur (Utiliser l'application/le navigateur) est automatiquement ajoutée. Si vous faites glisser et déposer un élément, une liste d’activités compatibles s’affiche. Sélectionnez l’activité désirée et l’objet est automatiquement ajouté. À l’intérieur du processus, l’activité reçoit l’étiquette suivante : nom d’activité + nom de l’objet. Une fois l’objet ajouté, l’activité reçoit les propriétés descripteur du référentiel d’objets, visibles dans le panneau Propriétés (Properties) de l’activité.

• Pour indiquer ou modifier le descripteur de l'activité, sélectionnez Options , puis Indiquer la cible à l'écran ou Modifier la cible. Une boîte de dialogue s'affiche pour vous informer que l'action est effectuée sur le descripteur dans le référentiel d'objets. Confirmez votre choix en sélectionnant respectivement Indiquer le descripteur (Indicate Descriptor) et Modifier le descripteur (Edit Descriptor ).

• Pour indiquer ou modifier seulement le descripteur de l’activité en cours, vous devez d’abord supprimer le lien entre l’activité et le référentiel d’objets en sélectionnant Options, puis Dissocier du référentiel d’objets (Unlink from Object Repository). Veuillez noter que lorsque le référentiel d’objets est appliqué, la dissociation supprime la cible de l’activité.

  
  

  

  
  

Une fois les objets ajoutés au flux de travail, l’onglet Activités d'IU (UI Activities) du panneau Référentiel d’objets (Object Repository) affiche les activités et les objets qu’ils contiennent selon un ordre hiérarchique. S’ils ne sont pas visibles, veuillez enregistrer le projet et vérifier à nouveau.

Les workflows sont marqués :

• avec un point gris, si au moins 1 activité du fichier de workflow fait référence à un descripteur d’IU du panneau Objets.
• avec un point bleu, si toutes les activités du workflow font référence aux descripteurs d'IU dans le panneau Objets.

Les activités d’IU sont marquées :

• avec un point vide, si l’activité ne fait pas référence à un descripteur d’IU du panneau Objets.
• avec un point bleu, si elle fait référence à un descripteur d’IU du panneau Objets.

Modifier les descripteurs

Descripteurs d'élément

Les descripteurs peuvent être modifiés depuis le Référentiel d’objets (Object Repository) lors de deux scénarios que nous appellerons « modification en ligne » et « modification hors ligne » :

• modification en ligne - l’application ou le navigateur est accessible sur la machine actuelle. L’application/navigateur s’affiche à l’écran, ce qui permet de sélectionner à nouveau ou de modifier les éléments.

• modification hors ligne - l’application ou le navigateur ne sont pas accessibles sur la machine actuelle, soit parce que l’application n’est pas installée, soit parce que la machine est hors ligne. Les sélecteurs de l’élément sont rendus visibles, permettant d’y apporter des modifications.

  Remarque : les sélecteurs et les sélecteurs de correspondances approximatives de vos descripteurs peuvent être modifiés directement dans UIExplorer à l'aide du bouton .

Modification en ligne

Dans l'onglet Descripteurs, cliquez avec le bouton droit de la souris sur un élément et sélectionnez Modifier le descripteur. L'écran de sélection s'ouvre pour vous permettre de capturer un autre élément, de modifier des sélecteurs et des ancres.

Il est possible d'obtenir le même résultat en cliquant sur le bouton « Modifier le descripteur » dans la fenêtre « Modifier l'élément ».

Remarque : au moment de l’exécution, les Descripteurs d’IU sont résolus dans le panneau Référentiel d’objets, si ce sont à ces descripteurs que les activités font référence.

Modification hors ligne

Les étapes de la modification en ligne s’appliquent de la même manière ici aussi. Sous l’onglet Descripteurs (Descriptors) cliquez avec le bouton droit sur un élément et sélectionnez Modifier le descripteur (Edit Descriptor).

La modification hors ligne offre la possibilité de modifier directement les paramètres du descripteur de l'élément. Toutefois, vous ne pourrez pas indiquer de nouveaux éléments. Pour ce faire, assurez-vous que l’application/navigateur est ouvert dans l’état correct.

Descripteurs d'écran

Pour modifier un descripteur d'écran, dans l'onglet Descripteurs (Descriptors), cliquez avec le bouton droit sur l'écran et sélectionnez Modifier le descripteur (Edit Descriptor). La fenêtre Modifier l'écran (Edit Screen) s'affiche.

Vous pouvez modifier le chemin de l'application ou l'URL du navigateur, les arguments de l'application et le sélecteur de fenêtre, et choisir si seules les applications dont le titre correspond exactement peuvent être utilisées dans l'automatisation. Les champs relatifs au chemin de l'application, à l'URL du navigateur et aux arguments de l'application prennent en charge les expressions, les variables et les arguments.

Résoudre les descripteurs d’IU

Chaque fois que vous indiquez un écran ou un Élément d’IU qui est déjà référencé dans le Référentiel d’objets (Object Repository), soit sous Descripteurs d’IU du projet (Project UI Descriptors), soit sous Bibliothèques d’IU (UI Libraries), la correspondance est automatiquement détectée et la fenêtre suivante apparaît à l'écran :

Les options suivantes sont disponibles :

• Réutiliser (Reuse) - ajoute le descripteur correspondant à l’activité actuelle depuis le Référentiel d’objets (Object Repository).
• Créer nouveau (Create New) - ouvre la fenêtre des options afin de créer un nouvel écran/élément ou de mettre à jour un écran/élément existant dans le Référentiel d’objets (Object Repository).
• Annuler - conserve le sélecteur actuellement indiqué à l’intérieur de l’activité, sans apporter de modifications aux objets dans le référentiel.

Indiquant qu’un écran recherche un descripteur d’IU correspondant, tout en indiquant qu’un élément cible recherche un descripteur d’IU correspondant. Quand vous utilisez l'enregistreur, les résultats correspondants pour l’écran et les éléments sont recherchés dans la bibliothèque d’IU locale à partir de descripteurs d’IU du projet ou des dépendances importées depuis les bibliothèques d’IU.

Remarque : au moment de l’exécution, les Descripteurs d’IU sont résolus dans le panneau Explorateur d’objets, si ce sont à ces descripteurs d'IU que les activités font référence.

Variables dans les Descripteurs

Vous pouvez augmenter le degré de réutilisation des descripteurs au moyen de variables.

Vous pouvez modifier une cible, y ajouter des variables, puis l'ajouter au référentiel d'objets, ou ajouter des variables aux sélecteurs dans les écrans existants ainsi que des éléments du référentiel d'objets. Chaque fois que vous ajoutez un descripteur contenant une variable à un processus, créez la variable dans le processus afin que l'expression puisse être lue.

Pour ajouter une variable à un sélecteur de descripteur, cliquez avec le bouton droit sur l'élément dans le référentiel d'objets, puis sélectionnez Modifier le descripteur et ajoutez la variable dans la fenêtre Options de sélection.

Les variables ajoutées dans les sélecteurs doivent être placées entre doubles crochets. Par exemple, comme le montre l'image ci-dessous, <name='{{VarNumber}}'/> ajoute la valeur de la variable VarNumber à l'attribut name dans le sélecteur.

Dans l'exemple ci-dessous, nous avons utilisé une variable dans le champ URL du navigateur de l'activité Use Application/Browser, puis ajouté la cible au référentiel d'objets en tant qu'objet d'écran. De cette manière, nous nous assurons que le descripteur tient compte des cas dans lesquels l'URL change.

Surligner les éléments (Highlight Elements)

Dans le panneau Référentiel d’objets (Object Repository), cliquez avec le bouton droit sur un écran ou un élément et sélectionnez Mettre en surbrillance (Highlight) afin de mettre en surbrillance les éléments à l’intérieur de l’application, à condition que l’application soit lancée sur la machine ou que la page Web soit ouverte dans le navigateur.