Enregistreur d’Autopilot pour UI Automation

L’enregistreur de Autopilot pour UI Automation est un outil basé sur l’IA qui vise à accélérer et à simplifier considérablement le processus d’élaboration des séquences de base d’UI Automation.

Vous pouvez créer des séquences UIAutomation à l'aide de l'enregistreur à la fois en générant des activités via une invite de langage naturel et en les ajoutant manuellement.

Important :

Il n'y a pas de prise en charge pour l'ajout de boucles de logique conditionnelle. L'enregistreur ne peut gérer qu'une liste prédéfinie d'activités UIAutomation de base.

L'extraction de la table de données n'est pas encore prise en charge.

Une fois que vous avez créé la séquence souhaitée, sélectionnez simplement Enregistrer ( Save). Les activités nécessaires pour effectuer la séquence sont ensuite renseignées dans la zone de dessin de votre workflow Studio Web.

Accéder à l'enregistreur

Pour accéder à l' enregistreur de Autopilot pour UI Automation, procédez comme suit :

1. Ouvrez un projet Studio Web existant ou créez-en un nouveau.
2. Dans le workflow, ajoutez une activité Utiliser le navigateur ( Use Browser ).
3. Sous Travaux de l'étendue ( Work in scope), sélectionnez un onglet à automatiser dans le menu déroulant.
4. Sélectionnez l'icône Générer les activités d'UI Automation à l'aide du Autopilot dans le coin supérieur droit de la zone de capture d'écran d'information ou sur le bouton Générer . Le bouton Générer n’est visible que lorsqu’il n’y a pas d’activités à l’intérieur de l’activité Utiliser le navigateur .
   
   
   
   
5. L'enregistreur est maintenant ouvert.
   
   
   
   

Remarque : si vous créez un projet à partir de zéro avec le Autopilot et que le workflow nécessite une séquence UI Automation, la partie de l'invite de texte relative à la séquence UI Automation est préchargée dans l'enregistreur une fois que vous avez sélectionné Générer dans l'activité Utiliser le navigateur . Par conséquent, lorsque vous accédez à l'application cliente dans ce contexte, elle passe directement à la génération des activités.

Génération d'activités via une invite de texte

Pour générer des activités via l'invite de texte dans l'enregistreur, suivez ces étapes :

1. Sélectionnez le bouton plus.
   
   
   
   

2. Passez à l'étape a ou b. Quel que soit le choix, le résultat est le même.

   1. 1. Sélectionnez l'option Générer avec le Autopilot dans la liste. Cela crée une carte d'activité d'espace réservé.
      2. Écrivez une invite de texte dans le champ de texte Décrivez vos actions sur cette page (Description your actions on this page), puis appuyez sur la touche Enter ou sélectionnez le symbole de flèche. Une invite est plus efficace si elle décrit avec précision la tâche à effectuer. Cela pourrait inclure des instructions telles que « créer un nouveau fournisseur » ou « créer une demande de temps entre le 25 et le 30 décembre », au lieu d'une instruction générique telle que « cliquez sur le bouton 'nouveau' ».
         
         
         
         
   2. Écrivez une invite de texte dans la zone de recherche, puis appuyez sur la touche Enter ou sélectionnez l'option Générer avec Autopilot .
      
      
      
      
3. Les activités sont maintenant générées à partir de l'invite. L'enregistreur utilise uniquement les activités UIAutomation suivantes pour générer les séquences :
   • Cliquer (Click)
   • Saisir dans (Type Into)
   • Obtenir le texte (Get Text)
   • Sélectionner l'élément (Select Item)
   • Check/Uncheck
4. Les activités générées sont renseignées dans l' application cliente. Pour passer à l'état d'application suivant, sélectionnez le bouton Tester . Le bouton Tester (Test) est une tentative d'exécution configurée par défaut en un clic dans le seul but de vous aider à passer à l'état d'application suivant afin que vous puissiez continuer à élaborer votre automatisation.
   
   
   
   
5. Vous êtes passé à l’état d’application suivant. Les activités exécutées sont signalées par une coche verte. Si, pour une raison quelconque, la tentative d'exécution au meilleur effort configurée par défaut de test échoue, vous pouvez toujours interagir librement avec l'application pour exécuter manuellement les étapes nécessaires. Si l'invite n'est pas couverte dans son intégralité, sélectionnez le bouton Continuer avec l'invite .
   
   
   
   
6. Une nouvelle activité a été ajoutée à l’enregistreur. Pour passer à l'état d'application suivant, sélectionnez le bouton Tester .
   
   
   
   
7. Vous êtes passé à l’état d’application suivant. Vous pouvez utiliser l'option Continuer l'invite et le test (Continue 'invite' and Test ) alternativement jusqu'à ce que vous atteignez l'état d'application souhaité et que l'invite entière soit couverte.
   
   
   
   

Ajout manuel d'une activité

Pour ajouter manuellement une activité dans l' enregistreur, procédez comme suit :

1. Sélectionnez le bouton plus.
2. Choisissez l’une des activités UI Automation suivantes dans la liste :
   • Cliquer (Click)
   • Saisir dans (Type Into)
   • Obtenir le texte (Get Text)
   • Sélectionner l'élément (Select Item)
   • Check/Uncheck
   • Pointer (Hover)
   • Raccourcis clavier
   • Prendre une capture d'écran (Take Screenshot)
   • Obtenir l'attribut (Get Attribute)
   • Mouse scroll
   • Check Element
3. Indiquez une cible en sélectionnant un élément d'IU à l'écran.
4. Indiquez une ancre en sélectionnant un élément d’IU à proximité qui permet d’identifier uniquement la cible.
5. Sélectionnez Confirmer (Confirm).
6. L’activité est maintenant ajoutée dans l’enregistreur.

Actions que vous pouvez effectuer dans l’interface utilisateur

Explorez les options disponibles dans l'interface utilisateur telles que détaillées dans le tableau suivant.

Options	Description
Bouton Générer	Ouvre l'enregistreur. Vous pouvez également sélectionner l'icône Générer les activités d'UI Automation à l'aide du Autopilot dans le coin supérieur droit de la zone de capture d'écran d'information.
Bouton Plus	Ouvre la barre de recherche et la liste déroulante des activités.
Fiche d’activité	Vous pouvez effectuer les opérations suivantes : Réorganisez les activités dans l'enregistreur en les faisant glisser et en les déposant. Accédez à l'écran de sélection en double-cliquant sur la fiche d'activité. Vérifiez la cible et les ancres des différentes activités sans accéder à l’écran de sélection en sélectionnant simplement la carte d’activité. Cela déclenche un aperçu de mise en surbrillance de cinq secondes de la cible et des ancres.
Menu hamburger de la carte d’activité	Celui-ci contient les options suivantes : Propriétés ( Properties ) - Ouvre l'écran de sélection, où vous pouvez indiquer la cible et l'ancre. Renommer (Rename) : permet de renommer l'activité. Vous pouvez utiliser jusqu'à 100 caractères. Supprimer ( Delete ) - Supprime la carte d'activité de l'enregistreur.
Bouton Tester	Exécute toutes les activités générées. Il s'agit d'une exécution de configuration par défaut destinée à vous aider à passer d'un état de l'application à un autre. Remarque : le bouton Test n'est pas disponible dans Safari.
Bouton Continuer « Invite »	Génère de nouvelles activités dans l’enregistreur pour couvrir l’ensemble de l’invite.
Delete touche	Supprime la fiche d'activité sélectionnée. Raccourci clavier utilisateur avancé ; aucune invite de confirmation ne s'affiche.
Générer avec le bouton de corbeille du Autopilot	Supprime la carte d’activité Générer avec l’espace réservé du Autopilot .
Esc touche	Revient à la zone de dessin de Studio Web. Si vous avez apporté des modifications dans l’enregistreur, une fenêtre contextuelle avec l’ option Enregistrer vos modifications (Save your changes) effectuée dans l’assistant de sélection ? s’affiche. Vous pouvez sélectionner : Annuler (Cancel) : permet de revenir à l'enregistreur, où vos modifications sont conservées. Ne pas enregistrer ( Don't Save ) : permet de revenir à la zone de dessin de Studio Web sans enregistrer les modifications. Enregistrer (Save) : enregistre vos modifications et votre séquence UIAutomation est renseignée dans la zone de dessin de Studio Web. Si le panneau Propriétés (Properties) est ouvert, appuyez sur Esc pour revenir à la vue Activités (Activities) de l'enregistreur.
Bouton Annuler	Revient à la zone de dessin de Studio Web sans enregistrer les modifications.
Bouton Enregistrer	Enregistre votre séquence de workflow et remplit les activités dans la zone de dessin de Studio Web.
Icône Aide (F1)	Ouvre la page de documentation.

Contrôle des capacités Autopilot

Autopilot est activé par défaut pour tous les utilisateurs.

Vous pouvez désactiver les capacités de Autopilot via les politiques de gouvernance Automation Ops de deux manières :

• En ajoutant une stratégie Studio Web et en définissant l'option Autoriser le Autopilot (Allow Autodriver) sur Non (No).
• En ajoutant une stratégie AI Trust Layer et en désactivant le bouton Activer/désactiver Activer les appels vers des modèles d'IA tiers via le bouton bascule AI Trust Layer .

Lorsque l'une de ces options est désactivée, vous pouvez toujours utiliser l' enregistreur de Autopilot pour UI Automation, mais vous ne pouvez pas générer d'activités via des invites textuelles. Vous pouvez simplement ajouter manuellement des activités dans l'enregistreur.