Enregistreur d’Autopilot pour UI Automation

L’enregistreur de Autopilot pour UI Automation est un outil basé sur l’IA qui vise à accélérer et à simplifier considérablement le processus d’élaboration des séquences de base d’UI Automation.

Vous pouvez créer des séquences UIAutomation à l'aide de l'enregistreur à la fois en générant des activités via une invite de langage naturel et en les ajoutant manuellement.

Important :

Il n'y a pas de prise en charge pour l'ajout de boucles de logique conditionnelle. L’enregistreur ne peut gérer qu’une liste prédéfinie d’activités UI Automation de base. Extract Table Data n'est pas encore pris en charge.

Une fois que vous avez créé la séquence souhaitée, sélectionnez simplement Enregistrer. Les activités nécessaires à l’exécution de la séquence sont ensuite renseignées dans votre zone de dessin de workflow Studio Web.

Accéder à l'enregistreur

Pour accéder à l' enregistreur de Autopilot pour UI Automation, procédez comme suit :

1. Ouvrez un projet Studio Web existant ou créez-en un nouveau.

2. Dans le workflow, ajoutez une activité Utiliser le navigateur .

3. Sous Travaux de l'étendue, sélectionnez un onglet à automatiser dans le menu déroulant.

4. Sélectionnez l’icône Générez les activités d’UI Automation à l’aide d’Autopilot dans le coin supérieur droit de la zone de capture d’écran d’information ou cliquez sur le bouton Générer . Le bouton Générer est visible uniquement lorsqu’il n’y a pas d’activités dans l’activité Utiliser le navigateur .

   

5. L'enregistreur est maintenant ouvert.

   

Remarque :

Si vous créez un projet à partir de zéro avec Autopilot et que le workflow nécessite une séquence UI Automation, la partie de l’invite textuelle correspondant à la séquence UI Automation est préchargée dans l’enregistreur une fois que vous avez sélectionné Générer dans l’activité Utiliser le navigateur . Par conséquent, lorsque vous accédez à l'enregistreur dans ce contexte, il entre directement en génération des activités.

Génération d'activités via une invite de texte

Pour générer des activités via l'invite de texte dans l'enregistreur, suivez ces étapes :

1. Sélectionnez le bouton plus.

   

2. Passez à l'étape a ou b. Quel que soit le choix, le résultat est le même.

   1. Sélectionnez l’option Générer avec Autopilot dans la liste. Cela crée une carte d’activité d’espace réservé.
   2. Écrivez une invite textuelle dans le champ de texte Décrivez vos actions sur cette page , puis appuyez sur la touche Enter ou sélectionnez le symbole de flèche. Une invite est particulièrement efficace si elle décrit précisément la tâche à portée de main. Cela peut inclure des instructions telles que « créer un nouveau fournisseur » ou « créer une demande de délai entre 25 et 30 décembre », au lieu d’une instruction générique comme « cliquer sur le nouveau bouton ».

   3. Write a text prompt in the search box, then press the Enter key or select the Generate with Autopilot option.

   

3. Les activités sont maintenant générées à partir de l'invite. L'enregistreur utilise uniquement les activités UIAutomation suivantes pour générer les séquences :

   • Cliquer (Click)
   • Saisir dans (Type Into)
   • Obtenir le texte (Get Text)
   • Sélectionner l'élément (Select Item)
   • Check/Uncheck

4. Les activités générées sont renseignées dans l'enregistreur. Pour passer à l’état suivant de l’application, sélectionnez le bouton Test . Le bouton Test est une tentative d'exécution configurée par défaut en un clic avec le seul but de vous aider à passer à l'état suivant de l'application afin que vous puissiez continuer à élaborer votre automatisation.

   

5. Vous êtes passé à l’état suivant de l’application. Les activités exécutées sont signalées par une coche verte. Si, pour une raison quelconque, la tentative d'exécution dans la mesure du possible configurée par défaut de Test échoue, vous pouvez toujours interagir librement avec l'application afin d'exécuter manuellement les étapes nécessaires. Si l’invite n’est pas couverte dans son intégralité, sélectionnez le bouton Continuer l’invite .

   

6. Une nouvelle activité a été ajoutée à l'enregistreur. Pour passer à l’état suivant de l’application, sélectionnez le bouton Test .

   

7. Vous êtes passé à l’état suivant de l’application. Vous pouvez utiliser les options Continuer et Tester jusqu'à ce que vous atteigniez l'état souhaité de l'application et que l'invite entière soit couverte.

   

Ajout manuel d'une activité

Pour ajouter manuellement une activité dans l' enregistreur, procédez comme suit :

1. Sélectionnez le bouton plus.
2. Choisissez l’une des activités UI Automation suivantes dans la liste :
   • Cliquer (Click)
   • Saisir dans (Type Into)
   • Obtenir le texte (Get Text)
   • Sélectionner l'élément (Select Item)
   • Check/Uncheck
   • Pointer (Hover)
   • Raccourcis clavier
   • Prendre une capture d'écran (Take Screenshot)
   • Obtenir l'attribut (Get Attribute)
   • Mouse scroll
   • Check Element
3. Indiquez une cible en sélectionnant un élément d'IU à l'écran.
4. Indiquez une ancre en sélectionnant un élément d’IU à proximité qui permet d’identifier uniquement la cible.
5. Sélectionnez Confirmer (Confirm).
6. L’activité est maintenant ajoutée dans l’enregistreur.

Actions que vous pouvez effectuer dans l’interface utilisateur

Explorez les options disponibles dans l'interface utilisateur telles que détaillées dans le tableau suivant.

Options	Description
Générer un bouton	Ouvre l'enregistreur. Vous pouvez également sélectionner l’icône Générez les activités d’UI Automation à l’aide de Autopilot dans le coin supérieur droit de la zone de capture d’écran d’information.
Bouton Plus	Ouvre la barre de recherche et la liste déroulante des activités.
Fiche d’activité	Vous pouvez effectuer les opérations suivantes : Réorganisez les activités dans l'enregistreur en les faisant glisser et en les déposant. Accédez à l'écran de sélection en double-cliquant sur la fiche d'activité. Vérifiez la cible et les ancres des différentes activités sans accéder à l’écran de sélection en sélectionnant simplement la carte d’activité. Cela déclenche un aperçu de mise en surbrillance de cinq secondes de la cible et des ancres.
Menu hamburger de la carte d’activité	Celui-ci contient les options suivantes : Propriétés : ouvre l'écran de sélection, sur lequel vous pouvez indiquer la cible et l'ancre. Renommer : permet de renommer l’activité. Vous pouvez utiliser jusqu'à 100 caractères. Supprimer : supprime la carte d'activité de l'enregistreur.
Bouton Test	Exécute toutes les activités générées. Il s'agit d'une exécution de configuration par défaut destinée à vous aider à passer d'un état de l'application à un autre. Remarque : le bouton Test n’est pas disponible dans Safari.
Bouton Continuer l'invite	Génère de nouvelles activités dans l’enregistreur pour couvrir l’ensemble de l’invite.
Delete touche	Supprime la fiche d'activité sélectionnée. Raccourci clavier utilisateur avancé ; aucune invite de confirmation ne s'affiche.
Générer avec le bouton de corbeille Autopilot	Supprime la carte d’activité Générer avec un espace réservé Autopilot .
Esc touche	Revient à la zone de dessin de Studio Web. Si vous avez apporté des modifications dans l'enregistreur, une fenêtre contextuelle avec l' option Enregistrer vos modifications apportées dans l'assistant de sélection ? s'affiche. Vous pouvez sélectionner : Annuler - vous ramène à l'enregistreur, où vos modifications sont conservées. Ne pas enregistrer : vous ramène à la zone de dessin Studio Web sans enregistrer aucune modification. Enregistrer : enregistre vos modifications et votre séquence UI Automation est renseignée dans la zone de dessin Studio Web. Si le panneau Propriétés (Properties) est ouvert, appuyez sur Esc pour revenir à la vue Activités (Activities) de l'enregistreur.
Bouton Annuler	Revient à la zone de dessin de Studio Web sans enregistrer les modifications.
Bouton Enregistrer	Enregistre votre séquence de workflow et remplit les activités dans la zone de dessin de Studio Web.
Icône Aide (F1)	Ouvre la page de documentation.

Contrôle des capacités Autopilot

Autopilot est activé par défaut pour tous les utilisateurs.

Vous pouvez désactiver les capacités de Autopilot via les politiques de gouvernance Automation Ops de deux manières :

• En ajoutant une stratégie Studio Web et en définissant l’option Autoriser Autopilot sur Non.
• En ajoutant une stratégie AI Trust Layer et en désactivant le bouton Activer les appels vers des modèles d’IA tiers via AI Trust Layer .

Lorsque l'une de ces options est désactivée, vous pouvez toujours utiliser l' enregistreur de Autopilot pour UI Automation, mais vous ne pouvez pas générer d'activités via des invites textuelles. Vous pouvez simplement ajouter manuellement des activités dans l'enregistreur.