ScreenPlay

UiPath.Semantic.Activities.NUITask

Description

Screenplay est l’agent d’automatisation de nouvelle génération de UiPath®, conçu pour apporter au bureau le comportement agentique et les capacités cognitives. Screenplay interagit avec les applications de la même manière qu’un humain, en naviguant dans les interfaces, en s’adaptant au changement et en gérant des tâches complexes qui étaient auparavant impossibles à réaliser avec les méthodes d’automatisation traditionnelles.

Pour en savoir plus, consultez la section Screenplay.

Cette activité doit être ajoutée dans une activité Use Application/Browser.

Compatibilité du projet

Windows | Multiplate-forme

Configuration

• Tâche : invite décrivant la tâche d’IU à effectuer, avec la possibilité d’effectuer les actions suivantes :

  • Utilisez des variables.
  • Ajoutez une image à partir de l'écran (en ligne avec le texte).
  • Afficher la dernière trace d’exécution. Pour de plus amples informations, consultez la section Exécuter et inspecter les résultats d'exécution.

• Modèle : indique le LLM sous-jacent utilisé par Screenplay pour la planification de l'exécution des tâches et le raisonnement. Les options suivantes sont disponibles : UiPath Screen Agent (avec Gemini 2.5 Flash)

  • Modèle de base
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM de la page, en utilisant Gemini Flash pour le raisonnement et la compréhension de l’image
  • Relativement rapide

  UiPath Screen Agent (avec GPT - 4.1)

  • Modèle standard : pour les tâches complexes
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-4.1 pour le raisonnement
  • Pas très rapide

  UiPath Screen Agent (avec GPT - 4.1 mini)

  • Modèle de base : plus rapide, moins cher
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-4.1 mini pour le raisonnement
  • Relativement rapide

  UiPath Screen Agent (avec GPT - 5)

  • Modèle standard : pour les tâches complexes
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-5 pour le raisonnement
  • Lente

  UiPath Screen Agent (avec GPT - 5 mini)

  • Modèle de base : plus rapide, moins cher
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-5 mini pour le raisonnement
  • Relativement rapide

  OpenAI - Opérateur

  • Modèle standard : pour les tâches complexes
  • Fonctionne sur tout type d’application, y compris les interfaces basées sur des images
  • Utilise l’opérateur OpenAI, un modèle de raisonnement basé sur des images
  • Lente

  Anthropic - Utilisation sur ordinateur

  • Modèle standard : pour les tâches complexes
  • Fonctionne sur tout type d’application, y compris les interfaces basées sur des images
  • Utilise Anthropic Computer Use, un modèle de raisonnement basé sur des images
  • Lente

• Évaluer cette activité - Bonne ou faible

Options supplémentaires

Options

• Nombre maximum d'étapes : il s'agit du nombre maximal d'étapes que Screenplay peut entreprendre pour atteindre son objectif. La propriété peut être utilisée comme garde-fou de base pour éviter des boucles agentiques infinies.

• Saisir par presse-papiers : indique si le presse-papiers est utilisé pour saisir le texte donné. Les options suivantes sont disponibles :

  • Jamais : ne jamais utiliser le presse-papiers
  • Toujours : toujours utiliser le presse-papiers
  • Autant que possible : utilise le presse-papiers lorsque cela est possible. Cela dépendra du système d’exploitation et du texte à saisir (par exemple Si une touche spéciale est utilisée, le presse-papiers ne sera pas utilisé)

• Utiliser DOM si disponible : indique si les données DOM seront utilisées/envoyées au modèle LLM pour les applications où DOM peut être extrait. DOM ne peut être utilisé que par les implémentations UiPath LM.

  Désactivez ce paramètre si le ciblage basé sur DOM entraîne des coordonnées d’éléments incorrectes.

  Valeur par défaut : Vrai (True).

• Désactiver la sécurité des variables : indique si la sécurité des variables doit être désactivée. La sécurité des variables garantit que les instructions des requêtes ne peuvent pas être transmises via des valeurs de variables.

  Le but de cette fonctionnalité est d'empêcher les attaques d'injection d'invite et est basée sur LLM, par conséquent, si un "faux positif" se produit, l'utilisateur peut le désactiver pour chaque activité ScreenPlay. Pour conclure, s'il s'agit d'un « faux positif », l'utilisateur peut inspecter le traçage de l'exécution, les invites système, le raisonnement et les actions.

  N'activez cette option que si vous devez passer les instructions de l'invite via des valeurs de variable ou si un résultat "faux positif" s'est produit.

  La valeur par défaut est Faux.

• Mode d'entrée : Sélectionnez la méthode à utiliser pour générer la saisie au clavier et à la souris :

  • Identique à l’application/au navigateur : utilise les paramètres de mode d’entrée de l’activité parente Use Application/Browser .
  • Événements matériels : agit en tant qu'utilisateur réel en utilisant des entrées « matérielles » telles que des mouvements de souris ou des frappes au clavier, afin d'interagir avec les applications. Il s'agit d'événements déclenchés sur le matériel envoyés directement au système d'exploitation. Bien que cette méthode offre une émulation comportementale de 100 %, certains événements peuvent parfois être perdus. En tant que développeur, vous devez vous assurer que tous les événements atteignent de façon fiable l'application cible.
  • ChromiumAPI : effectue des actions grâce aux API Debugger. Fonctionne uniquement avec les éléments Chromium. Envoie tout le texte en une seule fois. Fonctionne même si l’application cible n’est pas au point. Pour en savoir plus, consultez la section API Chromium.
  • Simuler : simule à l'aide d'API d'accessibilité. Recommandé pour les navigateurs, les applications basées sur Java, SAP. Habituellement plus fiable que les événements matériels. Envoie tout le texte en une seule action. Fonctionne même si l’application cible n’est pas au point.
  Remarque :

  Assurez-vous de tester si l'élément d'IU de votre application cible prend cela en charge.

  • Messages de fenêtre - simule en utilisant des messages Win32. Recommandé pour les applications de bureau. Habituellement plus fiable que les événements matériels. Envoie tout le texte en une seule fois. Fonctionne même si l’application cible n’est pas au point.
  Remarque :

  Assurez-vous de tester si l'élément d'IU de votre application cible prend cela en charge.

• Continue On Error : indique si l'automatisation doit se poursuivre, même lorsque l'activité génère une erreur. Ce champ prend uniquement en charge les valeurs booléennes (Vrai, Faux , Faux). La valeur par défaut est False. Par conséquent, si le champ est vide et qu’une erreur est générée, l’exécution du projet s’arrête. Si le champ indique au contraire True, l'exécution du projet se poursuit même en cas d'erreurs.

Horaires

• Delay before - Delay (in seconds) between the time the previous activity is completed and the time this activity begins performing any operations. The default value is 0.2 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Delay after - Delay (in seconds) between the time this activity is completed and the time the next activity begins any operations. The default value is 0.3 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Délai d'attente : spécifiez le délai d'attente pour l'exécution de l'activité avant de générer une erreur. La valeur par défaut est 30 secondes.

Sortie

• Résultat : le résultat de la tâche, le cas échéant. Pour l'instant, nous ne prenons en charge que la sortie String .