ScreenPlay

UiPath.Semantic.Activities.NUITask

Description

Screenplay est l’agent d’automatisation de nouvelle génération de UiPath®, conçu pour apporter au bureau le comportement agentique et les capacités cognitives. Screenplay interagit avec les applications de la même manière qu’un humain, en naviguant dans les interfaces, en s’adaptant au changement et en gérant des tâches complexes qui étaient auparavant impossibles à réaliser avec les méthodes d’automatisation traditionnelles.

Pour en savoir plus, consultez la section Screenplay.

Cette activité doit être ajoutée dans une activité Use Application/Browser.

Compatibilité du projet

Windows | Multiplateforme

Configuration

• Task - Prompt describing the UI task to be performed, with the ability to:
  • Use Variables
  • Add image from screen (inline with the text)
  • View last execution trace. For more details, see the Running and inspecting the execution results page.

• Model - Indicates the underlying LLM used by ScreenPlay for task execution planning and reasoning. The following options are available:

  UiPath (avec Gemini 2.5 Flash)

  • Modèle de base
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM de la page, en utilisant Gemini Flash pour le raisonnement et la compréhension de l’image
  • Relativement rapide
  UiPath (avec GPT-4.1)
  • Modèle standard : pour les tâches complexes
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-4.1 pour le raisonnement
  • Pas très rapide
  UiPath (avec GPT-4.1 mini)
  • Modèle de base : plus rapide, moins cher
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-4.1 mini pour le raisonnement
  • Relativement rapide
  UiPath (avec GPT-5)
  • Modèle standard : pour les tâches complexes
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-5 pour le raisonnement
  • Lente
  UiPath (avec GPT-5 mini)
  • Modèle de base : plus rapide, moins cher
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-5 mini pour le raisonnement
  • Relativement rapide
  OpenAI - Opérateur
  • Modèle standard : pour les tâches complexes
  • Fonctionne sur tout type d’application, y compris les interfaces basées sur des images
  • Utilise l'opérateur OpenAI, un modèle de raisonnement basé sur des images. Probablement le meilleur du pack
  • Lente
  Anthropic - Utilisation sur ordinateur
  • Modèle standard : pour les tâches complexes
  • Fonctionne sur tout type d’application, y compris les interfaces basées sur des images
  • Utilise Anthropic Computer Use, un modèle de raisonnement basé sur des images
  • Lente
• Rate this activity - Good or Poor

Options supplémentaires

Options

• Max number of steps - This is the maximum number of steps that ScreenPlay can take to achieve its goal. The property can be used as a basic guardrail to prevent infinite agentic loops.
• Type by clipboard - Indicates whether the clipboard is used to type the given text. The following options are available:
  • Jamais : ne jamais utiliser le presse-papiers
  • Toujours : toujours utiliser le presse-papiers
  • Autant que possible : utilise le presse-papiers lorsque cela est possible. Cela dépendra du système d’exploitation et du texte à saisir (par exemple Si une touche spéciale est utilisée, le presse-papiers ne sera pas utilisé)

• Use DOM when available - Indicates whether DOM data will be used/sent to the LLM Model for applications where DOM can be extracted.

  DOM ne peut être utilisé que par les implémentations UiPath LAM.

  Désactivez ce paramètre si le ciblage basé sur DOM entraîne des coordonnées d’éléments incorrectes.

  Default value is True.

• Disable variable security - Indicates whether the variable security should be disabled.

  Variable security ensures that prompt instructions can not be passed via variable values.

  The purpose of this feature is to prevent prompt injection attacks and is based on LLM, so if a "false positive" occurs, the user can disable it for each ScreenPlay activity. To conclude if it is a "false positive", the user can inspect the execution trace, system prompt, reasoning, and actions.

  Enable this option only if you need to pass prompt instructions via variable values or if a "false positive" result occurred.

  Default value is False.

• Input mode - Select which method should be used to generate keyboard and mouse input:
  • Same as App/Browser - Uses the Input mode settings from the parent Use Application/Browser activity.
  • Événements matériels : agit en tant qu'utilisateur réel en utilisant des entrées « matérielles » telles que des mouvements de souris ou des frappes au clavier, afin d'interagir avec les applications. Il s'agit d'événements déclenchés sur le matériel envoyés directement au système d'exploitation. Bien que cette méthode offre une émulation comportementale de 100 %, certains événements peuvent parfois être perdus. En tant que développeur, vous devez vous assurer que tous les événements atteignent de façon fiable l'application cible.
  • ChromiumAPI : effectue des actions grâce aux API Debugger. Fonctionne uniquement avec les éléments Chromium. Envoie tout le texte en une seule fois. Fonctionne même si l’application cible n’est pas au point. Pour en savoir plus, consultez la section API Chromium.
  • Simuler : simule à l'aide des API d'accessibilité. Recommandé pour les navigateurs, les applications basées sur Java, SAP. Généralement plus fiable que les événements matériels. Envoie tout le texte dans une seule Actions. Fonctionne même si l’application cible n’est pas au point. Veuillez tester si l’élément d’IU de votre application cible prend cela en charge.
  • Window messages - Simulates using Win32 messages. Recommended for desktop apps. Usually more reliable than Hardware Events. Sends all text in one go. Works even if target app is not in focus. Please test if your target application UI element supports this.

• Continuer en cas d'erreur (Continue on error ) : spécifie si l'automatisation doit se poursuivre même lorsque l'activité génère une erreur. Ce champ prend uniquement en charge les valeurs Boolean (True, False). La valeur par défaut est False. Par conséquent, si le champ est vide et qu'une erreur est générée, l'exécution du projet s'arrête. Si le champ indique au contraire True, l'exécution du projet se poursuit même en cas d'erreur.

Horaires

• Délai avant (Delay before) : Délai (en secondes) entre le moment où l'activité précédente est terminée et le moment où cette activité commence à effectuer des opérations. La valeur par défaut est 0,2 seconde. L'ajout d'un délai entre les activités garantit qu'une activité dispose de suffisamment de temps pour se terminer avant le début de l'activité suivante.

• Délai après : délai (en secondes) entre le moment où cette activité est terminée et le moment où l'activité suivante commence toutes les opérations. La valeur par défaut est de 0,3 seconde. L'ajout d'un délai entre les activités garantit qu'une activité dispose de suffisamment de temps pour se terminer avant le début de l'activité suivante.

• Délai d'attente : spécifiez la durée (en secondes) d'attente de l'exécution de l'activité avant de générer une erreur. La valeur par défaut est 30 secondes.

Sortie

• Result - The result of the task, if any. For now we only support String output.