ScreenPlay

UiPath.Semantic.Activities.NUITask

Description

Screenplay est l’agent d’automatisation de nouvelle génération de UiPath®, conçu pour apporter au bureau le comportement agentique et les capacités cognitives. Screenplay interagit avec les applications de la même manière qu’un humain, en naviguant dans les interfaces, en s’adaptant au changement et en gérant des tâches complexes qui étaient auparavant impossibles à réaliser avec les méthodes d’automatisation traditionnelles.

Pour en savoir plus, consultez la section Screenplay.

Cette activité doit être ajoutée dans une activité Use Application/Browser.

Compatibilité du projet

Windows | Multiplate-forme

Configuration

• Tâche : invite décrivant la tâche d’IU à effectuer, avec la possibilité d’effectuer les actions suivantes :

  • Utiliser les variables
  • Joindre des fichiers
  • Ajouter une image à partir de l’écran (aligné avec le texte)
  • Affichez le traçage de la dernière exécution. Pour plus de détails, reportez-vous à Exécution et inspection des résultats de l'exécution

• Modèle : indique le LLM sous-jacent utilisé par ScreenPlay pour la planification de l’exécution des tâches et le raisonnement. Les options suivantes sont disponibles:

  Screen Agent (utilise Gemini Flash 2.5)

  • Modèle de base
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM de la page, en utilisant Gemini Flash pour le raisonnement et la compréhension de l’image
  • Relativement rapide

  Screen Agent (utilise Gemini Flash 3.0)

  • Modèle de base
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM de la page, en utilisant Gemini Flash pour le raisonnement et la compréhension de l’image
  • Relativement rapide

  Screen Agent (utilise GPT-4.1)

  • Modèle standard : pour les tâches complexes
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-4.1 pour le raisonnement
  • Pas très rapide

  Screen Agent (utilise GPT-4.1 mini)

  • Modèle de base : plus rapide, moins cher
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-4.1 mini pour le raisonnement
  • Relativement rapide

  Screen Agent (utilise GPT-5)

  • Modèle standard : pour les tâches complexes
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-5 pour le raisonnement
  • Lente

  Screen Agent (utilise GPT-5 mini)

  • Modèle de base : plus rapide, moins cher
  • Fonctionne mieux sur les navigateurs
  • Utilise une implémentation propriétaire basée sur le DOM et la compréhension de l’image de la page, en utilisant GPT-5 mini pour le raisonnement
  • Relativement rapide

  Screen Agent (utilise GPT-5.4)

  • Modèle standard : pour les tâches complexes
  • Utilise une implémentation propriétaire basée sur le DOM de la page et la compréhension de l’image, en utilisant GPT-5.4 pour le raisonnement
  • Lente

  Screen Agent (utilise GPT-5.4 mini)

  • Modèle de base : plus rapide, moins cher
  • Utilise une implémentation propriétaire basée sur le DOM de la page et la compréhension de l’image, en utilisant GPT-5.4 mini pour le raisonnement
  • Relativement rapide

  Screen Agent (utilise GPT-5.5)

  • Modèle standard : pour les tâches complexes
  • Utilise une implémentation propriétaire basée sur le DOM de la page et la compréhension de l’image, en utilisant GPT-5.5 pour le raisonnement
  • Lente

  Screen Agent (utilise Path Mini)

  • Modèle de base
  • Fonctionne sur tout type d’application, y compris les interfaces basées sur des images
  • Utilise une implémentation propriétaire basée sur le DOM de la page et la compréhension de l’image, en utilisant Chemin d’accès Mini pour le raisonnement
  • Relativement rapide

  OpenAI - Opérateur

  • Modèle standard : pour les tâches complexes
  • Fonctionne sur tout type d’application, y compris les interfaces basées sur des images
  • Utilise l’opérateur OpenAI, un modèle de raisonnement basé sur des images
  • Lente

  Anthropic - Utilisation sur ordinateur

  • Modèle standard : pour les tâches complexes
  • Fonctionne sur tout type d’application, y compris les interfaces basées sur des images
  • Utilise Anthropic Computer Use, un modèle de raisonnement basé sur des images
  • Lente

• Évaluer cette activité - Bonne ou faible

Options supplémentaires

Options

• Nombre maximum d'étapes : il s'agit du nombre maximal d'étapes que Screenplay peut entreprendre pour atteindre son objectif. La propriété peut être utilisée comme garde-fou de base pour éviter des boucles agentiques infinies.

• Mode de pièce jointe à la tâche (traçage.html) : indique quand les traçages (.html) doivent être joints à la tâche. Les fichiers de traçage sont générés selon le paramètre du projet ScreenPlay. La possibilité d’ajouter des pièces jointes à une tâche dépend de la version d’Orchestrator et du Robot. Les options suivantes sont disponibles:

  • En cas d'échec : joindre des traçages à la tâche uniquement en cas d'échec.
  • Toujours : toujours joindre des traçages à la tâche.
  • Ne jamais joindre: ne jamais joindre de traçages à la tâche.

• Utiliser DOM si disponible : indique si les données DOM seront utilisées/envoyées au modèle LLM pour les applications où DOM peut être extrait. DOM ne peut être utilisé que par les implémentations UiPath LM.

  Désactivez ce paramètre si le ciblage basé sur DOM entraîne des coordonnées d’éléments incorrectes.

  Valeur par défaut : Vrai (True).

• Désactiver la sécurité des variables : indique si la sécurité des variables doit être désactivée. La sécurité des variables garantit que les instructions des requêtes ne peuvent pas être transmises via des valeurs de variables.

  Le but de cette fonctionnalité est d'empêcher les attaques d'injection d'invite et est basée sur LLM, par conséquent, si un "faux positif" se produit, l'utilisateur peut le désactiver pour chaque activité ScreenPlay. Pour conclure, s'il s'agit d'un « faux positif », l'utilisateur peut inspecter le traçage de l'exécution, les invites système, le raisonnement et les actions.

  N'activez cette option que si vous devez passer les instructions de l'invite via des valeurs de variable ou si un résultat "faux positif" s'est produit.

  La valeur par défaut est Faux.

• Mode d'entrée : Sélectionnez la méthode à utiliser pour générer la saisie au clavier et à la souris :

  • Identique à l’application/au navigateur : utilise les paramètres de mode d’entrée de l’activité parente Use Application/Browser .
  • Événements matériels : agit en tant qu'utilisateur réel en utilisant des entrées « matérielles » telles que des mouvements de souris ou des frappes au clavier, afin d'interagir avec les applications. Il s'agit d'événements déclenchés sur le matériel envoyés directement au système d'exploitation. Bien que cette méthode offre une émulation comportementale de 100 %, certains événements peuvent parfois être perdus. En tant que développeur, vous devez vous assurer que tous les événements atteignent de façon fiable l'application cible.
  • ChromiumAPI : effectue des actions grâce aux API Debugger. Fonctionne uniquement avec les éléments Chromium. Envoie tout le texte en une seule fois. Fonctionne même si l’application cible n’est pas au point. Pour en savoir plus, consultez la section API Chromium.
  • Simuler : simule à l'aide d'API d'accessibilité. Recommandé pour les navigateurs, les applications basées sur Java, SAP. Habituellement plus fiable que les événements matériels. Envoie tout le texte en une seule action. Fonctionne même si l’application cible n’est pas au point.
  Remarque :

  Assurez-vous de tester si l'élément d'IU de votre application cible prend cela en charge.

  • Messages de fenêtre - simule en utilisant des messages Win32. Recommandé pour les applications de bureau. Habituellement plus fiable que les événements matériels. Envoie tout le texte en une seule fois. Fonctionne même si l’application cible n’est pas au point.
  Remarque :

  Assurez-vous de tester si l'élément d'IU de votre application cible prend cela en charge.

• Continue On Error : indique si l'automatisation doit se poursuivre, même lorsque l'activité génère une erreur. Ce champ prend uniquement en charge les valeurs booléennes (Vrai, Faux , Faux). La valeur par défaut est False. Par conséquent, si le champ est vide et qu’une erreur est générée, l’exécution du projet s’arrête. Si le champ indique au contraire True, l'exécution du projet se poursuit même en cas d'erreurs.

Options – Actions d’IU

• Champ vide - S'applique à Saisir dans les actions d'IU lorsque DOM est activé et utilisé.
  Indique s’il faut effacer le contenu existant du champ de texte avant de saisir le texte, et comment vider le champ. Les champs sont vidés en envoyant une combinaison de frappes qui diffère entre les champs avec une seule ligne et les champs avec plusieurs lignes. Assurez-vous de sélectionner la bonne option en fonction du champ indiqué. Les options sont les suivantes:

  • None - Do not delete the existing content.
  • Ligne unique (End, Shift+Home, Del) : supprimez le contenu d'un champ de texte avec une seule ligne. Il s'agit de l'option par défaut.
  • Multi line (Ctrl+A, Del) - Delete the content from a text field with multiple lines.

• Délai entre les touches : s’applique aux actions d’IU Saisir dans et Raccourcis clavier .
  Délai (en secondes) entre les frappes consécutives. La valeur maximale est de 1 seconde.

• Type de mouvement du curseur : utilisé lorsque la méthode d’entrée est définie sur Événements matériels et s’applique aux actions d’IU qui nécessitent un déplacement de souris, comme: Cliquer, Pointer, Défilement de la souris et actions similaires
  Spécifie le type de mouvement effectué par le curseur de la souris. Deux options sont disponibles :

  • Instantané : le curseur passe directement à la destination
  • Lisse : le curseur se déplace par incréments.

  La valeur par défaut est Lisse lorsque les événements matériels sont utilisés et Instantané dans le cas contraire.

• Saisir par presse-papiers : s'applique aux actions de saisie dans l'interface utilisateur.
  Indique si le Presse-papiers est utilisé pour saisir le texte donné. Les options suivantes sont disponibles :

  • Jamais : ne jamais utiliser le presse-papiers
  • Toujours : toujours utiliser le presse-papiers
  • Chaque fois que possible : utilise le presse-papiers lorsque cela est possible. Cela dépendra du système d’exploitation et du texte à saisir (par exemple, si une clé spéciale est utilisée, le presse-papiers ne sera pas utilisé)

• Activer - S'applique aux actions d'IU Cliquer, Saisir dans, Raccourcis clavier .
  Mettez l’élément d’IU au premier plan et activez-le avant d’entrer le texte.

Horaires

• Delay before - Delay (in seconds) between the time the previous activity is completed and the time this activity begins performing any operations. The default value is 0.2 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Delay after - Delay (in seconds) between the time this activity is completed and the time the next activity begins any operations. The default value is 0.3 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Délai d'attente : spécifiez le délai d'attente pour l'exécution de l'activité avant de générer une erreur. La valeur par défaut est 30 secondes.

Sortie

• Résultat : le résultat de la tâche, le cas échéant. Pour l'instant, nous ne prenons en charge que la sortie String .
• Fichiers de traçage : les fichiers de traçage générés par l’activité ScreenPlay actuelle. Les fichiers de traçage sont générés selon le paramètre du projet ScreenPlay.