ScreenPlay

UiPath.Semantic.Activities.NUITask

Beschreibung

ScreenPlay ist der Automatisierungsagent der nächsten Generation von UiPath®, der entwickelt wurde, um agentenbasiertes Verhalten und kognitive Fähigkeiten auf den Desktop zu bringen. ScreenPlay interagiert mit Anwendungen, ähnlich wie ein Mensch es tun würde – das Navigieren durch Benutzeroberflächen, das sich an Veränderungen anpassen und komplexe Aufgaben bewältigen, die zuvor mit herkömmlichen Automatisierungsmethoden nicht zu bewältigen waren.

Weitere Informationen finden Sie unter ScreenPlay.

Diese Aktivität muss innerhalb einer Use Application/Browser-Aktivität hinzugefügt werden.

Projektkompatibilität

Windows | Plattformübergreifend

Konfiguration

• Task - Prompt describing the UI task to be performed, with the ability to:
  • Use Variables
  • Add image from screen (inline with the text)
  • View last execution trace. For more details, see the Running and inspecting the execution results page.

• Model - Indicates the underlying LLM used by ScreenPlay for task execution planning and reasoning. The following options are available:

  UiPath (mit Gemini 2.5 Flash)

  • Basismodell
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM der Seite basiert, und verwendet Gemini Flash für Argumentation und Bildverständnis
  • Mäßig schnell
  UiPath (mit GPT-4.1)
  • Standardmodell – für komplexe Aufgaben
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-4.1 für die Argumentation
  • Nicht sehr schnell
  UiPath (mit GPT-4.1 mini)
  • Basismodell – schneller, kostengünstiger
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-4.1 mini für die Argumentation
  • Mäßig schnell
  UiPath (mit GPT-5)
  • Standardmodell – für komplexe Aufgaben
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-5 für die Argumentation
  • Langsam
  UiPath (mit GPT-5 mini)
  • Basismodell – schneller, kostengünstiger
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-5 mini für die Argumentation
  • Mäßig schnell
  OpenAI – Operator
  • Standardmodell – für komplexe Aufgaben
  • Funktioniert für jeden Anwendungstyp, einschließlich bildbasierter Schnittstellen
  • Verwendet den OpenAI-Operator, ein bildbasiertes Argumentationsmodell. Wahrscheinlich die beste von allen
  • Langsam
  Anthropic – Computernutzung
  • Standardmodell – für komplexe Aufgaben
  • Funktioniert für jeden Anwendungstyp, einschließlich bildbasierter Schnittstellen
  • Verwendet Anthropic Computer Use, ein bildbasiertes Argumentationsmodell
  • Langsam
• Rate this activity - Good or Poor

Zusätzliche Optionen

Optionen

• Max number of steps - This is the maximum number of steps that ScreenPlay can take to achieve its goal. The property can be used as a basic guardrail to prevent infinite agentic loops.
• Type by clipboard - Indicates whether the clipboard is used to type the given text. The following options are available:
  • Niemals – Zwischenablage niemals verwenden
  • Immer – Zwischenablage immer verwenden
  • Immer wenn möglich – Verwenden Sie nach Möglichkeit die Zwischenablage. Dies hängt vom Betriebssystem und dem einzugebenden Text ab (z. B Wenn eine Sondertaste verwendet wird, wird die Zwischenablage nicht verwendet.)

• Use DOM when available - Indicates whether DOM data will be used/sent to the LLM Model for applications where DOM can be extracted.

  DOM kann nur von UiPath LAM-Implementierungen verwendet werden.

  Deaktivieren Sie diese Option, wenn die DOM-basierte Zielausrichtung zu falschen Elementkoordinaten führt.

  Default value is True.

• Disable variable security - Indicates whether the variable security should be disabled.

  Variable security ensures that prompt instructions can not be passed via variable values.

  The purpose of this feature is to prevent prompt injection attacks and is based on LLM, so if a "false positive" occurs, the user can disable it for each ScreenPlay activity. To conclude if it is a "false positive", the user can inspect the execution trace, system prompt, reasoning, and actions.

  Enable this option only if you need to pass prompt instructions via variable values or if a "false positive" result occurred.

  Default value is False.

• Input mode - Select which method should be used to generate keyboard and mouse input:
  • Same as App/Browser - Uses the Input mode settings from the parent Use Application/Browser activity.
  • Hardware-Ereignisse – Fungiert als echten Benutzer, indem „Hardware“-Eingaben wie Mausbewegungen oder Tastaturanschläge zur Interaktion mit Anwendungen verwendet werden. Dies sind durch Hardware ausgelöste Ereignisse, die direkt an das Betriebssystem gesendet werden. Obwohl diese Methode eine 100%ige Verhaltensemulation bietet, können einige Ereignisse gelegentlich verloren gehen. Als Entwickler sind Sie dafür verantwortlich, sicherzustellen, dass alle Ereignisse die Zielanwendung zuverlässig erreichen.
  • Chromium-API – Führt Aktionen mithilfe von Debugger-APIs aus. Funktioniert nur für Chromium-Elemente. Sendet den gesamten Text auf einmal. Funktioniert auch dann, wenn die Ziel-App nicht im Fokus steht. Weitere Informationen finden Sie unter Chromium-API.
  • Simulieren – Simuliert die Verwendung von Barrierefreiheits-APIs. Empfohlen für Browser, Java-basierte Anwendungen, SAP. In der Regel zuverlässiger als Hardware-Ereignisse. Sendet den gesamten Text in einer einzigen Actions. Funktioniert auch dann, wenn die Ziel-App nicht im Fokus steht. Testen Sie, ob das UI-Element der Zielanwendung dies unterstützt.
  • Window messages - Simulates using Win32 messages. Recommended for desktop apps. Usually more reliable than Hardware Events. Sends all text in one go. Works even if target app is not in focus. Please test if your target application UI element supports this.

• BeiFehler fortfahren – Gibt an, ob die Automatisierung auch dann fortgesetzt werden soll, wenn die Aktivität einen Fehler ausgibt. Dieses Feld unterstützt nur Boolean -Werte (True, False). Der Standardwert ist False. Wenn das Feld leer ist und ein Fehler ausgegeben wird, wird die Ausführung des Projekts angehalten. Wenn der Wert auf Truefestgelegt ist, wird die Ausführung des Projekts unabhängig von einem Fehler fortgesetzt.

Zeitliche Abläufe

• Verzögerung vor – Verzögerung (in Sekunden) zwischen dem Zeitpunkt, zu dem die vorherige Aktivität abgeschlossen ist, und dem Zeitpunkt, zu dem diese Aktivität mit der Ausführung von Vorgängen beginnt. Der Standardwert beträgt 0,2 Sekunden. Durch Hinzufügen einer Verzögerung zwischen Aktivitäten wird sichergestellt, dass eine Aktivität genügend Zeit hat, um abgeschlossen zu werden, bevor die nächste Aktivität beginnt.

• Verzögerung nach – Verzögerung (in Sekunden) zwischen dem Zeitpunkt, an dem diese Aktivität abgeschlossen ist, und dem Zeitpunkt, zu dem die nächste Aktivität Vorgänge beginnt. Der Standardwert ist 0,3 Sekunden. Durch Hinzufügen einer Verzögerung zwischen Aktivitäten wird sichergestellt, dass eine Aktivität genügend Zeit hat, um abgeschlossen zu werden, bevor die nächste Aktivität beginnt.

• Zeitüberschreitung – Geben Sie die Zeitspanne (in Sekunden) an, die auf die Ausführung der Aktivität gewartet werden soll, bevor ein Fehler ausgegeben wird. Der Standardwert beträgt 30 Sekunden.

Ausgabe

• Result - The result of the task, if any. For now we only support String output.