ScreenPlay

UiPath.Semantic.Activities.NUITask

Beschreibung

ScreenPlay ist der Automatisierungsagent der nächsten Generation von UiPath®, der entwickelt wurde, um agentenbasiertes Verhalten und kognitive Fähigkeiten auf den Desktop zu bringen. ScreenPlay interagiert mit Anwendungen, ähnlich wie ein Mensch es tun würde – das Navigieren durch Benutzeroberflächen, das sich an Veränderungen anpassen und komplexe Aufgaben bewältigen, die zuvor mit herkömmlichen Automatisierungsmethoden nicht zu bewältigen waren.

Weitere Informationen finden Sie unter ScreenPlay.

Diese Aktivität muss innerhalb einer Use Application/Browser-Aktivität hinzugefügt werden.

Projektkompatibilität

Windows | Plattformübergreifend

Konfiguration

• Task - Aufforderung, die die auszuführende UI-Aufgabe beschreibt, mit folgenden Möglichkeiten:

  • Variablen verwenden
  • Dateien anhängen
  • Bild von Bildschirm hinzufügen (inline mit dem Text)
  • Trace der letzten Ausführung anzeigen. Weitere Informationen finden Sie unter Ausführen und Überprüfen der Ausführungsergebnisse

• Modell – Gibt das zugrunde liegende LLM an, das von UiPath ScreenPlay für die Planung und Argumentation der Aufgabenausführung verwendet wird. Die folgenden Optionen sind verfügbar:

  Screen Agent (mit Gemini 2.5 Flash)

  • Basismodell
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM der Seite basiert, und verwendet Gemini Flash für Argumentation und Bildverständnis
  • Mäßig schnell

  Screen Agent (mit Gemini 3.0 Flash-Vorschau)

  • Basismodell
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM der Seite basiert, und verwendet Gemini Flash für Argumentation und Bildverständnis
  • Mäßig schnell

  Screen-Agent (mit GPT-4.1)

  • Standardmodell – für komplexe Aufgaben
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-4.1 für die Argumentation
  • Nicht sehr schnell

  Screen Agent (mit GPT-4.1 mini)

  • Basismodell – schneller, kostengünstiger
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-4.1 mini für die Argumentation
  • Mäßig schnell

  Screen-Agent (mit GPT-5)

  • Standardmodell – für komplexe Aufgaben
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-5 für die Argumentation
  • Langsam

  Screen Agent (mit GPT-5 mini)

  • Basismodell – schneller, kostengünstiger
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-5 mini für die Argumentation
  • Mäßig schnell

  Screen Agent (mit GPT-5.4)

  • Standardmodell – für komplexe Aufgaben
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-5.4 für die Argumentation
  • Langsam

  Screen Agent (mit GPT-5.4 mini)

  • Basismodell – schneller, kostengünstiger
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, mit GPT-5.4 mini für die Argumentation
  • Mäßig schnell

  Screen Agent (mit GPT-5.5)

  • Standardmodell – für komplexe Aufgaben
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-5.5 für die Argumentation
  • Langsam

  Screen Agent (mit Path Mini)

  • Basismodell
  • Funktioniert für jeden Anwendungstyp, einschließlich bildbasierter Schnittstellen
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet Path Mini für die Argumentation
  • Mäßig schnell

  OpenAI – Operator

  • Standardmodell – für komplexe Aufgaben
  • Funktioniert für jeden Anwendungstyp, einschließlich bildbasierter Schnittstellen
  • Verwendet den OpenAI-Operator, ein bildbasiertes Argumentationsmodell
  • Langsam

  Anthropic – Computernutzung

  • Standardmodell – für komplexe Aufgaben
  • Funktioniert für jeden Anwendungstyp, einschließlich bildbasierter Schnittstellen
  • Verwendet Anthropic Computer Use, ein bildbasiertes Argumentationsmodell
  • Langsam

• Bewerten Sie diese Aktivität – Gut oder Schlecht

Zusätzliche Optionen

Optionen

• Max. Anzahl von Schritten – Dies ist die maximale Anzahl von Schritten, die ScreenPlay ausführen kann, um sein Ziel zu erreichen. Die Eigenschaft kann als grundlegende Leitplanke verwendet werden, um agentische Endlosschleifen zu verhindern.

• Anhangsmodus für Auftrag (.html-Trace) – Gibt an, wann Traces (.html) an den Auftrag angehängt werden sollen. Trace-Dateien werden gemäß der ScreenPlay-Projekteinstellung generiert. Die Funktionen für Auftragsanhängehängen von der Orchestrator- und der Robot-Version ab. Die folgenden Optionen sind verfügbar:

  • Bei Fehler – Traces nur bei Fehlern an den Auftrag anhängen.
  • Immer – Immer Traces an den Auftrag anhängen
  • Niemals – Traces an den Auftrag anhängen.

• DOM verwenden, wenn verfügbar – Gibt an, ob DOM-Daten für Anwendungen, bei denen DOM extrahiert werden kann, an das LLM-Modell verwendet/gesendet werden. DOM kann nur von UiPath LAM-Implementierungen verwendet werden.

  Deaktivieren Sie diese Option, wenn die DOM-basierte Zielausrichtung zu falschen Elementkoordinaten führt.

  Der Standardwert ist True.

• Variablensicherheit deaktivieren – Gibt an, ob die Variablensicherheit deaktiviert werden soll. Die Variablensicherheit stellt sicher, dass Eingabeaufforderungsanweisungen nicht über Variablenwerte übergeben werden können.

  Der Zweck dieser Funktion ist die Verhinderung von Prompt-Injection-Angriffen und sie basiert auf LLM, sodass der Benutzer sie für jede ScreenPlay-Aktivität deaktivieren kann, wenn ein „false positives Ergebnis“ auftritt. Um festzustellen, ob es sich um „false positiv“ handelt, kann der Benutzer die Ausführungsablaufverfolgung, den System-Prompt, die Argumentation und die Aktionen überprüfen.

  Aktivieren Sie diese Option nur, wenn Sie Eingabeaufforderungen über Variablenwerte übergeben müssen oder wenn ein „false positives“ Ergebnis aufgetreten ist.

  Der Standardwert ist False.

• Eingabemodus – Wählen Sie aus, welche Methode zum Generieren von Tastatur- oder Mauseingaben verwendet werden soll:

  • Wie App/Browser – Verwendet die Eingabemoduseinstellungen aus der übergeordneten Aktivität Use Application/Browser .
  • Hardware-Ereignisse – Fungiert als echten Benutzer, indem „Hardware“-Eingaben wie Mausbewegungen oder Tastaturanschläge zur Interaktion mit Anwendungen verwendet werden. Dies sind durch Hardware ausgelöste Ereignisse, die direkt an das Betriebssystem gesendet werden. Obwohl diese Methode eine 100%ige Verhaltensemulation bietet, können einige Ereignisse gelegentlich verloren gehen. Als Entwickler sind Sie dafür verantwortlich, sicherzustellen, dass alle Ereignisse die Zielanwendung zuverlässig erreichen.
  • Chromium-API – Führt Aktionen mithilfe von Debugger-APIs aus. Funktioniert nur für Chromium-Elemente. Sendet den gesamten Text auf einmal. Funktioniert auch dann, wenn die Ziel-App nicht im Fokus steht. Weitere Informationen finden Sie unter Chromium-API.
  • Simulieren – Simuliert die Verwendung von Barrierefreiheits-APIs. Empfohlen für Browser, Java-basierte Anwendungen, SAP. In der Regel zuverlässiger als Hardware-Ereignisse. Sendet den gesamten Text in einer einzigen Aktion. Funktioniert auch dann, wenn die Ziel-App nicht im Fokus steht.
  Hinweis:

  Stellen Sie sicher, dass Sie testen, ob das UI-Element der Zielanwendung dies unterstützt.

  • Windows-Meldungen – Simuliert die Verwendung von Win32-Nachrichten. Empfohlen für Desktop-Apps. In der Regel zuverlässiger als Hardware-Ereignisse. Sendet den gesamten Text auf einmal. Funktioniert auch dann, wenn die Ziel-App nicht im Fokus steht.
  Hinweis:

  Stellen Sie sicher, dass Sie testen, ob das UI-Element der Zielanwendung dies unterstützt.

• Bei Fehler fortsetzen – Gibt an, ob die Automatisierung auch dann fortgesetzt werden soll, wenn die Aktivität einen Fehler ausgibt. Dieses Feld unterstützt nur boolesche Werte (True, False). Der Standardwert ist False. Wenn das Feld leer ist und ein Fehler ausgegeben wird, wird die Ausführung des Projekts angehalten. Wenn der Wert auf „True“ gesetzt ist, wird die Ausführung des Projekts ungeachtet eines Fehlers fortgesetzt.

Optionen – UI-Aktionen

• Leeres Feld – Gilt für „Eingeben in UI-Aktionen“, wenn DOM aktiviert und verwendet wird.
  Gibt an, ob der vorhandene Inhalt des Textfelds gelöscht werden soll, bevor der Text eingegeben wird, und wie das Feld geleert werden soll. Felder werden geleert, indem eine Kombination von gedrückten Tasten gesendet wird, die sich zwischen Feldern mit einer einzelnen Zeile und Feldern mit mehreren Zeilen unterscheidet. Stellen Sie sicher, dass Sie die richtige Option abhängig vom angegebenen Feld auswählen. Die Optionen sind:

  • None - Do not delete the existing content.
  • Einzelne Zeile (Ende, Umschalt+Pos1, Entf) – Löscht den Inhalt aus einem Textfeld mit einer einzelnen Zeile. Dies ist die Standardoption.
  • Multi line (Ctrl+A, Del) - Delete the content from a text field with multiple lines.

• Verzögerung zwischen Tasten – Gilt für UI-Aktionen „ Eingeben in“ und „Tastenkombinationen“ .
  Verzögerung (in Sekunden) zwischen aufeinander folgenden Tastatureingaben. Der Höchstwert beträgt 1 Sekunde.

• CursorBewegungstyp – Wird verwendet, wenn die Eingabemethode auf Hardware-Ereignisse festgelegt ist, und gilt für UI-Aktionen, die eine Mausbewegung erfordern, z. B.: Click, Hover, Mouse Scroll und ähnliche Aktionen
  Gibt die Art der Bewegung an, die vom Mauszeiger ausgeführt wird.Es gibt zwei verfügbare Optionen:

  • Sofort – Der Cursor springt zum Ziel.
  • Langsam – Der Cursor bewegt sich in Schritten.

  Der Standardwert ist Reibungslos , wenn Hardwareereignisse verwendet werden, andernfalls ist er Sofort .

• Eingeben durch Zwischenablage – Gilt für Eingeben in UI-Aktionen.
  Gibt an, ob die Zwischenablage zur Eingabe des angegebenen Texts verwendet wird. Die folgenden Optionen sind verfügbar:

  • Niemals – Zwischenablage niemals verwenden
  • Immer – Zwischenablage immer verwenden
  • Immer wenn möglich – Zwischenablage nach Möglichkeit verwenden. Dies hängt vom Betriebssystem und dem einzugebenden Text ab (wenn z. B. wenn eine Sondertaste verwendet wird, wird die Zwischenablage nicht verwendet).

• Aktivieren – Gilt für Klicken, Eingeben in und Tastenkombinationen für UI-Aktionen.
  Holen Sie das UI-Element in den Vordergrund und aktivieren Sie es, bevor damit interagieren.

Zeitliche Abläufe

• Delay before - Delay (in seconds) between the time the previous activity is completed and the time this activity begins performing any operations. The default value is 0.2 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Delay after - Delay (in seconds) between the time this activity is completed and the time the next activity begins any operations. The default value is 0.3 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Zeitüberschreitung – Geben Sie die Zeitspanne (in Sekunden) an, die auf die Ausführung der Aktivität gewartet werden soll, bevor ein Fehler ausgegeben wird. Der Standardwert beträgt 30 Sekunden.

Ausgabe

• Ergebnis – Das Ergebnis der Aufgabe, falls vorhanden. Derzeit unterstützen wir nur die String -Ausgabe.
• Trace-Dateien – Die Trace-Dateien, die von der aktuellen ScreenPlay-Aktivität generiert werden. Trace-Dateien werden gemäß der ScreenPlay-Projekteinstellung generiert.