ScreenPlay

UiPath.Semantic.Activities.NUITask

Beschreibung

ScreenPlay ist der Automatisierungsagent der nächsten Generation von UiPath®, der entwickelt wurde, um agentenbasiertes Verhalten und kognitive Fähigkeiten auf den Desktop zu bringen. ScreenPlay interagiert mit Anwendungen, ähnlich wie ein Mensch es tun würde – das Navigieren durch Benutzeroberflächen, das sich an Veränderungen anpassen und komplexe Aufgaben bewältigen, die zuvor mit herkömmlichen Automatisierungsmethoden nicht zu bewältigen waren.

Weitere Informationen finden Sie unter ScreenPlay.

Diese Aktivität muss innerhalb einer Use Application/Browser-Aktivität hinzugefügt werden.

Projektkompatibilität

Windows | Plattformübergreifend

Konfiguration

• Task - Aufforderung, die die auszuführende UI-Aufgabe beschreibt, mit folgenden Möglichkeiten:

  • Verwenden Sie Variablen.
  • Bild vom Bildschirm hinzufügen (inline mit dem Text).
  • Ablaufverfolgung der letzten Ausführung anzeigen. Weitere Informationen finden Sie unter Ausführen und Überprüfen der Ausführungsergebnisse.

• Modell – Gibt das zugrunde liegende LLM an, das von ScreenPlay für die Planung und Argumentation der Aufgabenausführung verwendet wird. Die folgenden Optionen sind verfügbar: UiPath Screen Agent (mit Gemini 2.5 Flash)

  • Basismodell
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM der Seite basiert, und verwendet Gemini Flash für Argumentation und Bildverständnis
  • Mäßig schnell

  UiPath Screen Agent (mit GPT – 4.1)

  • Standardmodell – für komplexe Aufgaben
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-4.1 für die Argumentation
  • Nicht sehr schnell

  UiPath Screen Agent (mit GPT – 4.1 mini)

  • Basismodell – schneller, kostengünstiger
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-4.1 mini für die Argumentation
  • Mäßig schnell

  UiPath Screen Agent (mit GPT – 5)

  • Standardmodell – für komplexe Aufgaben
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-5 für die Argumentation
  • Langsam

  UiPath Screen Agent (mit GPT – 5 mini)

  • Basismodell – schneller, kostengünstiger
  • Funktioniert am besten in Browsern
  • Verwendet eine proprietäre Implementierung, die auf dem DOM und dem Bildverständnis der Seite basiert, und verwendet GPT-5 mini für die Argumentation
  • Mäßig schnell

  OpenAI – Operator

  • Standardmodell – für komplexe Aufgaben
  • Funktioniert für jeden Anwendungstyp, einschließlich bildbasierter Schnittstellen
  • Verwendet den OpenAI-Operator, ein bildbasiertes Argumentationsmodell
  • Langsam

  Anthropic – Computernutzung

  • Standardmodell – für komplexe Aufgaben
  • Funktioniert für jeden Anwendungstyp, einschließlich bildbasierter Schnittstellen
  • Verwendet Anthropic Computer Use, ein bildbasiertes Argumentationsmodell
  • Langsam

• Bewerten Sie diese Aktivität – Gut oder Schlecht

Zusätzliche Optionen

Optionen

• Max. Anzahl von Schritten – Dies ist die maximale Anzahl von Schritten, die ScreenPlay ausführen kann, um sein Ziel zu erreichen. Die Eigenschaft kann als grundlegende Leitplanke verwendet werden, um agentische Endlosschleifen zu verhindern.

• Nach Zwischenablage eingeben – Gibt an, ob die Zwischenablage zum Eingeben des angegebenen Textes verwendet wird. Die folgenden Optionen sind verfügbar:

  • Niemals – Zwischenablage niemals verwenden
  • Immer – Zwischenablage immer verwenden
  • Immer wenn möglich – Verwenden Sie nach Möglichkeit die Zwischenablage. Dies hängt vom Betriebssystem und dem einzugebenden Text ab (z. B Wenn eine Sondertaste verwendet wird, wird die Zwischenablage nicht verwendet.)

• DOM verwenden, wenn verfügbar – Gibt an, ob DOM-Daten für Anwendungen, bei denen DOM extrahiert werden kann, an das LLM-Modell verwendet/gesendet werden. DOM kann nur von UiPath LAM-Implementierungen verwendet werden.

  Deaktivieren Sie diese Option, wenn die DOM-basierte Zielausrichtung zu falschen Elementkoordinaten führt.

  Der Standardwert ist True.

• Variablensicherheit deaktivieren – Gibt an, ob die Variablensicherheit deaktiviert werden soll. Die Variablensicherheit stellt sicher, dass Eingabeaufforderungsanweisungen nicht über Variablenwerte übergeben werden können.

  Der Zweck dieser Funktion ist die Verhinderung von Prompt-Injection-Angriffen und sie basiert auf LLM, sodass der Benutzer sie für jede ScreenPlay-Aktivität deaktivieren kann, wenn ein „false positives Ergebnis“ auftritt. Um festzustellen, ob es sich um „false positiv“ handelt, kann der Benutzer die Ausführungsablaufverfolgung, den System-Prompt, die Argumentation und die Aktionen überprüfen.

  Aktivieren Sie diese Option nur, wenn Sie Eingabeaufforderungen über Variablenwerte übergeben müssen oder wenn ein „false positives“ Ergebnis aufgetreten ist.

  Der Standardwert ist False.

• Eingabemodus – Wählen Sie aus, welche Methode zum Generieren von Tastatur- oder Mauseingaben verwendet werden soll:

  • Wie App/Browser – Verwendet die Eingabemoduseinstellungen aus der übergeordneten Aktivität Use Application/Browser .
  • Hardware-Ereignisse – Fungiert als echten Benutzer, indem „Hardware“-Eingaben wie Mausbewegungen oder Tastaturanschläge zur Interaktion mit Anwendungen verwendet werden. Dies sind durch Hardware ausgelöste Ereignisse, die direkt an das Betriebssystem gesendet werden. Obwohl diese Methode eine 100%ige Verhaltensemulation bietet, können einige Ereignisse gelegentlich verloren gehen. Als Entwickler sind Sie dafür verantwortlich, sicherzustellen, dass alle Ereignisse die Zielanwendung zuverlässig erreichen.
  • Chromium-API – Führt Aktionen mithilfe von Debugger-APIs aus. Funktioniert nur für Chromium-Elemente. Sendet den gesamten Text auf einmal. Funktioniert auch dann, wenn die Ziel-App nicht im Fokus steht. Weitere Informationen finden Sie unter Chromium-API.
  • Simulieren – Simuliert die Verwendung von Barrierefreiheits-APIs. Empfohlen für Browser, Java-basierte Anwendungen, SAP. In der Regel zuverlässiger als Hardware-Ereignisse. Sendet den gesamten Text in einer einzigen Aktion. Funktioniert auch dann, wenn die Ziel-App nicht im Fokus steht.
  Hinweis:

  Stellen Sie sicher, dass Sie testen, ob das UI-Element der Zielanwendung dies unterstützt.

  • Windows-Meldungen – Simuliert die Verwendung von Win32-Nachrichten. Empfohlen für Desktop-Apps. In der Regel zuverlässiger als Hardware-Ereignisse. Sendet den gesamten Text auf einmal. Funktioniert auch dann, wenn die Ziel-App nicht im Fokus steht.
  Hinweis:

  Stellen Sie sicher, dass Sie testen, ob das UI-Element der Zielanwendung dies unterstützt.

• Bei Fehler fortsetzen – Gibt an, ob die Automatisierung auch dann fortgesetzt werden soll, wenn die Aktivität einen Fehler ausgibt. Dieses Feld unterstützt nur boolesche Werte (True, False). Der Standardwert ist False. Wenn das Feld leer ist und ein Fehler ausgegeben wird, wird die Ausführung des Projekts angehalten. Wenn der Wert auf „True“ gesetzt ist, wird die Ausführung des Projekts ungeachtet eines Fehlers fortgesetzt.

Zeitliche Abläufe

• Delay before - Delay (in seconds) between the time the previous activity is completed and the time this activity begins performing any operations. The default value is 0.2 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Delay after - Delay (in seconds) between the time this activity is completed and the time the next activity begins any operations. The default value is 0.3 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
• Zeitüberschreitung – Geben Sie die Zeitspanne (in Sekunden) an, die auf die Ausführung der Aktivität gewartet werden soll, bevor ein Fehler ausgegeben wird. Der Standardwert beträgt 30 Sekunden.

Ausgabe

• Ergebnis – Das Ergebnis der Aufgabe, falls vorhanden. Derzeit unterstützen wir nur die String -Ausgabe.