- Überblick
- UI-Automatisierung (UI Automation)
- Über das UIAutomation-Aktivitätspaket
- Mit UI-Automatisierung automatisierte Anwendungen und Technologien
- Projektkompatibilität
- UI-ANA-016 – URL zum Öffnen eines Browsers abrufen
- UI-ANA-017 – ContinueOnError True
- UI-ANA-018 – OCR-/Bildaktivitäten auflisten
- UI-DBP-006 – Containernutzung
- UI-DBP-013 – Falscher Gebrauch von Excel-Automatisierung
- UI-DBP-030 – Verwendung unzulässiger Variablen in Selektoren
- UI-DBP-031 – Aktivitätsverifizierung
- UI-PRR-001 – Klick simulieren
- UI-PRR-002 – Typ simulieren
- UI-PRR-003 – Offener Anwendungsmissbrauch
- UI-PRR-004 – Hartcodierte Verzögerungen
- UI-REL-001 – Große IDX in Selektoren
- UI-SEC-004 – Selektor-E-Mail-Daten
- UI-SEC-010 – App-/URL-Einschränkungen
- UI-USG-011 – Nicht zulässige Attribute
- UX-SEC-010 – App-/URL-Einschränkungen
- UX-DBP-029 – Unsichere Kennwortnutzung
- UI-PST-001 – Prüfungsprotokollebene in Projekteinstellungen
- UiPath-Browsermigrationstool
- Clippingbereich
- Computer Vision Recorder
- Aktivitätenindex
- Aktivieren (Activate)
- Ankerbasis (Anchor Base)
- Browser anhängen (Attach Browser)
- Fenster anhängen (Attach Window)
- Benutzeingabe blockieren (Block User Input)
- Textfeld (Callout)
- Prüfen (Check)
- Klicken (Click)
- Bild anklicken (Click Image)
- Bild-Trigger anklicken (Click Image Trigger)
- OCR-Text anklicken (Click OCR Text)
- Text anklicken (Click Text)
- Trigger anklicken (Click Trigger)
- Anwendung schließen (Close Application)
- Registerkarte schließen (Close Tab)
- Fenster schließen (Close Window)
- Kontextbewusster Anker
- Ausgewählten Text kopieren (Copy Selected Text)
- Element Attribute Change Trigger
- Element vorhanden (Element Exists)
- Elementumfang (Element Scope)
- Element State Change Trigger
- Export UI Tree
- Strukturierte Daten extrahieren (Extract Structured Data)
- Untergeordnete Elemente finden (Find Children)
- Element finden (Find Element)
- Bild finden (Find Image)
- Bildübereinstimmung finden (Find Image Matches)
- OCR-Textposition finden (Find OCR Text Position)
- Relatives Element finden (Find Relative Element)
- Textposition finden (Find Text Position)
- Aktives Fenster abrufen (Get Active Window)
- Vorgänger-Element erhalten (Get Ancestor)
- Attribut erhalten (Get Attribute)
- Ereignisinfo erhalten (Get Event Info)
- Aus Zwischenablage erhalten (Get From Clipboard)
- Volltext erhalten (Get Full Text)
- OCR-Text erhalten (Get OCR Text)
- Passwort erhalten (Get Password)
- Position erhalten (Get Position)
- Quellelement erhalten (Get Source Element)
- Text erhalten (Get Text)
- Sichtbaren Text erhalten (Get Visible Text)
- Zurück (Go Back)
- Weiter (Go Forward)
- Zur Startseite (Go Home)
- Google Cloud Vision OCR
- Fenster ausblenden (Hide Window)
- Markieren (Highlight)
- Hotkey-Trigger (Hotkey Trigger)
- Darauf zeigen (Hover)
- Auf Bild zeigen (Hover Image)
- Auf OCR-Text zeigen (Hover OCR Text)
- Text beim Darauf zeigen (Hover Text)
- Bild vorhanden (Image Exists)
- Auf Bildschirm anzeigen (Indicate On Screen)
- .NET-Code einfügen
- Inject Js Script
- ActiveX-Methode aufrufen
- Tastendruck-Trigger (Key Press Trigger)
- Bild laden (Load Image)
- Fenster maximieren (Maximize Window)
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Fenster minimieren (Minimize Window)
- Ereignisse überwachen (Monitor Events)
- Maus-Trigger (Mouse Trigger)
- Fenster verschieben (Move Window)
- Navigieren zu (Navigate To)
- OCR-Text vorhanden (OCR Text Exists)
- Auf Element erscheinen (On Element Appear)
- Auf Element verschwinden (On Element Vanish)
- Auf Bild erscheinen (On Image Appear)
- Auf Bild verschwinden (On Image Vanish)
- Anwendung öffnen (Open Application)
- Browser öffnen (Open Browser)
- Browser aktualisieren (Refresh Browser)
- Benutzerereignis wiedergeben (Replay User Event)
- Fenster wiederherstellen (Restore Window)
- Bild speichern (Save Image)
- Objekt auswählen (Select Item)
- Mehrere Objekte auswählen (Select Multiple Items)
- Hotkey senden (Send Hotkey)
- Ausschneidebereich einstellen (Set Clipping Region)
- Fokus legen auf (Set Focus)
- Text einstellen (Set Text)
- Auf Zwischenablage setzen (Set To Clipboard)
- Web-Attribut setzen (Set Web Attribute)
- Fenster anzeigen (Show Window)
- Prozess starten (Start Process)
- System-Trigger (System Trigger)
- Screenshot anfertigen (Take Screenshot)
- Tesseract OCR
- Text vorhanden (Text Exists)
- Tooltip
- Eingeben in (Type Into)
- Sicheren Text eingeben (Type Secure Text)
- Vordergrund verwenden
- Attribut abwarten (Wait Attribute)
- Warten, bis Element verschwindet (Wait Element Vanish)
- Warten, bis Bild verschwindet (Wait Image Vanish)
- Prüfung der Barrierefreiheit
- Application event trigger
- Benutzeingabe blockieren (Block User Input)
- Check/Uncheck
- Check App State
- Check Element
- Klicken (Click)
- Click Event Trigger
- Ziehen und Ablegen
- Elementumfang (Element Scope)
- Extract Table Data
- Find Elements
- For Each UI Element
- Get Browser Data
- Clipboard abrufen
- Text erhalten (Get Text)
- Get URL
- Zu URL wechseln
- Markieren (Highlight)
- Darauf zeigen (Hover)
- Inject Js Script
- Tastenkombinationen
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Bild speichern (Save Image)
- Objekt auswählen (Select Item)
- Set Browser Data
- Clipboard festlegen
- Legen Sie den CV-Server fest
- Set Runtime Browser
- Fokus legen auf (Set Focus)
- Projekteinstellung festlegen
- Text einstellen (Set Text)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Unblock User Input
- Window operation
- Anhängen
- Prüfen (Check)
- Klicken (Click)
- Ziehen und Ablegen
- Daten extrahieren
- Attribut erhalten (Get Attribute)
- GetChildren
- GetRuntimeTarget
- GetText
- Get URL
- GoToUrl
- Markieren (Highlight)
- Darauf zeigen (Hover)
- IsEnabled
- Tastaturkürzel (Keyboard Shortcut)
- Mouse Scroll
- Offen
- Objekt auswählen (Select Item)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Wartestatus
- Führen Sie eine Browsersuche durch und rufen Sie Ergebnisse mithilfe von UIAutomation-APIs ab
- Web-Browsing
- Finden von Bildern
- Klicken auf Bilder
- Auslösen und Überwachen von Ereignissen
- Erstellen und Überschreiben von Dateien
- HTML-Seiten: Extrahieren und Bearbeiten von Informationen
- Bearbeiten von Fenstern
- Automatisierte Listenauswahl
- Finden und Bearbeiten von Fensterelementen
- Verwalten der Textautomatisierung
- Laden und Verarbeiten von Bildern
- Verwalten von mausaktivierten Aktionen
- Automatisieren der Anwendungslaufzeit
- Automatisierte Ausführung einer lokalen Anwendung
- Browsernavigation
- Web-Automatisierung
- Beispiel für Trigger Scope
- Aktivieren der Unterstützung für die UI-Automatisierung in DevExpress
- Computer Vision Local Server
- Mobile Automation
- Versionshinweise
- Über die Architektur der Automatisierung von Mobilgeräten
- Projektkompatibilität
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Install App
- Manage Current App
- Manage Other App
- DeepLink öffnen
- Open URL
- Mobile Device Connection
- Richtungswechsel
- Muster zeichnen
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Screenshot anfertigen (Take Screenshot)
- Take Screenshot Part
- Element vorhanden (Element Exists)
- Execute Command
- Attribut erhalten (Get Attribute)
- Get Selected Item
- Text erhalten (Get Text)
- Set Selected Item
- Text einstellen (Set Text)
- Wischen
- Tap
- Type Text
- Terminal
- Versionshinweise
- Über das Terminal-Aktivitätspaket
- Projektkompatibilität
- Best Practices
- Find Text
- Get Color At Position
- Get Cursor Position
- Feld erhalten (Get Field)
- Feld an Position erhalten (Get Field at Position)
- Bildschirmbereich erhalten (Get Screen Area)
- Text erhalten (Get Text)
- Text an Position erhalten (Get Text at Position)
- Cursor bewegen (Move Cursor)
- Move Cursor to Text
- Strg-Taste senden (Send Control Key)
- Tasten senden (Send Keys)
- Sichere Tasten senden (Send Keys Secure)
- Feld setzen (Set Field)
- Feld an Position setzen (Set Field at Position)
- Terminalsitzung (Terminal Session)
- Warte auf Feldtext (Wait Field Text)
- Wait Screen Ready
- Warte auf Bildschirmtext (Wait Screen Text)
- Warte auf Text an Position (Wait Text at Position)
- Terminalcodierte Automatisierungs-APIs
Versionshinweise v26.10 für UIAutomation-Aktivitäten, Versionen 26.10.x.
v26.10.3
Veröffentlichungsdatum: 21. August 2026
Plattformübergreifender UI Explorer
UI Explorer, das Tool zum Angeben von UI-Elementen und Generieren von Selektoren während der Erstellung der UI-Automatisierung, ist jetzt als webbasiertes, plattformübergreifendes Tool verfügbar. Zuvor war diese Funktion nur unter Windows über eine WPF/.NET Framework-Komponente verfügbar, sodass Benutzer unter macOS keine Möglichkeit hatten, Selektoren zu überprüfen oder zu optimieren. Das neue Tool bietet die gleiche Erfahrung für alle Studio-Varianten, unabhängig davon, ob Sie Windows-, macOS- oder plattformübergreifende Automatisierungen erstellen.
Weitere Informationen finden Sie auf der Seite UI Explorer.
Jede UI-Automatisierungsaktivität , die auf ein UI-Element abzielt, zeigt jetzt zwei zusätzliche Befehle im Kontextmenü Zieleigenschaften erweitern an, was das Verschieben von Zielen zwischen Aktivitäten und dem neuen UI Explorer erleichtert:
- Ziel in Zwischenablage kopieren – Kopiert das einheitliche Ziel der Aktivität, sodass es in die Karte „Element bearbeiten“ des UI Explorer eingefügt werden kann.
- Ziel aus Zwischenablage einfügen – Fügt ein einheitliches Ziel ein, das zuvor im UI Explorer angegeben wurde.
SAP-Automation
-
Unterstützung von Extract Data für SAP WebGUI und verbessertes Verhalten bei wiederholbaren Anforderungen für Tabelle/Struktur.
-
Skriptfähige Dateiauswahl ist jetzt immer in SAP GUI für Java aktiviert. Beim Automatisieren öffnet SAP jetzt seine skriptfähigen Dateiauswahl-Dialogfelder anstelle der nativen. Dies bringt folgende Verbesserungen mit sich:
-
Skriptfähige Dialogfelder wurden für die Automatisierung entwickelt und halten die SAP-Sitzung nicht aufrecht. Aktionen, die eine Dateiauswahl über SAP-Selektoren mit der Eingabemethode Simulieren oder über SAP-spezifische Aktivitäten öffnen, müssen nicht mehr auf das Entsperren der Skriptingsitzung gewartet werden. Komplexe Konfigurationsschritte, wie die Aktivierung von „Hardware Timeout für SAP erzwingen“ und „Bei Fehler fortfahren“ auf True festgelegt sind, nicht mehr benötigt.
-
Ihre Selektoren sind widerstandsfähiger gegenüber SAP-Client-Aktualisierungen, wodurch Automatisierungen im Laufe der Zeit zuverlässiger werden.
Warnung:Da sich der Dialogfeldtyp ändert, müssen vorhandene Workflows, die SAP-Dateiauswahl automatisieren, für die neuen Dialogfelder aktualisiert werden.
-
Erweiterte Installationsoptionen der Browsererweiterung für macOS
Ab UiPath Assistant 2026.0.200 STS können macOS-Benutzer Browsererweiterungen für Chrome, Edge und Safari mithilfe der folgenden Installationsmethoden installieren und verwalten:
- Aktueller Benutzer
- Alle Benutzer
- Gruppenrichtlinie online
- Gruppenrichtlinie offline
- Aktueller Benutzer (nur Native Messaging-Host)
- Alle Benutzer (nur Native Messaging-Host)
Diese Verbesserung bietet eine größere Flexibilität bei der Bereitstellung von Erweiterungen und bringt die macOS-Erfahrung näher an Studio Desktop. Weitere Informationen finden Sie in der Dokumentation zur Chrome-Erweiterung für macOS und zur Safari-Erweiterung .
Fehlerbehebungen
- Es wurde ein Problem in der klassischen UI-Automatisierungsumgebung behoben, bei dem beim Bearbeiten des Fensterselektors für einen Object Repository-Bildschirm mit der aktivierten Option Fensterselektor in untergeordneten Objekten aktualisieren der Fensterselektor für die untergeordneten Objekte nicht aktualisiert wurde.
v26.10.2
Veröffentlichungsdatum: 10. August 2026
Unterstützung der UI-Automatisierung für Codierungs-Agents
Zu den Verbesserungen für Codierungsagenten in UIAutomation gehören:
Verbesserungen bei Selektor und Ziel:
- Es wurden semantische Selektoren für Codierungs-Agents implementiert, die eine Elementidentifizierung mithilfe von Beschreibungen in natürlicher Sprache und einer visuellen Analyse ermöglichen, wenn DOM-basierte Methoden nicht verfügbar sind.
- Unterstützung für Codierungsagent für SAP GUI für Java- Anwendungen wurde hinzugefügt.
- Validierung der Zielkonfiguration für Codierungs-Agents wurde hinzugefügt, um sicherzustellen, dass Zieldefinitionen vor der Verwendung genau sind.
- Die Fuzzy-Ziele wurden aktualisiert, um
check:textstandardmäßig für die Aktivitäten Type Into, Set Text, Get Text und Select Item zu deaktivieren und die Zuverlässigkeit der Elementsuche zu verbessern.
Verbesserungen an der Befehlszeile:
- Der Befehlssatz
uip rpa uia interact sapwurde um die Interaktionenexpand-tree,select-dates-in-calendarundclick-picture-on-screenerweitert. - Es wurde ein neuer
uip rpa uia target-anchorable preview-text-Befehl hinzugefügt, um eine Vorschau des Texts anzuzeigen, den eine Get Text- Aktivität für eine ankerfähige Zieldefinition zurückgeben würde. - Der Befehl
uip rpa uia target-anchorable resolve-defaultsunterstützt jetzt die Attributenameunddescriptionfür eine genauere Identifizierung. - Die Befehlszeilenschnittstelle (CLI) unter macOS wurde mit der Überprüfung der Systemberechtigungen und einem neuen
uip rpa uia permissions-Befehl zum Überprüfen oder Anfordern erforderlicher Berechtigungen (Zugänglichkeit und Bildschirmaufzeichnung).
UI-Automatisierung modern
- Das neue JS-fähige Code-Editor-Widget für die Skriptcode- Eigenschaft der Aktivität Inject Js Script wurde übernommen. Das Widget ist nur für Windows-Projekte verfügbar, beginnend mit Studio Desktop 26.0.198. Unterstützung für Studio Web ist noch nicht implementiert.
- Erweiterte UI-Automatisierungsaktivitätsablaufverfolgung , um Verbrauchsdetails für semantische Aktivitäten und ScreenPlay zu erfassen. Die Ausführungsablaufverfolgung ist standardmäßig deaktiviert und kann über die Projekteinstellung UI Automation Modern > Roboterprotokollierung > Aktivitätsablaufverfolgung aktivieren aktiviert werden. Trace-Daten werden nur für fehlgeschlagene Aufträge in Orchestrator hochgeladen.
UI-Struktur der Auswahlhilfe
- Es wurde eine Schaltfläche Computer Vision aktivieren direkt im UI- Strukturbereich hinzugefügt. Die Registerkarte CV-Elemente ist jetzt immer sichtbar, wenn sich eine Anwendung im Scope befindet und Elemente ausgewählt werden. Wenn Computer Vision deaktiviert ist, zeigt das Panel einen umsetzbaren Status mit der Schaltfläche Computer Vision aktivieren an , die CV einschaltet, einen Screenshot erfasst und die CV-Elementstruktur automatisch erstellt.
Fehlerbehebungen
- Es wurde ein Problem behoben, bei dem während der Elementanzeige mit modernen UI-Automatisierungsaktivitäten ein Proxyauthentifizierungsdialogfeld („Anmelden zum Zugriff auf diese Site“) angezeigt wurde, was Benutzer daran hinderte, UI-Elemente hinter dem Dialogfeld anzugeben.
v26.10.1
Veröffentlichungsdatum: 21. Juli 2026
Auswahlhilfe
- Unterstützung für die Konfiguration von Offset-Punkten direkt in der Auswahlhilfe über eine neue Schaltfläche im Bereich der Zielerweiterung wurde hinzugefügt. Beim Aktualisieren eines Offset-Punkts wird das zugehörige Ziel automatisch ausgewählt und hervorgehoben, um sofortiges visuelles Feedback bereitzustellen.
- Der bevorzugte UI-Framework -Selektor wurde aktualisiert, sodass er als kompakte Menüschaltfläche in der Aktionsleiste mit Strategie-Abkürzungen und Symbolen angezeigt wird (Auto/AA/UIA).
- Verbesserte Leistung der Auswahlhilfe , wodurch die Änderungserkennung und der Rendering-Overhead beim Daraufzeigen, bei der Elementauswahl und bei Layout-Interaktionen reduziert wird.
Unterstützung der UI-Automatisierung für Codierungs-Agents
- Unterstützung für Computer Vision (CV)-Ziele wurde hinzugefügt, sodass Codierungsagenten CV-basierte Zielmethoden für UI-Elemente konfigurieren können.
- Verbesserte agentenbasierte Elementerkennung mit Bild- und semantischen Analysefunktionen . Wenn ein Browser- oder Anwendungs-DOM nicht verfügbar ist, können Agents jetzt UI-Elemente mithilfe von visuellen Informationen und Beschreibungen in natürlicher Sprache erkennen.
- Verbesserte visuelle Diagnose durch Generieren von Screenshots mit Anmerkungen, die identifizierte Elemente hervorheben, sowie neue Screenshot-Größenbegrenzungen zur Kontrolle der Bild- und Tokenkosten.
- Unterstützung für die Validierung von Ziel- und Ankerkonfigurationen durch UI-Automatisierungstools wurde hinzugefügt, um sicherzustellen, dass Zieldefinitionen vor der Verwendung korrekt sind.
Verbesserungen
- Die Hervorhebungs-API der UI-Automatisierung wurde um eine Option zum Füllen erweitert, die ein farbiges Rechteck über einem Zielelement rendert, sodass Workflows vertrauliche Informationen ausblenden oder mehrere Bildschirmbereiche hervorheben können, bevor Screenshots erfasst werden.
v26.10.0
Veröffentlichungsdatum: 24. Juni 2026
Agentic UIAutomation
Semantische Selektoren
Semantische Selektoren unterstützen jetzt zwei Suchmethoden: Dokumentobjektmodell (DOM) und Bild. Der DOM-Modus ist der Standardmodus für Webanwendungen und vergleicht Elemente mithilfe von Informationen, die aus dem Anwendungs-DOM extrahiert wurden. Der Bildmodus ist eine neue Suchmethode und die Standardeinstellung für Nicht-Webanwendungen, die das sichtbare Bildschirmbild und die Bildgrundlagenfunktionen moderner multimodaler Modelle verwendet, um den sichtbaren Inhalt wie ein Mensch zu verstehen. Es unterstützt jede Art von Beschreibungen, einschließlich visueller Beschreibungen (bei denen die DOM-Methode im Allgemeinen fehlschlägt).
Sie können das Modell, das für jede Suchmethode verwendet wird, aus der Dropdownliste Modell unter Projekteinstellungen > UI-Automatisierung > Semantischer Selektor auswählen. DOM-Modus unterstützt Gemini 2.5 Flash und PathMini; Der Bildmodus verwendet PathMini.
Weitere Informationen finden Sie unter Find-Methoden.
Semantische Aktivitäten
Sie können jetzt semantische UI-Automatisierungsaktivitäten mit Ihrem eigenen großen Sprachmodellabonnement anstelle des von UiPath verwalteten Abonnements nutzen. Sie können Ihr Modell unter UI-Automatisierung > Semantische Aktivitäten auf der Registerkarte LLM-Konfigurationen des AI Trust Layer mit einem der unterstützten Modelle konfigurieren. Weitere Informationen finden Sie unter Einrichtung eines Bring-Your-Own-Modells für semantische Aktivitäten.
Sie können jetzt Standardeinstellungen auf Projektebene für semantische Aktivitäten festlegen – das Standardmodell für jede Aktivität und den Extraktionsmodus für UI-Daten extrahieren (Vorschau) – unter Projekteinstellungen > UI-Automatisierung modern > Semantische Aktivitäten. Diese Standardeinstellungen gelten sowohl während der Entwurfsphase in Studio, wie z. B. Auswahl- und Testläufe, als auch für die Laufzeit. Die Standardeinstellungen auf Projektebene finden Sie unter Moderne UI-Automatisierungsprojekteinstellungen.
Durch das Aktualisieren des UIAutomation-Aktivitäten-Pakets wird das Standardmodell für semantische Aktivitäten (außer Close Popup) in PathMini geändert. Weitere Informationen finden Sie unter Einrichtung eines Bring-Your-Own-Modells für semantische Aktivitäten. Die Standardeinstellungen auf Projektebene finden Sie unter Moderne UI-Automatisierungsprojekteinstellungen.
ScreenPlay
- Unterstützung von SecureString und ScreenPlayImage in codierten Workflows – ScreenPlay-codierte Workflows verarbeiten jetzt zwei zusätzliche Argumenttypen:
SecureStringzum Übergeben vertraulicher String-Werte, ohne sie im Klartext verfügbar zu machen, undScreenPlayImagezum Einfügen eines Screenshots direkt in den ScreenPlay-Prompt Der zusätzliche visuelle Kontext des Modells. Zuvor hatten codierte Workflows keine native Behandlung für diese Typen; Durch diese Änderung werden sie mit Low-Code-Workflows parsen. - Verteilte Ablaufverfolgung SpannId – ScreenPlay fügt jetzt einen
X-UIPATH-SEMANTIC-SPAN-ID-Header zu den HTTP-Aufrufen an Back-End-Dienste wie den Semantischen Proxy und das LLM Gateway hinzu. Der Spannenbezeichner lässt eine einzelne ScreenPlay-Ausführung und ihre Anforderungen durchgängig über Dienste hinweg korrelieren, was die Beobachtbarkeit und Fehlerbehebung verbessert. - Anhangsmodus für Anwendungsinstanz – ScreenPlay unterstützt jetzt den Anhangsmodus für das Fenster „Anwendungsinstanz“ für die Aktivität Use Application/Browser. Innere Aktivitäten suchen in der gesamten Anwendungsinstanz – allen übergeordneten und untergeordneten Fenstern, Warnungen und Popups – anstatt in einem einzigen Fenster. ScreenPlay erfasst und zeichnet die Ablaufverfolgung zusätzlich zur vorhandenen Unterstützung für ein einzelnes Fenster korrekt in allen von ihnen auf.
- Aktualisierte HTML-Trace-Datei – Die ScreenPlay HTML-Trace-Datei hat ein aktualisiertes visuelles Design. Die Ausgabe des Trace-Viewers verfügt jetzt über ein aktualisiertes Layout und Format, die das Lesen und Navigieren von Ausführungsablaufverfolgungen erleichtern und an die aktuellen UiPath-Designstandards angepasst sind.
UI-Daten extrahieren (Vorschau)
Extract UI Data ist eine neue semantische, KI-gestützte Aktivität zum Extrahieren strukturierter Geschäftsdaten aus jedem Anwendungsbildschirm. Sie definieren die benutzerdefinierten Datenstrukturen, die Sie erfassen möchten, und rufen sie als Geschäftsobjekte ab, wobei Sie UI-Technologienübergreifend arbeiten und nicht auf einen einzigen Layouttyp beschränkt sind. Die Aktivität erfasst standardmäßig Webformulardaten, wenn ein Formular vorhanden ist, und unterstützt auch das Extrahieren benutzerdefinierter Felder über benutzerdefinierte Aufforderungen.
Die Aktivität verarbeitet jetzt „Nicht gefunden“-Ergebnisse konsistent. Zuvor wurde eine Ausnahme ausgelöst, wenn für eine Abfrage keine Antwort gefunden werden konnte. Wenn nur eine Teilmenge von Antworten fehlte, wurden leere Zeichenfolgen zurückgegeben. Wenn ein Wert nicht gefunden werden kann, wird er als null zurückgegeben, was eine einzige, vorhersehbare Möglichkeit bietet, fehlende Daten in allen Extraktionsszenarien zu erkennen und zu behandeln.
Extract UI Data ist eine Vorschauaktivität – ein experimentelles Projekt für die schemagesteuerte, semantische UI-Extraktion. Es ist nicht vorgesehen, die allgemeine Verfügbarkeit als eigenständige Aktivität zu erreichen; wird diese Funktionalität in die Datenextraktionsfunktionen von ScreenPlay aufgenommen. Benutzer, die Extract UI Data während der Vorschau verwenden, sollten eine eventuelle Migration zu ScreenPlay planen.
Healing Agent
Wenn Healing Agent eine Aktivität nicht wiederherstellen kann, enthalten die Roboterprotokolle jetzt den Grund für den Fehler. Der Grund wird in den Roboterprotokollen im Orchestrator angezeigt, sodass Sie sehen können, warum eine Wiederherstellung ohne Überprüfung interner Protokolle nicht erfolgreich war. Ein Protokolleintrag könnte beispielsweise lauten: „Healing Agent konnte die Aktivität nicht wiederherstellen. Selbstreparatur ist deaktiviert.“
Unterstützung der UI-Automatisierung für Codierungs-Agents
Die Version 26.10.0 bringt UI-Automatisierung für KI-Codierungs-Agents. Sie können jetzt einen Agent – wie Claude Code, Cursor, GitHub Copilot – bitten, eine UI-Automatisierung in einfacher Sprache zu erstellen und zu warten, und er steuert echte Anwendungen, generiert zuverlässige Selektoren und registriert sie in Ihrem Namen im Objekt-Repository Ihres Projekts.
Diese Unterstützung wird als eine Reihe von Agent-Fähigkeiten ausgeliefert, die zusammen mit den Aktivitäten gepackt werden und von der uip rpa uia -Befehlszeilenschnittstelle unterstützt werden. Die Fähigkeiten funktionieren auf denselben Oberflächen wie die Aktivitäten selbst – Desktop, Web und SAP-Anwendungen.
Drei Fähigkeiten sind enthalten:
- Konfigurieren eines Ziels (
uia-configure-target) – Zeigen Sie den Agent auf einen Bildschirm und die Elemente, die Ihnen wichtig sind („Einrichten der Schaltfläche Senden auf der Checkout-Seite“). Es erfasst die Live-Anwendung, sucht jedes Element, generiert einen zuverlässigen Selektor, registriert den Bildschirm und die Elemente im Object-Repository und überprüft jedes Element anhand eines Screenshots, bevor die Referenz-IDs zurückgegeben werden, die Ihr Workflow verwenden kann. - Mit einer Live-App interagieren (
uia-interact) – Bitten Sie den Agent, mit einer laufenden Anwendung zu interagieren – klicken Sie, geben Sie ein, lesen Sie Werte, füllen Sie Formulare aus, navigieren Sie durch Menüs, extrahieren Sie Tabellen oder erstellen Sie Screenshots. Nützlich, um eine App zu erkunden, bevor Sie sie automatisieren, oder um zu bestätigen, dass sich eine Änderung wie erwartet verhält. - Einen Selektor verbessern (
uia-improve-selector) – Korrigieren, härten oder Wiederherstellen eines Selektors aus Runtime-Daten. Siehe Selektorintelligenz unten.
Die Fähigkeiten werden im uipath-rpa Fähigkeiten-Repository ausgeliefert.
Selektorintelligenz (uia-importe-selector)
Die Selektorintelligenz ist die Argumentations-Engine hinter der Fähigkeit uia-improve-selector . Sie diagnostiziert, warum ein Selektor fehlgeschlagen ist, und schreibt ihn neu – ohne manuelle Bearbeitung des XML.
Selektoren funktionieren nicht mehr, wenn sich eine Anwendung ändert – ein Attribut wird umbenannt, eine automatisch generierte ID wird verschoben, ein Layout wird verschoben. Mit der Selektorintelligenz kann ein Codierungsagent einen Selektor diagnostizieren und neu schreiben, sodass Ihre Automatisierung weiterläuft, ohne dass Sie die empfindlichen Selektor-XML von Hand bearbeiten müssen.
Es funktioniert in zwei Modi:
- Wiederherstellen – der Selektor funktioniert nicht mehr („Element nicht gefunden“, ein Runtime-Fehler). Der Agent schreibt es mit dem aktuellen Status der Anwendung neu, sodass es wieder mit dem Element übereinstimmt.
- Verbessern – Der Selektor funktioniert weiterhin, ist aber empfindlich, da er von der Position, einer automatisch generierten ID oder einem Wert abhängt, der sich ändernde Inhalte widerspiegelt. Der Agent erstellt eine robustere Version, die auf dasselbe Element abzielt.
Verwenden Sie Verbessern proaktiv, wenn Sie einen neu generierten Selektor überprüfen und feststellen, dass er auf einer generierten ID oder einem Positionsindex basiert. Verwenden Sie Wiederherstellen reaktiv, wenn ein unbeaufsichtigter Auftrag fehlschlägt und Sie die Laufzeitdaten haben.
Was es zuverlässig macht:
- Gesteuert durch Runtime-Daten. Es funktioniert mit einer Live-Anwendung oder mit Daten, die zum Zeitpunkt des Fehlers erfasst wurden – sodass ein Selektor, der bei einem Unattended-Roboter defekt ist, später auf einer anderen Maschine wiederhergestellt werden kann, auch wenn die App nicht mehr ausgeführt wird.
- Aktivitätsspezifisch. Der Agent weiß zum Beispiel, dass ein Get Text- Ziel sich nicht auf den Text stützen sollte, den es lesen soll, und dass ein Check- Ziel nicht davon abhängen sollte, ob das Kästchen derzeit angekreuzt ist. Jede Neufassung folgt den Regeln, die einen Selektor für seine spezifische Verwendung stabil halten.
- Validiert, nicht erraten. Jeder Kandidatenselektor wird überprüft und bewertet, bevor etwas zurückgeschrieben wird. Wenn der erste Versuch nicht funktioniert, verfeinert der Agent ihn automatisch, versucht es erneut und behält dann das stärkste Ergebnis.
- Erklärt. Wenn ein Selektor wiederhergestellt wird, erhalten Sie eine einzeilige Ursache ( warum er kaputt ist) und die Strategie, um ihn dauerhaft zu machen – damit Sie der Änderung auf einen Blick vertrauen können.
Chromium-Automatisierung
Wir haben Chromium-Automatisierung hinzugefügt, eine neue Browser-Automatisierungsmethode, die Chrome und Edge direkt über das Chrome DevTools Protocol (CDP) steuert. UiPath startet und verwaltet die Browsersitzung intern – keine Browsererweiterung zum Installieren und keine WebDriver-Binärdatei zum Herunterladen oder Synchronisieren mit Ihrer Browserversion.
Zwei neue Optionen sind im Dropdownmenü Browser-Automatisierungsmodus für die Aktivität Use Application/Browser und in Projekteinstellungen > UI-Automatisierung modern > Anwendung/Browser verfügbar:
- Chromium-Automatisierung – am besten geeignet für Entwicklung, Debugging und unbeaufsichtigte Automatisierung mit einem sichtbaren Browser
- Chromium-Automatisierung monitorlos – am besten geeignet für unbeaufsichtigte Automatisierung auf Servern und CI/CD-Pipelines
Die Chromium-Automatisierung funktioniert mit Chrome, Edge und allen Chromium-basierten Browsern. Firefox und Safari werden von dieser Methode nicht unterstützt – verwenden Sie weiterhin die Browsererweiterung oder WebDriver.
Oracle-Automatisierung
Die UI-Automatisierung unterstützt jetzt die Automatisierung von Oracle Integration-Anwendungen sowohl über die Schnittstellen von Oracle ADF (Application Development Framework) als auch von Oracle Red Erstellen (Oracle JET). Ein neuer Identifikationsansatz liefert stabile Selektorattribute für jede Technologie, sodass Automatisierungen trotz der dynamischen Natur dieser Schnittstellen zuverlässig bleiben und das gesamte Spektrum der UI-Automatisierungsaktivitäten für Oracle Integration-Bildschirme verwendet werden kann.
Weitere Informationen finden Sie unter Oracle Integration Automation.
macOS UI-Automatisierung
- Verbesserte Unterstützung für menübasierte macOS-Steuerelemente in Select Item -Aktivitäten. Sie können jetzt Element auswählen mit
AXPopUpButtonundAXMenuButtonSteuerelementen verwenden, um eine zuverlässige Interaktion mit Dropdown- und menübasierten UI-Elementen zu ermöglichen, die das Öffnen eines Popups erfordern, um auf ihre Elemente zuzugreifen. - Unterstützung für Actions mit Dreifachklick wurde hinzugefügt. Diese Funktion ist verfügbar unter:
- Windows und macOS mit Hardwareereignissen
- Windows und macOS mit ChromiumAPI
- Unterstützung für Mausklick- Aktionen unter macOS wurde hinzugefügt.
UI-Automatisierung modern
-
Die Funktion „Elemente erfassen“ im Objekt-Repository ist in plattformübergreifenden Projekten aktiviert.
-
Die Aktivität Set Runtime Browser kann jetzt den standardmäßigen Systembrowser zur Laufzeit in plattformübergreifenden Projekten auflösen. Mit der neuen Option Standardmäßigen Systembrowser verwenden können Sie zwischen dem Systemstandardbrowser und einem bestimmten Browser wählen:
- Windows-Projekte: Chrome, Edge, Firefox
- Plattformübergreifende Projekte: Chrome, Edge, Safari
Der Anzeigename der Aktivität spiegelt nun den ausgewählten Browser wider (Literalwert, Standardsystembrowser oder ein abgeschnittener Ausdruck).
-
Es wurde eine Aktivität zur Barrierefreiheitsprüfung hinzugefügt, mit der Benutzer Barrierefreiheitstests in Test Manager- Instanzen innerhalb von Test Cloud durchführen können. Diese Aktivität lädt eine Webbrowser-Seite und führt Barrierefreiheitsprüfungen gemäß dem Standard WCAG 2.1 (oder höher) durch. Beispiele für die Prüfung der Barrierefreiheit sind DOM und visuelle Barrierefreiheit, Kontrastverhältnis, Alt-Tags, Tab- Reihenfolge und unsachgemäße AIA-Rollen.
Editor für erweiterte Selektoren
-
Zoomsteuerelemente wurden dem erweiterten Selektor-Editor und der Auswahlhilfe hinzugefügt, sodass Sie mithilfe der Optionen +, - und Zurücksetzen zwischen 80 % und 110 % vergrößern oder verkleinern können.
-
Unterstützung für Groß-/Kleinschreibung für Attribute im erweiterten Selektor-Editor wurde hinzugefügt.
-
Es wurde eine Option Ziel bearbeiten zu Anwendung/Browser verwenden hinzugefügt, die Folgendes verfügbar macht:
- Fensterselektor
- Anwendungseigenschaften (wie Browser-URL, Browserargumente, Anwendungspfad, Anwendungsargumente und Arbeitsverzeichnis)
- Die Option zum Aktualisieren des Fensterselektors in untergeordneten Aktivitäten. Dadurch können alle Änderungen, die am Fenster-Selektor des Bildschirms vorgenommen werden, automatisch auf alle untergeordneten Elemente angewendet werden.
-
Der erweiterte Selektor-Editor kann jetzt zusätzlich zu den UI-Element -Selektoren zum Bearbeiten von Fensterselektoren verwendet werden.
-
Im Bereich UI-Struktur des UI Explorer wurde ein Umschalter hinzugefügt, um Eigenschaften mit leeren Werten in den Abschnitten Selektor kompatibel und Sonstige(s) anzuzeigen oder auszublenden, damit nur relevante Informationen angezeigt werden.
-
Es wurde dem UI- Strukturbereich eine Option Eigenschaften filtern hinzugefügt, mit der die Eigenschaften für den ausgewählten Knoten nach Name sowohl in den Abschnitten Selektor kompatibel als auch Sonstige(s) gefiltert werden können.
Verbesserungen
- Die Selektoren für Active Accessibility wurden optimiert, um die Leistung „Extract Table Data“ für große Tabellen zu verbessern.
Fehlerbehebungen
-
Für Knoten vom Typ Link wurde der Text nicht abgerufen, und der Strukturpfad wurde mithilfe der internen SAP-ID generiert. Mit dieser Korrektur wird der richtige Knotentext verwendet. Dies betraf die Aktivität SAP Expand Tree .
-
Ein Problem wurde behoben, bei dem Selektoren bei der Interaktion mit HTML-Ansichten in der CAMBIO Cosmic-Anwendung (eine Java-basierte Gesundheitsanwendung, die JxBrowser verwendet) nicht identifiziert wurden.
-
Es wurde ein Problem behoben, bei dem die plattformübergreifende Aktivität Type Into auf Automation Cloud Robot-VMs nicht mehr reagierte.
-
Die native Erfassung für Zeichen und japanische Zeichen wurde korrigiert.
-
Ein Problem wurde behoben, bei dem Java-Erweiterungen nach der Deinstallation weiterhin als installiert gemeldet wurden.
Korrekturen, am 11. August 2026 hinzugefügt
Die folgenden ScreenPlay-Einträge wurden aus der ursprünglichen Ankündigung v26.10.0 weggelassen und gelten für die Version v26.10.0.
Erweiterte Modellauswahl für ScreenPlay
Das Dropdown- Menü Modell der ScreenPlay- Aktivität bietet jetzt eine größere Auswahl an Screen Agent-Modellen, indem GPT-5.4 hinzugefügt wurde. GPT-5.4 mini, GPT-5.5, Gemini 3.0 Flash Preview und Path Mini. Die hinzugefügten Modelle sind leistungsfähiger und schneller als die zuvor verfügbaren Modelle und tragen am meisten zur geringeren Ausführungslatenz in diesem Release im Vergleich zum allgemein verfügbaren Release 25.10 bei. Path Mini ist ein Qwen-basiertes Modell, das von UiPath für Screen Understanding und UI-Interaktion optimiert wurde, das von UiPath in seiner eigenen Cloud-Infrastruktur gehostet und bereitgestellt wird und die schnellste Option in der Auswahl ist.
Die vollständige Auswahl ist:
Basisstufe:
- Screen Agent (mit Path Mini)
- Screen Agent (mit Gemini 2.5 Flash)
- Screen Agent (mit Gemini 3.0 Flash-Vorschau)
- Screen Agent (mit GPT-4.1 mini)
- Screen Agent (mit GPT-5 mini)
- Screen Agent (mit GPT-5.4 mini)
Standardstufe:
- Screen-Agent (mit GPT-4.1)
- Screen-Agent (mit GPT-5)
- Screen Agent (mit GPT-5.4)
- Screen Agent (mit GPT-5.5)
- OpenAI – Operator
- Anthropic – Computernutzung
Die Eigenschaften der einzelnen Modelle finden Sie unter ScreenPlay.
Neues Standardmodell für ScreenPlay
Das Standardmodell für die ScreenPlay- Aktivität wurde von Screen Agent (mit Gemini 2.5 Flash) zu Screen Agent (mit GPT-5.4) geändert. GPT-5.4 ist ein Modell der Standardstufe, während Gemini 2.5 Flash ein Modell der Basic-Stufe eins ist. Vorhandene Automatisierungen behalten das Modell bei, mit dem sie konfiguriert wurden; Der neue Standard gilt für neu hinzugefügte ScreenPlay- Aktivitäten.
UiPath ScreenPlay-Ausführung über den angegebenen Scope hinaus
ScreenPlay ist nicht mehr auf die Anwendung oder das Fenster beschränkt, das als Scope übergeben wurde. Es kann jetzt über mehrere Browser-Registerkarten und mehrere Anwendungen hinweg innerhalb derselben Aufgabe funktionieren.
Korrekturen bei der Ausführung von ScreenPlay
Dieser Release enthält Korrekturen für die Zuverlässigkeit der ScreenPlay-Ausführung.
- v26.10.3
- Plattformübergreifender UI Explorer
- SAP-Automation
- Erweiterte Installationsoptionen der Browsererweiterung für macOS
- Fehlerbehebungen
- v26.10.2
- Unterstützung der UI-Automatisierung für Codierungs-Agents
- UI-Automatisierung modern
- UI-Struktur der Auswahlhilfe
- Fehlerbehebungen
- v26.10.1
- Auswahlhilfe
- Unterstützung der UI-Automatisierung für Codierungs-Agents
- Verbesserungen
- v26.10.0
- Agentic UIAutomation
- Healing Agent
- Unterstützung der UI-Automatisierung für Codierungs-Agents
- Chromium-Automatisierung
- Oracle-Automatisierung
- macOS UI-Automatisierung
- UI-Automatisierung modern
- Editor für erweiterte Selektoren
- Verbesserungen
- Fehlerbehebungen
- Korrekturen, am 11. August 2026 hinzugefügt