- Überblick
- UI-Automatisierung (UI Automation)
- UI-ANA-016 – URL zum Öffnen eines Browsers abrufen
- UI-ANA-017 – ContinueOnError True
- UI-ANA-018 – OCR-/Bildaktivitäten auflisten
- UI-DBP-006 – Containernutzung
- UI-DBP-013 – Falscher Gebrauch von Excel-Automatisierung
- UI-DBP-030 – Verwendung unzulässiger Variablen in Selektoren
- ST-DBP-021 – Hartcodiertes Timeout
- UI-PRR-001 – Klick simulieren
- UI-PRR-002 – Typ simulieren
- UI-PRR-003 – Offener Anwendungsmissbrauch
- UI-PRR-004 – Hartcodierte Verzögerungen
- UI-REL-001 – Große IDX in Selektoren
- UI-SEC-004 – Selektor-E-Mail-Daten
- UI-SEC-010 – App-/URL-Einschränkungen
- UI-USG-011 – Nicht zulässige Attribute
- SY-USG-013 – Private Datei aufrufen
- SY-USG-014 – Falsche Platzhalter für Ausführungsvorlage
- Mit UI-Automatisierung automatisierte Anwendungen und Technologien
- UiPath-Browsermigrationstool
- Computer Vision Recorder
- Klicken (Click)
- Darauf zeigen (Hover)
- Sicheren Text eingeben (Type Secure Text)
- Hotkey senden (Send Hotkey)
- Eingeben in (Type Into)
- Prüfen (Check)
- Objekt auswählen (Select Item)
- Mehrere Objekte auswählen (Select Multiple Items)
- Text erhalten (Get Text)
- Text einstellen (Set Text)
- Aktivieren (Activate)
- Markieren (Highlight)
- Fokus legen auf (Set Focus)
- Ankerbasis (Anchor Base)
- Kontextbewusster Anker
- Relatives Element finden (Find Relative Element)
- Auf Bildschirm anzeigen (Indicate On Screen)
- Element vorhanden (Element Exists)
- Element finden (Find Element)
- Warten, bis Element verschwindet (Wait Element Vanish)
- Untergeordnete Elemente finden (Find Children)
- Vorgänger-Element erhalten (Get Ancestor)
- Elementumfang (Element Scope)
- Attribut erhalten (Get Attribute)
- Ausschneidebereich einstellen (Set Clipping Region)
- Position erhalten (Get Position)
- Screenshot anfertigen (Take Screenshot)
- Attribut abwarten (Wait Attribute)
- Auf Element erscheinen (On Element Appear)
- Auf Element verschwinden (On Element Vanish)
- Text anklicken (Click Text)
- Text beim Darauf zeigen (Hover Text)
- Textposition finden (Find Text Position)
- Volltext erhalten (Get Full Text)
- Sichtbaren Text erhalten (Get Visible Text)
- Strukturierte Daten extrahieren (Extract Structured Data)
- Text vorhanden (Text Exists)
- OCR-Text anklicken (Click OCR Text)
- Auf OCR-Text zeigen (Hover OCR Text)
- OCR-Text erhalten (Get OCR Text)
- OCR-Textposition finden (Find OCR Text Position)
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Microsoft Azure ComputerVision OCR
- Tesseract OCR
- Google Cloud Vision OCR
- OCR-Text vorhanden (OCR Text Exists)
- Bild anklicken (Click Image)
- Auf Bild zeigen (Hover Image)
- Bildübereinstimmung finden (Find Image Matches)
- Bild vorhanden (Image Exists)
- Bild finden (Find Image)
- Warten, bis Bild verschwindet (Wait Image Vanish)
- Auf Bild erscheinen (On Image Appear)
- Auf Bild verschwinden (On Image Vanish)
- Bild laden (Load Image)
- Bild speichern (Save Image)
- Browser anhängen (Attach Browser)
- Registerkarte schließen (Close Tab)
- Zurück (Go Back)
- Weiter (Go Forward)
- Zur Startseite (Go Home)
- JS-Skript einfügen (Inject JS Script)
- Navigieren zu (Navigate To)
- Browser öffnen (Open Browser)
- Browser aktualisieren (Refresh Browser)
- Web-Attribut setzen (Set Web Attribute)
- Fenster anhängen (Attach Window)
- Fenster schließen (Close Window)
- Aktives Fenster abrufen (Get Active Window)
- Fenster ausblenden (Hide Window)
- Fenster maximieren (Maximize Window)
- Fenster minimieren (Minimize Window)
- Fenster verschieben (Move Window)
- Fenster wiederherstellen (Restore Window)
- Fenster anzeigen (Show Window)
- Export UI Tree
- ActiveX-Methode aufrufen
- .NET-Code einfügen
- Trigger anklicken (Click Trigger)
- Tastendruck-Trigger (Key Press Trigger)
- Bild-Trigger anklicken (Click Image Trigger)
- System-Trigger (System Trigger)
- Hotkey-Trigger (Hotkey Trigger)
- Maus-Trigger (Mouse Trigger)
- Ereignisinfo erhalten (Get Event Info)
- Ereignisse überwachen (Monitor Events)
- Quellelement erhalten (Get Source Element)
- Benutzerereignis wiedergeben (Replay User Event)
- Benutzeingabe blockieren (Block User Input)
- Vordergrund verwenden
- Element Attribute Change Trigger
- Element State Change Trigger
- Textfeld (Callout)
- Ausgewählten Text kopieren (Copy Selected Text)
- Aus Zwischenablage erhalten (Get From Clipboard)
- Auf Zwischenablage setzen (Set To Clipboard)
- Anwendung schließen (Close Application)
- Anwendung öffnen (Open Application)
- Prozess starten (Start Process)
- Passwort erhalten (Get Password)
- Tooltip
- Click Picture on Screen
- Click Toolbar Button
- Read Statusbar
- Select Dates In Calendar
- Select Menu Item
- Expand Tree
- Call Transaction
- SAP Logon
- SAP Login
- Table Cell Scope
- SAP Session Attributes Change Trigger
- Expand ALV Tree
- Expand ALV Hierarchical Table
- Use Application/Browser
- Check App State
- Check/Uncheck
- Klicken (Click)
- Extract Table Data
- Text erhalten (Get Text)
- Get URL
- Zu URL wechseln
- Markieren (Highlight)
- Darauf zeigen (Hover)
- Tastenkombinationen
- Navigate Browser
- Objekt auswählen (Select Item)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Attribut erhalten (Get Attribute)
- Get Browser Data
- Set Browser Data
- Mouse Scroll
- Inject Js Script
- Ziehen und Ablegen
- For Each UI Element
- Application event trigger
- Click Event Trigger
- Keypress Event Trigger
- Text einstellen (Set Text)
- Check Element
- Formular ausfüllen
- Arbeiten mit den Computer Vision-Aktivitäten
- CV Screen Scope
- CV Click
- CV Element Exists
- CV Get Text
- CV Highlight
- CV Hover
- CV Type Into
- CV aktualisieren
- CV Dropdown Select
- CV Check
- CV Extract Table
- Anhängen
- Prüfen (Check)
- Klicken (Click)
- Ziehen und Ablegen
- Daten extrahieren
- Attribut erhalten (Get Attribute)
- GetChildren
- GetRuntimeTarget
- GetText
- Get URL
- GoToUrl
- Markieren (Highlight)
- Darauf zeigen (Hover)
- Ist aktiviert
- Tastaturkürzel (Keyboard Shortcut)
- Mouse Scroll
- Offen
- Objekt auswählen (Select Item)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Wartestatus
- Führen Sie eine Browsersuche durch und rufen Sie Ergebnisse mithilfe von UIAutomation-APIs ab
- Web-Browsing
- Finden von Bildern
- Klicken auf Bilder
- Auslösen und Überwachen von Ereignissen
- Erstellen und Überschreiben von Dateien
- HTML-Seiten: Extrahieren und Bearbeiten von Informationen
- Bearbeiten von Fenstern
- Automatisierte Listenauswahl
- Finden und Bearbeiten von Fensterelementen
- Verwalten der Textautomatisierung
- Laden und Verarbeiten von Bildern
- Verwalten von mausaktivierten Aktionen
- Automatisieren der Anwendungslaufzeit
- Automatisierte Ausführung einer lokalen Anwendung
- Browsernavigation
- Web-Automatisierung
- Beispiel für Trigger Scope
- Computer Vision Local Server
- Mobile Automation
- Versionshinweise
- Projektkompatibilität
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Install App
- Manage Current App
- Manage Other App
- DeepLink öffnen
- Open URL
- Mobile Device Connection
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Screenshot anfertigen (Take Screenshot)
- Take Screenshot Part
- Element vorhanden (Element Exists)
- Execute Command
- Attribut erhalten (Get Attribute)
- Get Selected Item
- Text erhalten (Get Text)
- Set Selected Item
- Text einstellen (Set Text)
- Wischen
- Tap
- Type Text
- Muster zeichnen
- Terminal
- Versionshinweise
- Über das Terminal-Aktivitätspaket
- Projektkompatibilität
- Terminalsitzung (Terminal Session)
- Bildschirmbereich erhalten (Get Screen Area)
- Text an Position erhalten (Get Text at Position)
- Get Color At Position
- Feld an Position erhalten (Get Field at Position)
- Feld an Position setzen (Set Field at Position)
- Warte auf Text an Position (Wait Text at Position)
- Tasten senden (Send Keys)
- Cursor bewegen (Move Cursor)
- Sichere Tasten senden (Send Keys Secure)
- Text erhalten (Get Text)
- Find Text
- Move Cursor to Text
- Strg-Taste senden (Send Control Key)
- Feld erhalten (Get Field)
- Warte auf Bildschirmtext (Wait Screen Text)
- Warte auf Feldtext (Wait Field Text)
- Feld setzen (Set Field)
Arbeiten mit den Computer Vision-Aktivitäten
Alle Computer Vision-Aktivitäten funktionieren nur innerhalb einer CV Screen Scope -Aktivität, die die eigentliche Verbindung zum neuronalen Netzwerkserver herstellt, sodass Sie die UI der Anwendungen analysieren können, die Sie automatisieren möchten.
So muss jeder Workflow, der die Computer Vision-Aktivitäten verwendet, damit beginnen, dass eine Computer Vision Screen Scope-Aktivität in den Bereich Designer gezogen wird.
Anschließend können Sie mit der Schaltfläche Auf Bildschirm anzeigen (Indicate on screen) im Hauptteil der Scope-Aktivität den Bildschirmbereich auswählen, in dem Sie arbeiten möchten.
Sobald eine CV Screen Scope- Aktivität ordnungsgemäß konfiguriert ist, können Sie alle anderen Aktivitäten im Paket verwenden, um Ihre Automatisierung zu erstellen.
Die Aktivitäten, die Aktionen für UI-Elemente ausführen, können zur Entwurfszeit konfiguriert werden, indem Sie die Schaltfläche Auf dem Bildschirm anzeigen im Textkörper der Aktivitäten verwenden. Die Aktivitäten mit dieser Funktion sind:
- CV Screen Scope
- CV Dropdown Select
- CV Check
- CV Extract Table
- CV Click
- CV Element Exists
- CV Get Text
- CV Highlight
- CV Hover
- CV Type Into
Durch Klicken auf die Schaltfläche Auf dem Bildschirm anzeigen (Hotkey: I) wird der Hilfsassistent geöffnet.
Anzeigen
Das Feld Angeben gibt an, was Sie gerade angeben. Wenn der Helper zum ersten Mal geöffnet wird, muss das Ziel angegeben werden. Für jedes mögliche Ziel wählt der Assistent automatisch einen Anker aus, falls einer verfügbar ist.
Elemente anzeigen
Die Schaltfläche Elemente anzeigen (Hotkey: s) im Assistenten hebt alle UI-Elemente hervor, die von der Computer Vision-Analyse identifiziert wurden, sodass Sie leichter auswählen können, mit was Sie interagieren möchten.
Bildschirmaktualisierung
Die Schaltfläche Bildschirmaktualisierung (Hotkey: F5) kann zur Entwurfszeit verwendet werden, falls sich etwas in der Ziel-App ändert, sodass Sie ein neues Bild zur erneuten Analyse an den Computer Vision-Server senden können.
Verzögerte Bildschirmaktualisierung
Die Schaltfläche Verzögerte Bildschirmaktualisierung (Hotkey: F2) führt nach 3 Sekunden Wartezeit eine Aktualisierung der Ziel-App durch. Die automatische Bildlaufrichtung zur Laufzeit wird ebenfalls erfasst (ScrollDirection-Eigenschaft).
Relativ zu
Die Aktivitäten mit dem Markierungsassistenten enthalten auch eine Funktion Relativ zu, bei der das Ziel ein stabiles Element ist und Sie eine Entfernung relativ dazu ziehen. Das Hauptziel, das stabile Ziel, dient als Proxy-Ziel für das zweite, das relative Ziel.
Dies ist nützlich, wenn Sie einen Bereich auswählen möchten, der nicht den von dem Computer Vision-Modul identifizierten UI-Elementen entspricht, oder wenn Sie einen allgemeinen Bereich in der Benutzeroberfläche auswählen möchten, ohne ein bestimmtes UI-Element anzugeben.
Das relative Ziel kann entweder ein einzelner Punkt oder eine Bereichsauswahl in der Anwendung sein, die Sie automatisieren.
Die Einzelpunktauswahl wird normalerweise an einer Stelle platziert, an der die Computer Vision-Erkennung nicht genau ist und bestimmte Elemente möglicherweise nicht findet. Die Aktivitäten, die die Einzelpunktauswahl verwenden, sind CV Click, CV Hover und CV Type Into.
Die Bereichsauswahl wird von CV Get Text verwendet und für diese Aktivität automatisch aktiviert.
Generell muss jeder hinzugefügte Anker zur Runtime gefunden werden. Das heißt, wenn nicht mindestens ein Anker gefunden wird, kann die gesamte Auswahl nicht gefunden werden. Anker müssen also stabile Elemente sein, von denen Sie mit Sicherheit wissen, dass sie von Computer Vision jedes Mal erkannt werden können und die sich in der Benutzeroberfläche zur Runtime nicht erheblich verändern.
Angenommen, Sie möchten auf die Schaltfläche „X“ in der Abbildung unten klicken. Sie sehen, dass sich das Ziel auf der Schaltfläche „X“ befindet, aber der Klick erfolgt im grünen Kreis. Dies liegt daran, dass Sie sich dafür entschieden haben, relativ zur Schaltfläche „X“ zu klicken. Wenn Computer Vision also ein bestimmtes UI-Element nicht erkennen kann, sollte die Funktion Relativ zu nicht verwendet werden.
Um die Schaltfläche „X“ auszuwählen und nicht einen Bereich relativ dazu, vergewissern Sie sich, dass die Schaltfläche „X“ einen grünen Umriss hat.
Wenn die Schaltfläche „X“ nicht stabil ist, können Sie relativ zu einem stabilen Element klicken.
Tabellenanzeige
Die Computer Vision-Aktivitäten bieten auch Unterstützung für das Anzeigen von Tabellen. Das Targeting in Tabellen kann durch Auswählen einer Zelle erfolgen, mit der Sie interagieren möchten, wodurch das neuronale Netzwerk automatisch die Spalte und die Zeile identifiziert, die die Position dieser Zelle definieren, und sie in einem Raster anzeigt.
Standardmäßig werden die Namen der Spalte und Zeile im Deskriptor verwendet, um die Position der Zelle zu bestimmen. Wenn Sie auf die Spalten- und Zeilenindizes klicken, werden sie automatisch zu Ihrem Deskriptor hinzugefügt. Dies kann in Situationen nützlich sein, in denen Spalten- und Zeilennamen geändert werden, Sie aber dieselbe Position einer Zelle extrahieren möchten.
Nachdem Sie das Zielerfolgreich angegeben haben, wird der Assistent geschlossen und die Aktivität wird mit dem von Ihnen ausgewählten Ziel konfiguriert.