- Überblick
- UI-Automatisierung (UI Automation)
- Mit UI-Automatisierung automatisierte Anwendungen und Technologien
- Projektkompatibilität
- UI-ANA-016 – URL zum Öffnen eines Browsers abrufen
- UI-ANA-017 – ContinueOnError True
- UI-ANA-018 – OCR-/Bildaktivitäten auflisten
- UI-DBP-006 – Containernutzung
- UI-DBP-013 – Falscher Gebrauch von Excel-Automatisierung
- UI-DBP-030 – Verwendung unzulässiger Variablen in Selektoren
- UI-PRR-001 – Klick simulieren
- UI-PRR-002 – Typ simulieren
- UI-PRR-003 – Offener Anwendungsmissbrauch
- UI-PRR-004 – Hartcodierte Verzögerungen
- UI-REL-001 – Große IDX in Selektoren
- UI-SEC-004 – Selektor-E-Mail-Daten
- UI-SEC-010 – App-/URL-Einschränkungen
- UI-USG-011 – Nicht zulässige Attribute
- UX-SEC-010 – App-/URL-Einschränkungen
- UX-DBP-029 – Unsichere Kennwortnutzung
- UI-PST-001 – Prüfungsprotokollebene in Projekteinstellungen
- UiPath-Browsermigrationstool
- Clippingbereich
- Computer Vision Recorder
- Activities index
- Aktivieren (Activate)
- Ankerbasis (Anchor Base)
- Browser anhängen (Attach Browser)
- Fenster anhängen (Attach Window)
- Benutzeingabe blockieren (Block User Input)
- Textfeld (Callout)
- Prüfen (Check)
- Klicken (Click)
- Bild anklicken (Click Image)
- Bild-Trigger anklicken (Click Image Trigger)
- OCR-Text anklicken (Click OCR Text)
- Text anklicken (Click Text)
- Trigger anklicken (Click Trigger)
- Anwendung schließen (Close Application)
- Registerkarte schließen (Close Tab)
- Fenster schließen (Close Window)
- Kontextbewusster Anker
- Ausgewählten Text kopieren (Copy Selected Text)
- Element Attribute Change Trigger
- Element vorhanden (Element Exists)
- Elementumfang (Element Scope)
- Element State Change Trigger
- Export UI Tree
- Strukturierte Daten extrahieren (Extract Structured Data)
- Untergeordnete Elemente finden (Find Children)
- Element finden (Find Element)
- Bild finden (Find Image)
- Bildübereinstimmung finden (Find Image Matches)
- OCR-Textposition finden (Find OCR Text Position)
- Relatives Element finden (Find Relative Element)
- Textposition finden (Find Text Position)
- Aktives Fenster abrufen (Get Active Window)
- Vorgänger-Element erhalten (Get Ancestor)
- Attribut erhalten (Get Attribute)
- Ereignisinfo erhalten (Get Event Info)
- Aus Zwischenablage erhalten (Get From Clipboard)
- Volltext erhalten (Get Full Text)
- OCR-Text erhalten (Get OCR Text)
- Passwort erhalten (Get Password)
- Position erhalten (Get Position)
- Quellelement erhalten (Get Source Element)
- Text erhalten (Get Text)
- Sichtbaren Text erhalten (Get Visible Text)
- Zurück (Go Back)
- Weiter (Go Forward)
- Zur Startseite (Go Home)
- Google Cloud Vision OCR
- Fenster ausblenden (Hide Window)
- Markieren (Highlight)
- Hotkey-Trigger (Hotkey Trigger)
- Darauf zeigen (Hover)
- Auf Bild zeigen (Hover Image)
- Auf OCR-Text zeigen (Hover OCR Text)
- Text beim Darauf zeigen (Hover Text)
- Bild vorhanden (Image Exists)
- Auf Bildschirm anzeigen (Indicate On Screen)
- .NET-Code einfügen
- Inject Js Script
- ActiveX-Methode aufrufen
- Tastendruck-Trigger (Key Press Trigger)
- Bild laden (Load Image)
- Fenster maximieren (Maximize Window)
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Fenster minimieren (Minimize Window)
- Ereignisse überwachen (Monitor Events)
- Maus-Trigger (Mouse Trigger)
- Fenster verschieben (Move Window)
- Navigieren zu (Navigate To)
- OCR-Text vorhanden (OCR Text Exists)
- Auf Element erscheinen (On Element Appear)
- Auf Element verschwinden (On Element Vanish)
- Auf Bild erscheinen (On Image Appear)
- Auf Bild verschwinden (On Image Vanish)
- Anwendung öffnen (Open Application)
- Browser öffnen (Open Browser)
- Browser aktualisieren (Refresh Browser)
- Benutzerereignis wiedergeben (Replay User Event)
- Fenster wiederherstellen (Restore Window)
- Bild speichern (Save Image)
- Objekt auswählen (Select Item)
- Mehrere Objekte auswählen (Select Multiple Items)
- Hotkey senden (Send Hotkey)
- Ausschneidebereich einstellen (Set Clipping Region)
- Fokus legen auf (Set Focus)
- Text einstellen (Set Text)
- Auf Zwischenablage setzen (Set To Clipboard)
- Web-Attribut setzen (Set Web Attribute)
- Fenster anzeigen (Show Window)
- Prozess starten (Start Process)
- System-Trigger (System Trigger)
- Screenshot anfertigen (Take Screenshot)
- Tesseract OCR
- Text vorhanden (Text Exists)
- Tooltip
- Eingeben in (Type Into)
- Sicheren Text eingeben (Type Secure Text)
- Vordergrund verwenden
- Attribut abwarten (Wait Attribute)
- Warten, bis Element verschwindet (Wait Element Vanish)
- Warten, bis Bild verschwindet (Wait Image Vanish)
- Application event trigger
- Check/Uncheck
- Check App State
- Check Element
- Klicken (Click)
- Click Event Trigger
- Ziehen und Ablegen
- Extract Table Data
- For Each UI Element
- Attribut erhalten (Get Attribute)
- Get Browser Data
- Text erhalten (Get Text)
- Get URL
- Zu URL wechseln
- Markieren (Highlight)
- Darauf zeigen (Hover)
- Inject Js Script
- Tastenkombinationen
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Objekt auswählen (Select Item)
- Set Browser Data
- Set Runtime Browser
- Text einstellen (Set Text)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Use Application/Browser
- Anhängen
- Prüfen (Check)
- Klicken (Click)
- Ziehen und Ablegen
- Daten extrahieren
- Attribut erhalten (Get Attribute)
- GetChildren
- GetRuntimeTarget
- GetText
- Get URL
- GoToUrl
- Markieren (Highlight)
- Darauf zeigen (Hover)
- IsEnabled
- Tastaturkürzel (Keyboard Shortcut)
- Mouse Scroll
- Offen
- Objekt auswählen (Select Item)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Wartestatus
- Führen Sie eine Browsersuche durch und rufen Sie Ergebnisse mithilfe von UIAutomation-APIs ab
- Web-Browsing
- Finden von Bildern
- Klicken auf Bilder
- Auslösen und Überwachen von Ereignissen
- Erstellen und Überschreiben von Dateien
- HTML-Seiten: Extrahieren und Bearbeiten von Informationen
- Bearbeiten von Fenstern
- Automatisierte Listenauswahl
- Finden und Bearbeiten von Fensterelementen
- Verwalten der Textautomatisierung
- Laden und Verarbeiten von Bildern
- Verwalten von mausaktivierten Aktionen
- Automatisieren der Anwendungslaufzeit
- Automatisierte Ausführung einer lokalen Anwendung
- Browsernavigation
- Web-Automatisierung
- Beispiel für Trigger Scope
- Aktivieren der Unterstützung für die UI-Automatisierung in DevExpress
- Computer Vision Local Server
- Mobile Automation
- Versionshinweise
- Projektkompatibilität
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Install App
- Manage Current App
- Manage Other App
- DeepLink öffnen
- Open URL
- Mobile Device Connection
- Richtungswechsel
- Muster zeichnen
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Screenshot anfertigen (Take Screenshot)
- Take Screenshot Part
- Element vorhanden (Element Exists)
- Execute Command
- Attribut erhalten (Get Attribute)
- Get Selected Item
- Text erhalten (Get Text)
- Set Selected Item
- Text einstellen (Set Text)
- Wischen
- Tap
- Type Text
- Terminal
- Versionshinweise
- Über das Terminal-Aktivitätspaket
- Projektkompatibilität
- Best Practices
- Find Text
- Get Color At Position
- Get Cursor Position
- Feld erhalten (Get Field)
- Feld an Position erhalten (Get Field at Position)
- Bildschirmbereich erhalten (Get Screen Area)
- Text erhalten (Get Text)
- Text an Position erhalten (Get Text at Position)
- Cursor bewegen (Move Cursor)
- Move Cursor to Text
- Strg-Taste senden (Send Control Key)
- Tasten senden (Send Keys)
- Sichere Tasten senden (Send Keys Secure)
- Feld setzen (Set Field)
- Feld an Position setzen (Set Field at Position)
- Terminalsitzung (Terminal Session)
- Warte auf Feldtext (Wait Field Text)
- Warte auf Bildschirmtext (Wait Screen Text)
- Warte auf Text an Position (Wait Text at Position)
UIAutomation-Aktivitäten
Finden von Bildern
Im folgenden Beispiel wird erklärt, wie Sie ermitteln können, wie oft dasselbe Bild unter verschiedenen Namen erscheint. Dabei werden Aktivitäten wie Find Image Matches und Find Image verwendet. Diese Aktivitäten finden Sie im Paket UiPath.UIAutomation.Activities .
So kann der Automatisierungsprozess erstellt werden:
-
Öffnen Sie Studio und erstellen Sie einen neuen Prozess.
Hinweis: Zur Ausführung dieses Beispiels ist eine einfache Webseite mit einem vordefinierten Design erforderlich. Erstellen/verwenden Sie Ihre eigene Webseite oder verwenden Sie die von uns im herunterladbaren Beispiel bereitgestellte. -
Ziehen Sie einen Sequence-Container in den Workflow Designer und nennen Sie ihn Count Errors (Anzahl Fehler).
-
Erstellen Sie die folgenden Variablen:
Variablenname
Variablentyp
Standardwert
CurrentDirectory
String
XMatches
System.Collections.Generic.IEnumerable<UiPath.Core.UiElement>
PagePath
String
-
- Ziehen Sie einen Sequence-Container in den Container Count Errors (Anzahl Fehler) und nennen Sie ihn Init PagePath (Init Seitenpfad).
-
Öffnen Sie die Sequence Init PagePath (Init Seitenpfad) und fügen Sie darin eine Assign-Aktivität hinzu.
- Fügen Sie die Variable
CurrentDirectory
im Feld An hinzu. - Fügen Sie den Ausdruck
Environment.CurrentDirectory
in das Feld Werte ein.
- Fügen Sie die Variable
-
Fügen Sie eine weitere Assign-Aktivität unter der vorherigen hinzu.
- Fügen Sie die Variable
PagePath
im Feld An hinzu. - Fügen Sie den Ausdruck
Path.Combine(CurrentDirectory,"DemoPage","Table.html")
in das Feld Werte ein. -
So sollte Ihre Sequence Init PagePath (Init Seitenpfad) aussehen:
- Fügen Sie die Variable
- Kehren Sie zum Startbildschirm zurück.
-
Ziehen Sie eine Open Browser-Aktivität unter die Sequence Init PagePath (Init Seitenpfad).
- Fügen Sie die Variable
PagePath
in das Feld Url ein.
- Fügen Sie die Variable
-
Wählen Sie den Container Ausführen der Aktivität Open Browser aus und erstellen Sie folgende Variablen:
Variablenname
Variablentyp
Standardwert
Type1Err
Int32
0
Type2Err
Int32
0
- Ziehen Sie eine Maximize Window-Aktivität in den Container Ausführen.
-
Platzieren Sie eine Click-Aktivität unter der Aktivität Maximize Window.
-
Klicken Sie in der Aktivität auf die Option Element innerhalb des Browsers anzeigen. Wählen Sie die Schaltfläche Blockierten Inhalt zulassen wie im folgenden GIF aus:
- Fügen Sie im Bereich Eigenschaften die Variable
True
im Feld BeiFehlerFortsetzen hinzu. - Aktivieren Sie das Kontrollkästchen für die Option KlickSimulieren. Dabei verwendet der Klick die Technologie der Zielanwendung. Dies ist die schnellste Methode, die auch im Hintergrund ausgeführt wird. Wenn weder diese Option noch die Option FenstermeldungenAuswählen ausgewählt sind, verwendet der Klick die Hardwaremethode. Diese ist am langsamsten und kann nicht im Hintergrund ausgeführt werden.
-
-
Ziehen Sie eine Find Image Matches-Aktivität unter die Aktivität Click.
-
Klicken Sie in der Aktivität auf die Option Screenshot innerhalb des Browsers anzeigen. Wählen Sie die gewünschte Schaltfläche wie im folgenden GIF aus:
- Wählen Sie im Bereich Eigenschaften die Option
COMPLETE
aus der Dropdownliste WartenAufBereitschaft aus. - Fügen Sie die Variable
XMatches
in das Feld Übereinstimmungen ein.
-
-
Platzieren Sie eine Log Message-Aktivität unter die Aktivität Find Image Matches.
- Fügen Sie den Ausdruck
"Total number of errors: "+XMatches.Count.ToString
in das Feld Nachricht ein.
- Fügen Sie den Ausdruck
-
Ziehen Sie eine For Each-Aktivität unter die Aktivität Log Message.
- Fügen Sie den Wert
element
in das Feld ForEach und die VariableXMatches
in das Feld Werte ein.
- Fügen Sie den Wert
-
Ziehen Sie eine Hover-Aktivität in den Textkörper-Container der Aktivität For Each.
- Fügen Sie im Bereich Eigenschaften die Variable
element
in das Feld Element ein. - Wählen Sie die Option
COMPLETE
in der Dropdownliste WartenAufBereitschaft aus.
- Fügen Sie im Bereich Eigenschaften die Variable
- Platzieren Sie eine Pick-Aktivität unter die Aktivität Hover.
- Ziehen Sie eine Pick Branch-Aktivität in die Aktivität Pick und nennen Sie sie
PickBranch Type1
. -
Platzieren Sie eine Find Image-Aktivität im Container Trigger.
-
Klicken Sie in der Aktivität auf die Option Element innerhalb des Browsers anzeigen. Wählen Sie die gewünschte Schaltfläche wie im folgenden GIF aus:
-
-
Platzieren Sie eine Assign-Aktivität im Feld Aktion.
- Fügen Sie die Variable
Type1Err
im Feld An hinzu. - Fügen Sie den Ausdruck
Type1Err+1
in das Feld Wert ein.
- Fügen Sie die Variable
- Ziehen Sie eine weitere Pick Branch-Aktivität in die Aktivität Pick, platzieren Sie sie neben der zuvor hinzugefügten und benennen Sie sie
PickBranch Type2
. -
Platzieren Sie eine Find Image-Aktivität im Container Trigger.
-
Klicken Sie in der Aktivität auf die Option Element innerhalb des Browsers anzeigen. Wählen Sie die gewünschte Schaltfläche wie im folgenden GIF aus:
-
-
Platzieren Sie eine Assign-Aktivität im Feld Aktion.
- Fügen Sie die Variable
Type2Err
im Feld An hinzu. - Fügen Sie den Ausdruck
Type2Err+1
in das Feld Wert ein.
- Fügen Sie die Variable
-
Ziehen Sie eine Log Message-Aktivität unter die Aktivität For Each.
- Fügen Sie den Ausdruck
"Errors of type 1: "+ Type1Err.ToString
in das Feld Nachricht ein.
- Fügen Sie den Ausdruck
-
Ziehen Sie eine Log Message-Aktivität unter die vorherige Aktivität Log Message.
- Fügen Sie den Ausdruck
"Errors of type 2: "+ Type2Err.ToString
in das Feld Nachricht ein.
- Fügen Sie den Ausdruck
- Führen Sie den Prozess aus. Der Roboter identifiziert die Anzahl der Bilder, deren Titel
Type1
ist, und die Nummer des Bilds, das den NamenType2
hat.