- Überblick
- Über die UI-Automatisierungsaktivitäten
- UI-Automatisierung (UI Automation)
- Mit UI-Automatisierung automatisierte Anwendungen und Technologien
- Projektkompatibilität
- UI-ANA-016 – URL zum Öffnen eines Browsers abrufen
- UI-ANA-017 – ContinueOnError True
- UI-ANA-018 – OCR-/Bildaktivitäten auflisten
- UI-DBP-006 – Containernutzung
- UI-DBP-013 – Falscher Gebrauch von Excel-Automatisierung
- UI-DBP-030 – Verwendung unzulässiger Variablen in Selektoren
- UI-PRR-001 – Klick simulieren
- UI-PRR-002 – Typ simulieren
- UI-PRR-003 – Offener Anwendungsmissbrauch
- UI-PRR-004 – Hartcodierte Verzögerungen
- UI-REL-001 – Große IDX in Selektoren
- UI-SEC-004 – Selektor-E-Mail-Daten
- UI-SEC-010 – App-/URL-Einschränkungen
- UI-USG-011 – Nicht zulässige Attribute
- UX-SEC-010 – App-/URL-Einschränkungen
- UX-DBP-029 – Unsichere Kennwortnutzung
- UI-PST-001 – Prüfungsprotokollebene in Projekteinstellungen
- UiPath-Browsermigrationstool
- Clippingbereich
- Computer Vision Recorder
- Aktivieren (Activate)
- Ankerbasis (Anchor Base)
- Browser anhängen (Attach Browser)
- Fenster anhängen (Attach Window)
- Benutzeingabe blockieren (Block User Input)
- Textfeld (Callout)
- Prüfen (Check)
- Klicken (Click)
- Bild anklicken (Click Image)
- Bild-Trigger anklicken (Click Image Trigger)
- OCR-Text anklicken (Click OCR Text)
- Text anklicken (Click Text)
- Trigger anklicken (Click Trigger)
- Anwendung schließen (Close Application)
- Registerkarte schließen (Close Tab)
- Fenster schließen (Close Window)
- Kontextbewusster Anker
- Ausgewählten Text kopieren (Copy Selected Text)
- Element Attribute Change Trigger
- Element vorhanden (Element Exists)
- Elementumfang (Element Scope)
- Element State Change Trigger
- Export UI Tree
- Strukturierte Daten extrahieren (Extract Structured Data)
- Untergeordnete Elemente finden (Find Children)
- Element finden (Find Element)
- Bild finden (Find Image)
- Bildübereinstimmung finden (Find Image Matches)
- OCR-Textposition finden (Find OCR Text Position)
- Relatives Element finden (Find Relative Element)
- Textposition finden (Find Text Position)
- Aktives Fenster abrufen (Get Active Window)
- Vorgänger-Element erhalten (Get Ancestor)
- Attribut erhalten (Get Attribute)
- Ereignisinfo erhalten (Get Event Info)
- Aus Zwischenablage erhalten (Get From Clipboard)
- Volltext erhalten (Get Full Text)
- OCR-Text erhalten (Get OCR Text)
- Passwort erhalten (Get Password)
- Position erhalten (Get Position)
- Quellelement erhalten (Get Source Element)
- Text erhalten (Get Text)
- Sichtbaren Text erhalten (Get Visible Text)
- Zurück (Go Back)
- Weiter (Go Forward)
- Zur Startseite (Go Home)
- Google Cloud Vision OCR
- Fenster ausblenden (Hide Window)
- Markieren (Highlight)
- Hotkey-Trigger (Hotkey Trigger)
- Darauf zeigen (Hover)
- Auf Bild zeigen (Hover Image)
- Auf OCR-Text zeigen (Hover OCR Text)
- Text beim Darauf zeigen (Hover Text)
- Bild vorhanden (Image Exists)
- Auf Bildschirm anzeigen (Indicate On Screen)
- .NET-Code einfügen
- Inject Js Script
- ActiveX-Methode aufrufen
- Tastendruck-Trigger (Key Press Trigger)
- Bild laden (Load Image)
- Fenster maximieren (Maximize Window)
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Fenster minimieren (Minimize Window)
- Ereignisse überwachen (Monitor Events)
- Maus-Trigger (Mouse Trigger)
- Fenster verschieben (Move Window)
- Navigieren zu (Navigate To)
- OCR-Text vorhanden (OCR Text Exists)
- Auf Element erscheinen (On Element Appear)
- Auf Element verschwinden (On Element Vanish)
- Auf Bild erscheinen (On Image Appear)
- Auf Bild verschwinden (On Image Vanish)
- Anwendung öffnen (Open Application)
- Browser öffnen (Open Browser)
- Browser aktualisieren (Refresh Browser)
- Benutzerereignis wiedergeben (Replay User Event)
- Fenster wiederherstellen (Restore Window)
- Bild speichern (Save Image)
- Objekt auswählen (Select Item)
- Mehrere Objekte auswählen (Select Multiple Items)
- Hotkey senden (Send Hotkey)
- Ausschneidebereich einstellen (Set Clipping Region)
- Fokus legen auf (Set Focus)
- Text einstellen (Set Text)
- Auf Zwischenablage setzen (Set To Clipboard)
- Web-Attribut setzen (Set Web Attribute)
- Fenster anzeigen (Show Window)
- Prozess starten (Start Process)
- System-Trigger (System Trigger)
- Screenshot anfertigen (Take Screenshot)
- Tesseract OCR
- Text vorhanden (Text Exists)
- Tooltip
- Eingeben in (Type Into)
- Sicheren Text eingeben (Type Secure Text)
- Vordergrund verwenden
- Attribut abwarten (Wait Attribute)
- Warten, bis Element verschwindet (Wait Element Vanish)
- Warten, bis Bild verschwindet (Wait Image Vanish)
- Application event trigger
- Check/Uncheck
- Check App State
- Check Element
- Klicken (Click)
- Click Event Trigger
- Popup schließen
- Ziehen und Ablegen
- Extract Table Data
- For Each UI Element
- Attribut erhalten (Get Attribute)
- Get Browser Data
- Text erhalten (Get Text)
- Get URL
- Zu URL wechseln
- Markieren (Highlight)
- Darauf zeigen (Hover)
- Inject Js Script
- Tastenkombinationen
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Objekt auswählen (Select Item)
- Set Browser Data
- Set Runtime Browser
- Text einstellen (Set Text)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Use Application/Browser
- Anhängen
- Prüfen (Check)
- Klicken (Click)
- Ziehen und Ablegen
- Daten extrahieren
- Attribut erhalten (Get Attribute)
- GetChildren
- GetRuntimeTarget
- GetText
- Get URL
- GoToUrl
- Markieren (Highlight)
- Darauf zeigen (Hover)
- IsEnabled
- Tastaturkürzel (Keyboard Shortcut)
- Mouse Scroll
- Offen
- Objekt auswählen (Select Item)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Wartestatus
- Führen Sie eine Browsersuche durch und rufen Sie Ergebnisse mithilfe von UIAutomation-APIs ab
- Web-Browsing
- Finden von Bildern
- Klicken auf Bilder
- Auslösen und Überwachen von Ereignissen
- Erstellen und Überschreiben von Dateien
- HTML-Seiten: Extrahieren und Bearbeiten von Informationen
- Bearbeiten von Fenstern
- Automatisierte Listenauswahl
- Finden und Bearbeiten von Fensterelementen
- Verwalten der Textautomatisierung
- Laden und Verarbeiten von Bildern
- Verwalten von mausaktivierten Aktionen
- Automatisieren der Anwendungslaufzeit
- Automatisierte Ausführung einer lokalen Anwendung
- Browsernavigation
- Web-Automatisierung
- Beispiel für Trigger Scope
- Computer Vision Local Server
- Mobile Automation
- Versionshinweise
- Projektkompatibilität
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Install App
- Manage Current App
- Manage Other App
- DeepLink öffnen
- Open URL
- Mobile Device Connection
- Richtungswechsel
- Muster zeichnen
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Screenshot anfertigen (Take Screenshot)
- Take Screenshot Part
- Element vorhanden (Element Exists)
- Execute Command
- Attribut erhalten (Get Attribute)
- Get Selected Item
- Text erhalten (Get Text)
- Set Selected Item
- Text einstellen (Set Text)
- Wischen
- Tap
- Type Text
- Terminal
- Versionshinweise
- Über das Terminal-Aktivitätspaket
- Projektkompatibilität
- Best Practices
- Find Text
- Get Color At Position
- Get Cursor Position
- Feld erhalten (Get Field)
- Feld an Position erhalten (Get Field at Position)
- Bildschirmbereich erhalten (Get Screen Area)
- Text erhalten (Get Text)
- Text an Position erhalten (Get Text at Position)
- Cursor bewegen (Move Cursor)
- Move Cursor to Text
- Strg-Taste senden (Send Control Key)
- Tasten senden (Send Keys)
- Sichere Tasten senden (Send Keys Secure)
- Feld setzen (Set Field)
- Feld an Position setzen (Set Field at Position)
- Terminalsitzung (Terminal Session)
- Warte auf Feldtext (Wait Field Text)
- Warte auf Bildschirmtext (Wait Screen Text)
- Warte auf Text an Position (Wait Text at Position)
Über die UI-Automatisierungsaktivitäten
UI-Automatisierungsaktivitäten ermöglichen Ihnen die Interaktion mit Elementen der grafischen Benutzeroberfläche in Softwareanwendungen. Zu diesen Aktivitäten gehören das Klicken auf Schaltflächen, Eingeben in Textfelder, Auswählen aus Dropdownmenüs und vieles mehr. Dies geschieht durch den Einsatz von UiPath-Robotern, die Aufgaben auf die gleiche Weise wie ein menschlicher Benutzer ausführen, was die Automatisierung komplexer Geschäftsprozesse und sich wiederholender Aufgaben erleichtert.
Bei der Automatisierung von Benutzeroberflächen besteht die erste Phase darin, die logische Abfolge von Schritten zu verstehen, die ein menschlicher Benutzer ausführen würde. In der nächsten Phase werden diese Schritte in Aktivitäten umgewandelt und konfiguriert. UI-Automatisierungsaktivitäten können als Container, Eingabe-, Ausgabe- und Synchronisierungsaktivitäten dienen, während die Aktivitätseigenschaften bestimmen, wie die Actions-Roboter eine Aktion ausführen.
Die UI-Automatisierungsaktivitäten umfassen die folgenden Pakete:
- UI-Automatisierung (UI Automation)
- Computer Vision Local Server
- Mobile Automation
- Terminal
Verwenden Sie die folgende Tabelle, um die Kompatibilität zwischen der Plattform und den Aktivitätspaketen zu identifizieren:
| Aktivitätspaket | Windows – Studio-Legacy-Projekte | Windows Studio-Projekte (modern) | Plattformübergreifende Studio-Projekte |
|---|---|---|---|
| UI-Automatisierung (UI Automation) |
|
|
|
| Computer Vision Local Server |
|
|
|
| Mobile Automation |
|
|
|
| Terminal |
|
|
|
Das UIAutomation -Aktivitätspaket bietet eine umfangreiche Reihe von Funktionen zur Simulation von menschlichem Verhalten. Sie bietet leistungsstarke und umfassende Funktionen, die die Produktivität steigern, indem sie Automatisierungen für die Benutzeroberfläche erstellen, Zeit sparen und Fehler minimieren. Einige der häufigsten Anwendungsfälle sind:
- Automatisierung von Geschäftsprozessen, z. B. Kundenservice, Buchhaltung, Auftragsbearbeitung, Mitarbeiter-Onboarding usw.
- Web-Scraping, wie Kundenfeedback-Analyse, Preisvergleich, Lead-Generierung, Produktbewertungs-Scraping usw.
- Automatisierte Tests auf Benutzeroberflächen, um sicherzustellen, dass die Anwendungen ordnungsgemäß funktionieren
Weitere Informationen finden Sie im AbschnittUI-Automatisierungspaket .
Das Paket „ Computer Vision Local Server “ enthält keine Aktivitäten, aber nach der Installation in einem Projekt können Sie einen lokalen AI Computer Vision-Server verwenden.
AI Computer Vision ist eine KI-Fähigkeit, die es allen UiPath-Robotern ermöglicht, den Bildschirm zu erfassen und alle UI-Elemente visuell zu identifizieren, anstatt sich auf Selektoren oder Bilder zu verlassen. Es handelt sich um einen Algorithmus, der eine menschenähnliche Erkennung von Benutzeroberflächen ermöglicht, indem eine Mischung aus KI, OCR, Text-Fuzzy-Matching und einem Ankersystem alles miteinander verknüpft.
Weitere Informationen finden Sie im AbschnittPaketabschnitt Computer Vision Local Server .
Das Mobile Automation -Aktivitätspaket bietet eine robuste Reihe von Aktivitäten zum Automatisieren von Tests und Interaktionen mobiler Anwendungen. Sie bietet Tools zum Testen von Android- und iOS-Anwendungen und ermöglicht unter anderem Actions wie Tippen, Wischen, Eingeben von Text und Validieren mobiler Elemente. Zu den wichtigsten Funktionen des Aktivitätspakets gehören:
- Plattformübergreifende mobile Automatisierung – Automatisieren Sie mobile Anwendungen auf Android- und iOS-Plattformen
- Interaktion mit mobilen Elementen – Führen Sie Actions wie Tippen, Wischen, Scrollen und Eingeben von Text auf mobilen Zielelementen aus
- Validierung und Verifizierung mobiler Elemente – Validieren Sie die Eigenschaften mobiler Elemente, die erwarteten Werte und behandeln Sie bestimmte Szenarien
- Mobilgeräteverwaltung – Geräteinformationen erfassen, die Geräteausrichtung verwalten, die Netzwerkkonnektivität steuern, Anwendungen installieren und deinstallieren und gerätespezifische Einstellungen vornehmen
Erste Schritte mit Mobile Automation
Mit dem Terminal -Aktivitätspaket können Sie sich mit einer Vielzahl von Terminalumgebungen über eine Direktverbindung oder Terminal-Emulatoren verbinden.
Anschließend können Sie Aktivitäten verwenden, um Actions wie das Abrufen von Text, Farben, Feldern oder Bildschirmpositionen, das Senden von Tasten, das Bewegen des Cursors oder das Warten auf bestimmte Texte oder Felder als Trigger auszuführen.
Weitere Informationen finden Sie im AbschnittTerminal-Pakete.
