- Überblick
- UI-Automatisierung (UI Automation)
- Mit UI-Automatisierung automatisierte Anwendungen und Technologien
- Projektkompatibilität
- UI-ANA-016 – URL zum Öffnen eines Browsers abrufen
- UI-ANA-017 – ContinueOnError True
- UI-ANA-018 – OCR-/Bildaktivitäten auflisten
- UI-DBP-006 – Containernutzung
- UI-DBP-013 – Falscher Gebrauch von Excel-Automatisierung
- UI-DBP-030 – Verwendung unzulässiger Variablen in Selektoren
- UI-PRR-001 – Klick simulieren
- UI-PRR-002 – Typ simulieren
- UI-PRR-003 – Offener Anwendungsmissbrauch
- UI-PRR-004 – Hartcodierte Verzögerungen
- UI-REL-001 – Große IDX in Selektoren
- UI-SEC-004 – Selektor-E-Mail-Daten
- UI-SEC-010 – App-/URL-Einschränkungen
- UI-USG-011 – Nicht zulässige Attribute
- UX-SEC-010 – App-/URL-Einschränkungen
- UX-DBP-029 – Unsichere Kennwortnutzung
- UI-PST-001 – Prüfungsprotokollebene in Projekteinstellungen
- UiPath-Browsermigrationstool
- Clippingbereich
- Computer Vision Recorder
- Aktivieren (Activate)
- Ankerbasis (Anchor Base)
- Browser anhängen (Attach Browser)
- Fenster anhängen (Attach Window)
- Benutzeingabe blockieren (Block User Input)
- Textfeld (Callout)
- Prüfen (Check)
- Klicken (Click)
- Bild anklicken (Click Image)
- Bild-Trigger anklicken (Click Image Trigger)
- OCR-Text anklicken (Click OCR Text)
- Text anklicken (Click Text)
- Trigger anklicken (Click Trigger)
- Anwendung schließen (Close Application)
- Registerkarte schließen (Close Tab)
- Fenster schließen (Close Window)
- Kontextbewusster Anker
- Ausgewählten Text kopieren (Copy Selected Text)
- Element Attribute Change Trigger
- Element vorhanden (Element Exists)
- Elementumfang (Element Scope)
- Element State Change Trigger
- Export UI Tree
- Strukturierte Daten extrahieren (Extract Structured Data)
- Untergeordnete Elemente finden (Find Children)
- Element finden (Find Element)
- Bild finden (Find Image)
- Bildübereinstimmung finden (Find Image Matches)
- OCR-Textposition finden (Find OCR Text Position)
- Relatives Element finden (Find Relative Element)
- Textposition finden (Find Text Position)
- Aktives Fenster abrufen (Get Active Window)
- Vorgänger-Element erhalten (Get Ancestor)
- Attribut erhalten (Get Attribute)
- Ereignisinfo erhalten (Get Event Info)
- Aus Zwischenablage erhalten (Get From Clipboard)
- Volltext erhalten (Get Full Text)
- OCR-Text erhalten (Get OCR Text)
- Passwort erhalten (Get Password)
- Position erhalten (Get Position)
- Quellelement erhalten (Get Source Element)
- Text erhalten (Get Text)
- Sichtbaren Text erhalten (Get Visible Text)
- Zurück (Go Back)
- Weiter (Go Forward)
- Zur Startseite (Go Home)
- Google Cloud Vision OCR
- Fenster ausblenden (Hide Window)
- Markieren (Highlight)
- Hotkey-Trigger (Hotkey Trigger)
- Darauf zeigen (Hover)
- Auf Bild zeigen (Hover Image)
- Auf OCR-Text zeigen (Hover OCR Text)
- Text beim Darauf zeigen (Hover Text)
- Bild vorhanden (Image Exists)
- Auf Bildschirm anzeigen (Indicate On Screen)
- .NET-Code einfügen
- Inject Js Script
- ActiveX-Methode aufrufen
- Tastendruck-Trigger (Key Press Trigger)
- Bild laden (Load Image)
- Fenster maximieren (Maximize Window)
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Fenster minimieren (Minimize Window)
- Ereignisse überwachen (Monitor Events)
- Maus-Trigger (Mouse Trigger)
- Fenster verschieben (Move Window)
- Navigieren zu (Navigate To)
- OCR-Text vorhanden (OCR Text Exists)
- Auf Element erscheinen (On Element Appear)
- Auf Element verschwinden (On Element Vanish)
- Auf Bild erscheinen (On Image Appear)
- Auf Bild verschwinden (On Image Vanish)
- Anwendung öffnen (Open Application)
- Browser öffnen (Open Browser)
- Browser aktualisieren (Refresh Browser)
- Benutzerereignis wiedergeben (Replay User Event)
- Fenster wiederherstellen (Restore Window)
- Bild speichern (Save Image)
- Objekt auswählen (Select Item)
- Mehrere Objekte auswählen (Select Multiple Items)
- Hotkey senden (Send Hotkey)
- Ausschneidebereich einstellen (Set Clipping Region)
- Fokus legen auf (Set Focus)
- Text einstellen (Set Text)
- Auf Zwischenablage setzen (Set To Clipboard)
- Web-Attribut setzen (Set Web Attribute)
- Fenster anzeigen (Show Window)
- Prozess starten (Start Process)
- System-Trigger (System Trigger)
- Screenshot anfertigen (Take Screenshot)
- Tesseract OCR
- Text vorhanden (Text Exists)
- Tooltip
- Eingeben in (Type Into)
- Sicheren Text eingeben (Type Secure Text)
- Vordergrund verwenden
- Attribut abwarten (Wait Attribute)
- Warten, bis Element verschwindet (Wait Element Vanish)
- Warten, bis Bild verschwindet (Wait Image Vanish)
- Application event trigger
- Check/Uncheck
- Check App State
- Check Element
- Klicken (Click)
- Click Event Trigger
- Popup schließen
- Ziehen und Ablegen
- Extract Table Data
- For Each UI Element
- Attribut erhalten (Get Attribute)
- Get Browser Data
- Text erhalten (Get Text)
- Get URL
- Zu URL wechseln
- Markieren (Highlight)
- Darauf zeigen (Hover)
- Inject Js Script
- Tastenkombinationen
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Objekt auswählen (Select Item)
- Set Browser Data
- Set Runtime Browser
- Text einstellen (Set Text)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Use Application/Browser
- Anhängen
- Prüfen (Check)
- Klicken (Click)
- Ziehen und Ablegen
- Daten extrahieren
- Attribut erhalten (Get Attribute)
- GetChildren
- GetRuntimeTarget
- GetText
- Get URL
- GoToUrl
- Markieren (Highlight)
- Darauf zeigen (Hover)
- IsEnabled
- Tastaturkürzel (Keyboard Shortcut)
- Mouse Scroll
- Offen
- Objekt auswählen (Select Item)
- Screenshot anfertigen (Take Screenshot)
- Eingeben in (Type Into)
- Wartestatus
- Führen Sie eine Browsersuche durch und rufen Sie Ergebnisse mithilfe von UIAutomation-APIs ab
- Web-Browsing
- Finden von Bildern
- Klicken auf Bilder
- Auslösen und Überwachen von Ereignissen
- Erstellen und Überschreiben von Dateien
- HTML-Seiten: Extrahieren und Bearbeiten von Informationen
- Bearbeiten von Fenstern
- Automatisierte Listenauswahl
- Finden und Bearbeiten von Fensterelementen
- Verwalten der Textautomatisierung
- Laden und Verarbeiten von Bildern
- Verwalten von mausaktivierten Aktionen
- Automatisieren der Anwendungslaufzeit
- Automatisierte Ausführung einer lokalen Anwendung
- Browsernavigation
- Web-Automatisierung
- Beispiel für Trigger Scope
- Computer Vision Local Server
- Mobile Automation
- Versionshinweise
- Projektkompatibilität
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Install App
- Manage Current App
- Manage Other App
- DeepLink öffnen
- Open URL
- Mobile Device Connection
- Richtungswechsel
- Muster zeichnen
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Screenshot anfertigen (Take Screenshot)
- Take Screenshot Part
- Element vorhanden (Element Exists)
- Execute Command
- Attribut erhalten (Get Attribute)
- Get Selected Item
- Text erhalten (Get Text)
- Set Selected Item
- Text einstellen (Set Text)
- Wischen
- Tap
- Type Text
- Terminal
- Versionshinweise
- Über das Terminal-Aktivitätspaket
- Projektkompatibilität
- Best Practices
- Find Text
- Get Color At Position
- Get Cursor Position
- Feld erhalten (Get Field)
- Feld an Position erhalten (Get Field at Position)
- Bildschirmbereich erhalten (Get Screen Area)
- Text erhalten (Get Text)
- Text an Position erhalten (Get Text at Position)
- Cursor bewegen (Move Cursor)
- Move Cursor to Text
- Strg-Taste senden (Send Control Key)
- Tasten senden (Send Keys)
- Sichere Tasten senden (Send Keys Secure)
- Feld setzen (Set Field)
- Feld an Position setzen (Set Field at Position)
- Terminalsitzung (Terminal Session)
- Warte auf Feldtext (Wait Field Text)
- Warte auf Bildschirmtext (Wait Screen Text)
- Warte auf Text an Position (Wait Text at Position)
App-/Web-Aufzeichnung
Über die App/den Web Recorder
Mit der Aufzeichnung können Sie bei der Automatisierung Ihrer Aufgaben viel Zeit sparen. Der App/Web Recorder erfasst Ihre Aktionen, während Sie sie auf dem Bildschirm ausführen, und generiert basierend auf Ihren Aktionen eine Use Application/Browser-Aktivität mit einer Reihe von darin enthaltenen Aktivitäten.
Alle Elemente der Benutzeroberfläche werden während der Aufzeichnung hervorgehoben, damit Sie sicher sein können, dass die richtigen Schaltflächen, Felder oder Menüs ausgewählt sind. Der Recorder erfasst eine Standardaktion für jeden Typ von UI-Element und ermöglicht es Ihnen auch, die gewünschte Aktion manuell auszuwählen, bevor Sie sie ausführen.
Der Recorder zeigt eine Vorschau der Aktivitäten an, die Ihrem Projekt in Echtzeit hinzugefügt werden. Die Vorschau enthält informative Screenshots, die auch den Aktivitäten im Automatisierungsprojekt hinzugefügt werden. Der Vorschauabschnitt kann reduziert werden, indem Sie auf die Überschrift Aufgezeichnete Schritte klicken.
Jede aufgezeichnete Aktion generiert eine Aktivität. In der folgenden Tabelle sind die Aktionen aufgeführt, die Sie aufzeichnen können, und die Aktivitäten, die für sie generiert werden. Einige Aktionen werden automatisch aufgezeichnet, d. h. die entsprechende Aktivität wird automatisch generiert, während andere vor der Aufzeichnung manuell ausgewählt werden müssen.
Automatisch aufgezeichnete Aktionen |
Aktionen, die vor der Aufzeichnung ausgewählt werden müssen |
---|---|
|
|
Aufzeichnen Ihrer Aktionen
- Öffnen Sie die Anwendung oder Webbrowserseite, die Sie automatisieren möchten.
-
Klicken Sie im Studio-Menüband auf App/Web Recorder , oder drücken Sie Strg+Alt+R auf Ihrer Tastatur. Abhängig von Ihrer Konfiguration befindet sich diese Option möglicherweise auch unter Aufzeichnung.
Das Fenster App/Web Recorder wird angezeigt.
-
(Optional) Standardmäßig erfolgt die Zielauswahl automatisch, nachdem Sie das UI-Element angegeben haben, mit dem Sie interagieren möchten. Wenn Sie Anker hinzufügen oder entfernen möchten, das Ziel entfernen und erneut hinzufügen möchten, nachdem Sie es angegeben haben, und die Auswahl vor dem Aufzeichnen von Schritten bestätigen möchten, wählen Sie Jeden Schritt bestätigenaus.
Auch wenn Sie diese Option nicht auswählen, können Sie sie schnell für einzelne Schritte in der Aufzeichnung aktivieren. Halten Sie dazu die Umschalttaste gedrückt, während Sie auf ein UI-Element klicken, mit dem Sie interagieren möchten, oder während Sie eine Option aus der AktionAuswählen auswählen Mauszeiger-Menü.
-
Nach dem Öffnen ist der Recorder bereit, Aktionen aufzuzeichnen. Wenn Sie es anhalten möchten, können Sie auf Aufzeichnen. klicken um die Aufzeichnung fortzusetzen.
Hinweis:Wenn Sie die App/den Web Recorder öffnen , während im Workflow-Designer eine Aktivität „ Anwendung/Browser verwenden “ ausgewählt ist, können Sie nur Aktionen für Elemente in der Anwendung oder im Browser angeben, die als Ziel für diese Aktivität festgelegt ist.
Wenn die Aktivität Anwendung/Browser verwenden nicht ausgewählt ist, können Sie Ihre Aktionen für alle Anwendungen aufzeichnen, die auf Ihrer Maschine geöffnet sind.
- (Optional) Sie können die Objekt-Repository- Unterstützung für den Recorder aktivieren, indem Sie auf die Schaltfläche Schaltfläche, mit der Sie vorhandene Object Repository-Objekte verwenden oder bei Bedarf neue erstellen können.
-
Geben Sie das Element an, für das Sie Aktionen ausführen möchten, indem Sie darauf klicken. Einzelne Elemente im Fenster werden hervorgehoben, wenn Sie die Maus darüber bewegen.
- Um die Standardaktion für das UI-Element aufzuzeichnen, mit dem Sie interagieren möchten, klicken Sie auf das Zielelement.
-
Um nicht standardmäßige Aktionen auszuführen (z. B. Aktionen, die von Aktivitäten wie Get Text, Hoverund mehr ausgeführt werden), zeigen Sie mit der Maus über das Zielelement, und wählen Sie dann eine Option aus der AktionAuswählen aus Mauszeigermenü, das neben dem Element angezeigt wird.
Sie können die Bildautomatisierung auch verwenden, indem Sie einen Bereich in Ihrer Anwendung ziehen und im Menü Aktion auswählen eine Aktion auswählen, die Sie ausführen möchten.
Nachdem eine manuell hinzugefügte Aktion aufgezeichnet wurde, kehrt der Recorder in den automatischen Auswahlmodus zurück.
Sie können das Layout des Menüs zwischen der Nur-Symbol- und der Listenansicht ändern oder es mithilfe der Schaltflächen oben rechts im Menü anheften, sodass es während der Aufzeichnung immer sichtbar ist.
-
Einige Aktionen erfordern Ihre Eingabe, bevor eine Aktivität generiert wird. Geben Sie daher die erforderlichen Informationen an, wenn Sie dazu aufgefordert werden, und drücken Sie dann die Eingabetaste auf Ihrer Tastatur, oder klicken Sie auf Bestätigen. Wenn Sie beispielsweise ein Textfeld ausgewählt haben, wird die Aktion „Eingeben in“ erkannt und Sie werden aufgefordert, den einzugebenden Text einzugeben.
Hinweis: Um sicherzustellen, dass die Aktion für das beabsichtigte Element ausgeführt wird, bewegen Sie die Maus nicht über ein anderes UI-Element, bis die Aktion für das aktuelle Zielelement ausgeführt wurde. - Die Aktion wird ausgeführt und die Aktivität wird generiert. Um fortzufahren, wählen Sie das nächste Element aus, mit dem Sie auf ähnliche Weise interagieren möchten, und wiederholen Sie dies, bis alle Aktionen aufgezeichnet wurden.
-
Wenn Sie mit der Aufzeichnung Ihrer Aktionen fertig sind, klicken Sie auf Speichern und kehren Sie zu Studio zurück , um den Recorder zu schließen und die Aktivitäten zu Ihrem Projekt hinzuzufügen.
Wenn beim Starten des Recorders eine Containeraktivität im Panel Designer ausgewählt wurde, werden die generierten Aktivitäten darin hinzugefügt. Wenn eine Aktivität ausgewählt wurde, die kein Container ist, werden die generierten Aktivitäten nach der ausgewählten Aktivität hinzugefügt.
Während der Aufzeichnung können Sie:
- Fügen Sie eine Verzögerung von 5 Sekunden bei der Elementauswahl hinzu, indem Sie F2 auf Ihrer Tastatur drücken. Sie können dies tun, wenn sich beispielsweise ein Element, mit dem Sie interagieren müssen, nicht im sichtbaren Bereich des Bildschirms befindet und Sie Zeit benötigen, um dorthin zu scrollen.
- Beenden Sie die Aufzeichnung jederzeit, indem Sie auf Pause klicken. Um die Aufzeichnung fortzusetzen, klicken Sie erneut auf Aufzeichnen.
- Verwenden Sie die Modifikatortasten, Alt, Strg, Umschalt.
-
Verwalten Sie die bisher hinzugefügten Aktivitäten mithilfe der Vorschau unter Aufgezeichnete Schritte:
- Entfernen Sie eine Aktivität, indem Sie auf Löschenklicken in der oberen rechten Ecke der Aktivität.
-
Konfigurieren Sie die Eingabe oder Ausgabe einiger Aktivitäten:
- Bearbeiten Sie den Text, der für Type Into eingegebenwerden soll.
- Aktualisieren Sie die Auswahl für Element auswählen.
- Ändern Sie die Aktion für Aktivieren/Deaktivieren.
- Entfernen Sie aufgezeichnete Sequenzen für Tastenkombinationen.
-
Wählen Sie aus, wo der kopierte Text für Get Text gespeichertwerden soll.
Im Fenster App/Web Recorder können Sie den Eingabemodus auswählen, der zum Ausführen der aufgezeichneten Aktionen verwendet wird, sowohl während der Aufzeichnung als auch zur Laufzeit, wenn der Workflow ausgeführt wird. Dies ermöglicht Echtzeittests der Eingabemethode für bestimmte Elemente. Wenn beispielsweise eine aufgezeichnete Aktion nicht ausgeführt zu werden scheint, ändern Sie die Eingabemethode in Hardwareereignisse, da das Element möglicherweise keine anderen Eingabemethoden unterstützt. Klicken auf zeigt ein Menü an, in dem Sie Chromium API, Window Messages, Hardware Eventsoder Simulateauswählen können. Standardmäßig ist die Eingabemethode auf Autofestgelegt, wodurch die beste Eingabemethode basierend auf den Projekteinstellungen automatisch ermittelt wird.
Klicken auf das Die Schaltfläche ermöglicht die vollständige Konfiguration der Ziele und gespeicherten Werte. Wenn sie aktiviert ist, müssen alle Ziele mit der blauen Schaltfläche bestätigt werden, die beim Bewegen des Mauszeigers über das Ziel angezeigt wird (ähnlich dem Auswahlbildschirm). Dieser Modus sollte verwendet werden, wenn während der Aufzeichnung zusätzliche/unterschiedliche Anker hinzugefügt werden müssen.
Object Repository-Integration
Das Generieren von Object Repository- Objekten beim Durchführen einer Aufzeichnung kombiniert das Beste aus beiden Welten, sodass Sie im Handumdrehen funktionierende Automatisierungen erstellen können, und dies auf skalierbare Weise.
Wenn die Wenn der Schalter im Recorder aktiviert ist, wird jedes Element, das während der Aufzeichnung angezeigt wird, mit Objekten im Object Repository verglichen, was zu einem von drei Szenarien führt:
- Wenn das Objekt nicht gefunden wird, wird ein neues Objekt für das angegebene Element erstellt und kann dann problemlos wiederverwendet werden.
- Wenn das Objekt gefunden wird, wird es mit der aufgezeichneten Aktivität verknüpft.
-
Wenn mehrere Objekte gefunden werden, die mit dem angegebenen Element übereinstimmen, werden Sie aufgefordert, eines davon auszuwählen oder ein neues zu erstellen.
Hinweis: Die Verwendung großer Objekt-Repositorys mit dem Recorder kann dazu führen, dass die Ausführung langsamer wird
Automatisch generierte Aktivitäten
Die folgenden Aktivitäten werden automatisch generiert, wenn die entsprechende Aktion erkannt wird. Bei Bedarf können Sie die Eigenschaften der Aktivitäten nach Abschluss der Aufzeichnung aktualisieren.
-
Klicken (Click) - Wird generiert, wenn Sie während der Aufzeichnung eine Schaltfläche oder einen Link auswählen. Der Klicktyp und die Maustaste werden ebenfalls aufgezeichnet.
-
Eingeben in (Type Into ) – Wird generiert, wenn Sie ein Textfeld oder andere bearbeitbare UI-Elemente während der Aufzeichnung auswählen.
Nachdem Sie das Textfeld ausgewählt haben, werden Sie aufgefordert, den Text einzugeben, um die Aktion abzuschließen. Sie können Nur Text auswählen, um den Text direkt in das Dialogfeld einzugeben, oder Ausdruck auswählen, um Excel-Daten auszuwählen oder für spätere Werte aus dem Plus Menü (in StudioX) oder einen Ausdruck (in Studio). Standardmäßig ist die Option Leeres Feld ausgewählt, um vorhandenen Text vor der Eingabe zu entfernen.
-
Element auswählen – Wird generiert, wenn Sie während der Aufzeichnung eine Dropdownliste oder ein Kombinationsfeld auswählen. Nachdem Sie die Dropdownliste ausgewählt haben, werden Sie aufgefordert, ein Element aus der Liste auszuwählen, um die Actionsabzuschließen.
-
Aktivieren/Deaktivieren – Wird generiert, wenn Sie ein Optionsfeld oder ein Kontrollkästchen aktivieren. Die Standardaktionen, die für das Kontrollkästchen Actions werden sollen, ist Umschalten.
- Tastenkombinationen – Werden generiert, wenn Sie während der Aufzeichnung eine Kombination von Tastenkombinationen drücken.
Manuell generierte Aktivitäten
In einigen Situationen müssen Sie die Aktion manuell auswählen, die als Nächstes ausgeführt werden soll, bevor Sie die Aktion aufzeichnen und die Aktivität generieren.
-
Die folgenden Aktionen können nicht automatisch aufgezeichnet werden:
- Kopieren Sie Text aus einer Anwendung oder einem Webbrowser mithilfe der Aktivität „ Get Text “. Nachdem Sie die Actions und das Zielelement ausgewählt haben, geben Sie an, wo der kopierte Text aus der Vorschau der Aktivität Aufgezeichnete Schritte gespeichert werden soll. Wenn die Option Jeden Schritt bestätigen ausgewählt ist, werden Sie aufgefordert, anzugeben, wo der Text gespeichert werden soll, nachdem Sie das Ziel bestätigt haben.
- Zeigen Sie auf ein UI-Element mithilfe der Aktivität Hover.
- Heben Sie ein UI-Element mit der Aktivität Highlight hervor.
- Die automatisch aufgezeichnete Aktion ist möglicherweise nicht die gewünschte Aktion. Sie haben beispielsweise in Notepad auf den Textbereich geklickt, um etwas einzutippen, aber die standardmäßig aufgezeichnete Aktion war „Klick“. In diesem Fall können Sie die standardmäßig hinzugefügte Aktion löschen und die beabsichtigte Aktivität manuell hinzufügen.
Sie können manuell auswählen, welche Aktion aus der AktionAuswählen ausgeführt werden soll Mauszeigermenü, das während der Aufzeichnung neben UI-Elementen angezeigt wird.