Autopilot Recorder für UI-Automatisierung

Autopilot -Recorder für die UI-Automatisierung ist ein KI-gestütztes Tool, das den Prozess des Gerüsts für grundlegende UI-Automatisierungs-Sequences erheblich beschleunigen und vereinfachen soll.

Sie können mit dem Recorder UIAutomation-Sequences erstellen, indem Sie sowohl Aktivitäten über eine Eingabeaufforderung in natürlicher Sprache generieren als auch manuell hinzufügen.

Wichtig:

Das Hinzufügen von Schleifen der bedingten Logik wird nicht unterstützt. Der Recorder kann nur eine vordefinierte Liste grundlegender UI-Automatisierungsaktivitäten verarbeiten. Das Extrahieren von Datentabellen wird noch nicht unterstützt.

Nachdem Sie die gewünschte Sequence erstellt haben, wählen Sie einfach Speichern. Die zur Durchführung der Sequence erforderlichen Aktivitäten werden dann in Ihrem Studio Web-Workflow-Canvas befüllt.

Zugriff auf den Recorder

Führen Sie die folgenden Schritte aus, um auf den Autopilot Recorder für die UI-Automatisierung zuzugreifen:

1. Öffnen Sie ein vorhandenes Studio Web-Projekt oder erstellen Sie ein neues.

2. Fügen Sie im Workflow eine Aktivität Use Browser hinzu.

3. Wählen Sie unter In Scope arbeiten eine Registerkarte aus dem Dropdownmenü aus, die automatisiert werden soll.

4. Wählen Sie das Symbol UI Automation-Aktivitäten mit Autopilot generieren in der oberen rechten Ecke des informativen Screenshot-Felds oder die Schaltfläche Generieren aus . Die Schaltfläche Generieren ist nur sichtbar, wenn keine Aktivitäten innerhalb der Aktivität Use Browser vorhanden sind.

   

5. Der Recorder ist jetzt geöffnet.

   

Hinweis:

Wenn Sie ein Projekt von Grund auf mit Autopilot erstellen und der Workflow eine UIAutomation-Sequence erfordert, wird der zur UIAutomation-Sequence gehörende Teil der Textaufforderung im Recorder vorgeladen, sobald Sie in der Aktivität Use Browser die Option Generieren auswählen. Wenn Sie also in diesem Kontext auf den Recorder zugreifen, wird direkt mit dem Generieren der Aktivitäten begonnen.

Generieren von Aktivitäten per Texteingabeaufforderung

Führen Sie die folgenden Schritte aus, um Aktivitäten per Texteingabeaufforderung im Recorder zu generieren:

1. Wählen Sie die Plus-Schaltfläche aus.

   

2. Fahren Sie entweder mit Schritt a oder b fort. Unabhängig von der Auswahl ist das Ergebnis dasselbe.

   1. Wählen Sie die Option Mit Autopilot generieren von der Liste aus. Dadurch wird eine Platzhalteraktivitätskarte erstellt.
   2. Schreiben Sie einen Text-Prompt in das Textfeld Beschreiben Sie Ihre Aktionen auf dieser Seite , und drücken Sie dann die Taste Enter oder wählen Sie das Pfeilsymbol aus. Ein Prompt ist am effektivsten, wenn er die jeweilige Aufgabe genau beschreibt. Dies können Anweisungen wie „Einen neuen Lieferanten erstellen“ oder „Einen Auszeitantrag zwischen dem 25. und 30. Dezember erstellen“ anstelle einer allgemeinen Anweisung wie „Klicken Sie auf die Schaltfläche „Neu““ enthalten.

   3. Schreiben Sie eine Text-Eingabeaufforderung in das Suchfeld und drücken Sie dann die Taste Enter oder wählen Sie die Option Mit Autopilot generieren aus.

   

3. Die Aktivitäten werden nun über die Eingabeaufforderung generiert. Der Recorder verwendet nur die folgenden UIAutomation-Aktivitäten, um Sequences zu generieren:

   • Klicken (Click)
   • Eingeben in (Type Into)
   • Text erhalten (Get Text)
   • Objekt auswählen (Select Item)
   • Check/Uncheck

4. Die generierten Aktivitäten werden im Recorder aufgefüllt. Um zum nächsten Anwendungsstatus zu wechseln, wählen Sie die Taste Testen . Die Schaltfläche Test ist ein standardmäßig konfigurierter Ausführungsversuch mit einem Klick, der nur dazu dient, Sie beim Übergang zum nächsten Anwendungsstatus zu unterstützen, damit Sie mit dem Gerüst für Ihre Automatisierung fortfahren können.

   

5. Sie sind in den nächsten Anwendungsstatus übergegangen. Ausgeführte Aktivitäten werden mit einem grünen Häkchen gekennzeichnet. Wenn der standardmäßig konfigurierte Best-Effort-Ausführungsversuch aus irgendeinem Grund fehlschlägt, können Sie weiterhin frei mit der Anwendung interagieren, um die erforderlichen Schritte manuell auszuführen. Wenn die Eingabeaufforderung nicht vollständig abgedeckt ist, wählen Sie die Taste „Eingabeaufforderung“ fortsetzen .

   

6. Im Recorder wurde eine neue Aktivität hinzugefügt. Um zum nächsten Anwendungsstatus zu wechseln, wählen Sie die Taste Testen .

   

7. Sie sind in den nächsten Anwendungsstatus übergegangen. Sie können alternativ die Eingabeaufforderung „Weiter“ und Test verwenden, bis Sie den gewünschten Anwendungsstatus erreicht haben und die gesamte Eingabeaufforderung abgedeckt ist.

   

Manuelles Hinzufügen einer Aktivität

Führen Sie die folgenden Schritte aus, um eine Aktivität im Recorder manuell hinzuzufügen:

1. Wählen Sie die Plus-Schaltfläche aus.
2. Wählen Sie eine der folgenden UIAutomation-Aktivitäten aus der Liste aus:
   • Klicken (Click)
   • Eingeben in (Type Into)
   • Text erhalten (Get Text)
   • Objekt auswählen (Select Item)
   • Check/Uncheck
   • Darauf zeigen (Hover)
   • Tastenkombinationen
   • Screenshot anfertigen (Take Screenshot)
   • Attribut erhalten (Get Attribute)
   • Mouse Scroll
   • Check Element
3. Geben Sie ein Ziel an, indem Sie ein UI-Element auf dem Bildschirm auswählen.
4. Geben Sie einen Anker an, indem Sie ein UI-Element in der Nähe auswählen, das hilft, das Ziel eindeutig zu identifizieren.
5. Wählen Sie Bestätigen aus.
6. Die Aktivität wird nun im Recorder hinzugefügt.

Aktionen, die Sie auf der Benutzeroberfläche ausführen können

Erkunden Sie die auf der Benutzeroberfläche verfügbaren Optionen, wie in der folgenden Tabelle beschrieben.

Optionen	Beschreibung
Schaltfläche " Generieren ".	Öffnet den Recorder. Sie können auch das Symbol UI Automation-Aktivitäten mit Autopilot generieren in der oberen rechten Ecke des informativen Screenshot-Felds auswählen.
Plus-Schaltfläche	Öffnet die Suchleiste und die Dropdown-Aktivitätsliste.
Aktivitätskarte	Sie können Folgendes ausführen: Ordnen Sie die Aktivitäten im Recorder neu an, indem Sie sie ziehen und ablegen. Greifen Sie auf den Auswahlbildschirm zu, indem Sie auf die Aktivitätskarte doppelklicken. Überprüfen Sie das Ziel und die Anker verschiedener Aktivitäten, ohne auf den Auswahlbildschirm zugreifen zu müssen, indem Sie einfach die Aktivitätskarte auswählen. Dadurch wird eine fünf-sekündige Hervorhebungsvorschau des Ziels und der Anker ausgelöst.
Aktivitätskarte – Hamburger-Menü	Sie enthält die folgenden Optionen: Eigenschaften – Öffnet den Auswahlbildschirm, in dem Sie das Ziel und den Anker angeben können. Umbenennen – Ermöglicht das Umbenennen der Aktivität. Sie können bis zu 100 Zeichen verwenden. Löschen – Löscht die Aktivitätskarte aus dem Recorder.
Schaltfläche „Testen “.	Führt alle generierten Aktivitäten aus. Dies ist eine Standardkonfigurationsausführung, die Sie beim Übergang von einem Anwendungsstatus in einen anderen unterstützen soll. Hinweis: Die Schaltfläche Testen ist in Safari nicht verfügbar.
Schaltfläche „Eingabeaufforderung“ fortsetzen	Generiert neue Aktivitäten im Recorder für die gesamte Eingabeaufforderung.
Delete Schlüssel	Löscht die ausgewählte Aktivitätskarte. Erweitertes Tastenkombination für Benutzer; Es wird keine Bestätigungsaufforderung angezeigt.
Generieren mit der Autopilot- Papierkorbschaltfläche	Löscht die Platzhalteraktivitätskarte Mit Autopilot generieren .
Esc Schlüssel	Kehrt zur Canvas von Studio Web zurück. Wenn Sie Änderungen im Recorder vorgenommen haben, wird ein Popup mit dem Popup Ihre in der Auswahlhilfe vorgenommenen Änderungen speichern? angezeigt. Sie können auswählen: Abbrechen – Führt Sie zurück zum Recorder, wo Ihre Änderungen erhalten bleiben. Nicht speichern – Bringt Sie zurück zur Studio Web-Arbeitsfläche, ohne Änderungen zu speichern. Speichern – Speichert Ihre Änderungen und Ihre UIAutomation-Sequence wird im Studio Web-Canvas aufgefüllt. Wenn das Panel Eigenschaften geöffnet ist, gelangen Sie durch Drücken von Esc zurück zur Ansicht „Aktivitäten“ des Recorders.
Schaltfläche Abbrechen	Kehrt zur Canvas von Studio Web zurück, ohne Änderungen zu speichern.
Schaltfläche Speichern	Speichert Ihre Workflow-Sequence und füllt die Aktivitäten in der Studio Web-Arbeitsfläche aus.
Hilfesymbol (F1).	Öffnet die Dokumentationsseite.

Steuern Autopilot -Funktionen

Autopilot ist standardmäßig für alle Benutzer aktiviert.

Sie können Autopilot -Funktionen über Automation Ops-Governance-Richtlinien auf zwei Arten deaktivieren:

• Durch Hinzufügen einer Studio Web -Richtlinie und Festlegen der Option Autopilot zulassen auf Nein.
• Durch Hinzufügen einer AI Trust Layer -Richtlinie und Deaktivieren der Umschaltfläche Aufrufe an KI-Modelle von Drittanbietern über AI Trust Layer aktivieren.

Wenn eine dieser Optionen deaktiviert ist, können Sie weiterhin den Autopilot -Recorder für die UI-Automatisierung verwenden, aber Sie können keine Aktivitäten über Texteingabeaufforderungen generieren, sondern Sie können Aktivitäten einfach manuell im Recorder hinzufügen.