Ausführen und Überprüfen der Ausführungsergebnisse

Nach der Konfiguration Ihres ScreenPlay Prompt führen Sie folgende Schritte aus:

1. Führen Sie die Automatisierung im Debug-Modus aus.
2. Nach Abschluss der Ausführung können Sie überprüfen, wie der Agent Ihre Eingabeaufforderung interpretiert und ausgeführt hat:
   • Gehen Sie zu Debug und wählen Sie in Studio Logs öffnen aus.
   • Öffnen Sie den ScreenPlay-Ordner.
   • Überprüfen Sie die neuesten .html Dateien.

Jede HTML-Datei enthält einen Ausführungstrace, der detailliert zeigt, wie der ScreenPlay-Agent die Eingabeaufforderung berücksichtigt, UI-Ziele identifiziert und jede Aktion ausgeführt hat.Dieser Trace bietet einen Überblick über den Entscheidungsprozess und hilft bei der Validierung oder Fehlerbehebung des ScreenPlay-Verhaltens.

Die HTML-Datei ScreenPlay Execution Trace

Die HTML-Datei „ScreenPlay Execution Trace“ bietet einen vollständigen visuellen und diagnostischen datensatz einer ScreenPlay-Automatisierung.Es erfasst Prompt-Eingaben, KI-Argumentation, Actions und Zeitmetriken in einem strukturierten, interaktiven Format.

Sie können diese Datei verwenden, um zu überprüfen und zu validieren, wie ScreenPlay eine Eingabeaufforderung interpretiert hat, welche UI-Elemente angesprochen wurden und wie jeder Automatisierungsschritt über die Oberfläche ausgeführt wurde.

Die Datei wird automatisch im Standard generiert.Sie können diese Einstellung in den Projekteinstellungen ändern, dann UIAutomation Modern auswählen und dann zu ScreenPlay gehen, wo Sie auch die Anzahl der Tage einstellen können, für die die Trace-Dateien gespeichert werden.

Überblick

Wenn Sie eine ScreenPlay-Automatisierung ausführen, wird die Ausführungs-Trace automatisch als Datei .htmlgeneriert.Diese Datei kombiniert:

• Daten zur Eingabeaufforderung in natürlicher Sprache.
• Schritt-für-Schritt-UI-Snapshots mit Bounding Boxes.
• Zeit- und Token-Metriken.
• Diagnoseabschnitte für Argumentation und Fehler.

Sie können die HTML-Datei in jedem modernen Webbrowser öffnen, um die vollständige Ausführungs-Sequence zu überprüfen oder freizugeben.

Dateistruktur

Jede ScreenPlay-Trace-Datei folgt einer konsistenten internen Struktur mit den folgenden Abschnitten auf höchster Ebene.

Abschnitt	Beschreibung
Kopfzeile	Zeigt die Eingabeaufforderung, die Trace-ID und den Zeitstempel der Ausführung an.
Gesamtmetriken (Gesamtsummen)	Fasst die Gesamt-Laufzeit, Verarbeitungszeiten und Token-Nutzung zusammen.
Player-Container	Enthält die Komponente visuelle Wiedergabe – Screenshots, Hervorhebungen und Schritt-Navigation.
Iterationsblöcke	Jede Iteration (Schritt) im Argumentations- oder Ausführungszyklus des Agents. Enthält Screenshots, Argumentation und Metriken.
Diagnoseabschnitte	Optionale Panels für KI-Argumentation, Aktivitätsdaten und Error-Meldungen.

Header Felder

In den folgenden Tabellen werden die Header und Beispiele beschrieben:

Feld	Beispiel	Beschreibung
Prompt	create a random RPA supplier	Die Anweisung für natürliche Sprache, die die Automatisierung initiiert hat.
Trace ID	3b97584d-7fc0-43f6-830b-fc45c21811b3	Ein eindeutiger Bezeichner für diesen Trace, der für Referenz oder den Vergleich verwendet wird.

Gesamtmetriken

Der Abschnitt Gesamtsummen fasst die wichtigsten Leistungsdaten aus der Ausführung zusammen.

Die folgende Tabelle beschreibt die Gesamtmetriken:

Metrik	Beschreibung
Gesamtdauer	Die Gesamtzeit für den Abschluss der Ausführung, einschließlich der Wahrnehmungs-, Argumentations- und Aktionsphasen.
Cache / DOM / Server / Actions (Tooltip)	Aufschlüsselung der in jedem Teilsystem verstrichenen Zeit (z. B. zwischengespeicherte Antworten, DOM-Scan, Argumentation und UI Actions).
Insgesamt Tokens	Verfolgt Token-Eingabe/-Ausgabe, wenn die Trace KI-Sprachmodell-Argumentation enthält.Nützlich für das Debuggen der LLM-Nutzung.

Schritt-Frames

Jeder Schritt-Frame oder Ausführungsschritt stellt eine Iteration der Argumentation und Aktion des ScreenPlay Agent dar.

Die folgende Tabelle beschreibt jedes Element und seinen Zweck.

Element	Zweck
Schrittnummer (data-step="1")	Identifiziert die Sequence des Schritts.
Screenshot	Ein erfasstes Bild des Anwendungsfensters oder des Desktops zum Zeitpunkt der Ausführung.
Leinwandkoordinaten (data-coordinates)	JSON-codierte Begrenzungsrahmen für erkannte oder interagierende Elemente.
Iteration Header	Zeigt den Schritttitel, die Vorschau des Denkprozesses und eine Zusammenfassung der Zeitdauer an.
Iterationsinhalt	Enthält erweiterte Details, einschließlich Argumentationstext und jegliche Ausführungsmetadaten.

Diagnoseabschnitte

Jede Iteration kann einen oder mehrere erweiterbare Abschnitte enthalten, wie in der folgenden Tabelle beschrieben:

Abschnittsname	Zweck
Denken	Zeigt KI-Argumentation und Absichtsinterpretation an (wenn Argumentation aktiviert ist).
Schritt-Informationen	Zeigt Kontextinformationen über das Zielelement, den Selektor oder das erkannte UI-Steuerelement an.
Fehler (Error)	Zeigt einen Fehler mit visuellen Hinweisen in Rot an; enthält Fehlermeldungen, Ausnahmeablaufverfolgungen oder Actions.
Aktivitätsdaten	Zeigt strukturierte Ausführungsdaten an, einschließlich Aktivitätstyp, Argumente und Zielanwendungen.

Steuerelemente für Screenshot-Anzeige und Player

ScreenPlay-Ablaufverfolgungen enthalten einen integrierten Player für die Navigation durch jeden erfassten Frame.

Die folgende Tabelle beschreibt jedes Steuerelement.

Steuerung	Beschreibung
Schaltflächen „Nächste / Vorherige“	Navigieren Sie zwischen aufeinanderfolgenden Schritten.
Schieberegler für Schrittbereich	Springen Sie direkt zu einem Schritt in der Sequenz.
Hervorhebungen umschalten	Überlagern Sie Begrenzungsrahmen, die im Feld Datenkoordinaten definiert sind, um angeklickte oder eingegebene Bereiche zu visualisieren.
Screenshot-Container	Zeigt das gerenderte Bild oder den Platzhalter an, wenn kein Bild verfügbar ist.

Visuelle Überlagerungen

Jeder Schritt kann Überlagerungen enthalten, um UI-Interaktionstypen wie folgt anzuzeigen:

• Klicken – Ein Rechteck wird über eine Schaltfläche oder einen anklickbaren Bereich gezeichnet.
• Typ – Hervorhebung um Eingabefelder.
• Zeigen/Ziehen – Kontur, die die Bewegung oder die Cursorposition anzeigt.
• Error-Marker – Rote Überlagerung bei einer fehlgeschlagenen Elementaktion.