Spuren von Agents

Über Ablaufverfolgungen

Ablaufverfolgungen sind detaillierte Aufzeichnungen aller Aktionen, die ein Agent während eines Laufs ausführt – einschließlich der durchgeführten Schritte, der verarbeiteten Daten, der getroffenen Entscheidungen und der erzeugten Ergebnisse. Jede Ablaufverfolgung erfasst eine vollständige Zeitleiste des Verhaltens des Agents, einschließlich Zeitstempeln, Fehlern, Eingaben/Ausgaben und kontextbezogener Metadaten. Verwenden Sie Spuren für:

• Debugging und Fehlerbehebung: Identifizieren Sie genau, wo ein Agent fehlgeschlagen ist oder sich unerwartet verhalten hat.
• Leistungsanalyse: Evaluieren Sie Latenz, Fehler und den Durchsatz über Agentenläufe hinweg, um das Verhalten zu optimieren.
• Compliance und Auditierung: Führen Sie eine überprüfbare Aufzeichnung darüber, was der Agent wann und wie ausgeführt hat – unerlässlich für Prüfungen oder regulierte Workflows.
• Kontinuierliche Verbesserung: Verwenden Sie Erkenntnisse der Ablaufverfolgung, um die Agentenlogik zu verfeinern, das Verhalten anzupassen oder neue Modelle zu trainieren.

In der folgenden Tabelle werden häufige Anwendungsfälle beschrieben, in denen die Visualisierung von Ablaufverfolgungen dabei helfen kann, das Debuggen, Analysieren und Optimieren des Agentenverhaltens zu unterstützen. Jedes Beispiel zeigt, wie Daten der Ablaufverfolgung dazu beitragen, Einblicke zu gewinnen und fundierte Entscheidungen während der Entwicklung und der Runtime-Überwachung zu treffen.

Use case	Was Ablaufverfolgungen ermöglichen
Agent schlägt während des Toolaufrufs fehl.	Suchen und überprüfen Sie den genauen Schritt, Eingaben, Ausgaben und Fehler
Die Leistung ist gering	Verwenden Sie Zeitstempel zum Auffinden von Engpässen
Untersuchung eines Fehleranstiegs	Ausführungen nach Status filtern und das Muster nachverfolgen
Verifikation einer Fehlerbehebung in der Produktion	Führen Sie den ursprünglichen Lauf erneut aus und bestätigen Sie, dass das Problem nicht mehr auftritt.
Vorbereitung eines Prüfungsberichts	Exportieren oder überprüfen Sie Ablaufverfolgungen, die Entscheidungspfade und verarbeitete Daten zeigen

Arten von Ablaufverfolgung

Es gibt zwei unterschiedliche Arten von Ablaufverfolgungen, die jeweils einen spezifischen Zweck beim Verstehen und Analysieren des Agentenverhaltens erfüllen:

• Agentenlauf-Ablaufverfolgungen: Diese Ablaufverfolgungen erfassen die schrittweise Ausführung eines Agents während eines Live- oder geplanten Laufs. Sie veranschaulichen, wie der Agent Daten verarbeitet, Tools aufgerufen, Bedingungen gehandhabt und auf verschiedene Zustände in Echtzeit reagiert hat.
• Evaluationslauf-Ablaufverfolgungen: Evaluations-Ablaufverfolgungen werden erzeugt, wenn ein Agent mit vordefinierten Eingaben getestet wird, typischerweise während Modellevaluierungen, Szenariovalidierungen oder in Testfällen. Diese helfen dabei, die Genauigkeit des Agents, die Qualität seiner Entscheidungen und sein Verhalten unter kontrollierten Bedingungen zu bewerten.

Zugriff auf Verfolgungen

Beide Arten von Ablaufverfolgungen sind an zwei wichtigen Stellen zugänglichL

• Agent Builder – Während des Entwerfens oder Testens Ihres Agents stehen die Ablaufverfolgungen direkt im Builder zur Verfügung:
  • Während der Ausführung Ihrer Agents wird im unteren Bereich automatisch die Registerkarte Ausführungspfad geöffnet und Sie sehen live die Ablaufverfolgungen für die aktuelle Ausführung. Sie können auch zur Registerkarte Verlauf gehen, um frühere Ausführungen zu sehen und sie direkt Evaluierungssätzen hinzufügen.
  • Auf den Registerkarten Evaluierungen undAusgabe können Sie die letzten Ausführungen sehen, in denen Sie das Verhalten und die Ergebnisse neben der Definition Ihres Agents überprüfen können.
• Seite Agenteninstanzen – Gehen Sie zum Abschnitt Agents > Instanzen. Wählen Sie hier einen bestimmten Agent und eine beliebige Ausführung, um die Protokollansicht mit der vollständigen visuellen Darstellung und dem Protokollbereich zu öffnen.

Wenn Sie sich die Ablaufverfolgungen von Agentenläufen oder Evaluierungsläufen anzeigen lassen, erhalten Sie einen Überblick über die Ausführung des Agents. Sie können:

• Ausführungsergebnisse erkennen Sie an farblich markierten Knoten: Erfolg, Fehler oder erneuter Versuch.
• Bewegen Sie die Maus über einen beliebigen Knoten, um eine Vorschau anzuzeigen: Start- und Endzeitstempel, Ausführungsstatus sowie Ausschnitte der Eingaben und Ausgaben.
• Wählen Sie einen Knoten, um die Details zu sehen, einschließlich: vollständige JSON-Nutzlasten, Protokolle und Fehler sowie Runtime-Metriken (Tokennutzung, Latenz).

Verwalten des Zugriffs auf Daten zur Ablaufverfolgung

In diesem Abschnitt wird beschrieben, wie Administratoren den Zugriff auf Ablaufverfolgungsdaten mithilfe des rollenbasierten Zugriffssteuerungsmodells konfigurieren können.

Zum Anzeigen von Ablaufverfolgungsprotokollen benötigen Sie folgende Berechtigungen:

• Logs.View
• Jobs.View

Weitere Informationen zu den Berechtigungen von Standardrollen finden Sie unter Standardrollen.

In folgender Matrix wird erläutert, was je nach Berichtigungskombination zu sehen ist. Diese Kombinationen definieren, welche Details zur Ablaufverfolgung Sie je gemäß rollenbasierten Berechtigungen sehen können.

Logs.View	Jobs.View	Auf das Ergebnis zugreifen
Aktivieren	Aktivieren	Alle Attribute
Aktivieren	Deaktivieren	Alle Attribute
Deaktivieren	Aktivieren	Teilattribute (z. B. Name, Typ)
Deaktivieren	Deaktivieren	Kein Zugriff

Wenn Sie nicht über die erforderlichen Berechtigungen zum Anzeigen von Ablaufverfolgungsdaten verfügen, wird eine Meldung angezeigt, in der erläutert wird, ob der Zugriff vollständig oder teilweise eingeschränkt ist, und eine Anleitung zum Anfordern der erforderlichen Berechtigung bereitgestellt.

Hinweis:

Trace-Daten, einschließlich Eingabe- und Ausgabedaten, können mit kundenseitig verwalteten Schlüsseln (CMK) verschlüsselt werden. Die CMK-Verschlüsselung für Agent-Ablaufverfolgungen ist eine Opt-in-Funktion – sie wird nicht automatisch aktiviert, wenn CMK für Ihre Organization konfiguriert ist.Um sie zu aktivieren, reichen Sie ein Support-Ticket ein. Weitere Informationen finden Sie unter Verschlüsselung pro Dienst im Administratorhandbuch.

Feedback zu Agent-Ausführungen (Vorschau)

Feedback ist ein kritischer Mechanismus zur Interpretation und Verbesserung der Agent-Laufzeiten. Damit können Sie das Verhalten überprüfen, Probleme diagnostizieren und aussagekräftige Muster bei der Entscheidungsfindung eines Agenten dokumentieren.

Über das Debugging hinaus dient Feedback als Kerneingabe für ein feedbackbasiertes episodisches Gedächtnis, sodass der Agent seine Entscheidungsrichtlinie schrittweise verfeinern kann – ohne dass vollständige Prompts für jede Anpassung neu geschrieben werden müssen.

Die Beziehung zwischen Feedback und Gedächtnis

Während Feedback als Anmerkungstool dient, beeinflusst seine leistungsstärkste Anwendung das episodische Gedächtnis.

Die Bereitstellung von Feedback zu einer Trace hebt das Verhalten hervor, das der Agent in zukünftigen Ausführungen repliziert oder vermeiden sollte.

• Entwicklung bei Wiederholung: Im Gegensatz zu statischen Lösungen kann sich das Verhalten des Agents durch das feedbackbasierte Gedächtnis im Laufe der Zeit verbessern.Der Agent lernt, Muster zu erkennen, die als korrekt oder falsch gekennzeichnet sind.
• Gezielte Verbesserung: Dieser Ansatz ist am wertvollsten in Abläufen, bei denen der Agent häufig „fast richtig“ ist oder sich die Entscheidungsrichtlinie noch in der Entwicklung befindet.
• Selektives Gedächtnis: Nicht jedes Feedback wird automatisch zum Gedächtnis.Sie müssen aktiv bestimmen, welche Anmerkungen wertvolle Lernmöglichkeiten darstellen, um zu verhindern, dass minderwertige Qualität oder inkonsistentes Feedback die Leistung beeinträchtigen.

Wo Feedback angewendet wird

Sie können Feedback zu jedem Abschnitt innerhalb eines Agent-Trace geben.Diese Flexibilität ermöglicht es Ihnen, bestimmte Toolaufrufe, Leitplankenprüfungen oder LLM-Ausgaben bei der Überprüfung oder Diagnose des Verhaltens mit Anmerkung hinzufügen.

Nur Feedback, das auf die Ausführungsdauer des Agents angewendet wird, kommt für das episodische Gedächtnis in Frage. Während Sie jeden Teil des Trace zur Analyse mit einer Anmerkung hinzufügen können, wird nur Feedback, das direkt an die Laufzeit des Agent angehängt ist, gespeichert und in zukünftigen Ausführungen als Gedächtnis abgerufen.

Wann Feedback angewendet werden soll

Während die Bereitstellung von Feedback zu allen Ablaufverfolgungen das iterative Lernen maximiert, sollten Sie sich in der Praxis auf Ablaufverfolgungen konzentrieren, die den höchsten Wert für die Optimierung bieten.

Konzentrieren Sie sich auf folgende Szenarien:

• Kritisch Szenarien: Traces mit wichtigen Entscheidungen oder schwerwiegenden Fehlern.
• Wiederkehrende Muster: Bereiche, in denen der Agent durchweg Probleme hat oder sich wiederholende Fehler aufweist.
• Schwierige Entscheidungen: Instanzen, bei denen der Agent vor einer komplexen Entscheidung stand.
• Negative Stimmung: Ausführungen, die zu einer schlechten Benutzererfahrung führten.
• Modellverhalten: Beispiele, die ein bestimmtes Verhalten veranschaulichen, das der Agent streng kopieren oder streng vermeiden soll.

Die Anwendung von Feedback ist entscheidend für die kontinuierliche Verbesserung. Sie können schrittweise bessere Verhaltensweisen codieren, sodass Agent-Ausführungen zuverlässiger und konsistenter werden.

• Priorisieren Sie Ablaufverfolgungen: Konzentrieren Sie sich auf Ablaufverfolgungen aus kritischen Szenarien, schwerwiegenden Fehlern oder wiederkehrenden Mustern, bei denen der Agent Probleme hat.
• Wertvolle Szenarien: Ausführungen priorisieren, die schwierige Entscheidungen für den Agent darstellen, eine negative Benutzereinschätzung zeigen oder ein Verhalten deutlich veranschaulichen, das der Agent kopieren oder vermeiden soll.
• Schwerpunktbereiche: Identifizieren Sie eindeutig, zu welchen Bereichen Sie Feedback geben:
  • Ausgabe: Hat das Endergebnis die Erwartungen erfüllt?
  • Ausführung des Plans (Trajektorie): Hat der Agent die Aufgabenschritte in der erwarteten Reihenfolge ausgeführt?
  • Kommentare: Verwenden Sie Kommentare, um das Feedback zu bereichern und das Abrufen von Informationen zu unterstützen.

Custom Time-to-Live settings for traces

You can use the AI Trust Layer policy in Automation Ops to configure how long trace spans are retained by setting custom Time-to-Live (TTL).

Traces Time-to-Live defines the retention window for execution traces in the AI Trust Layer. Each trace consists of spans that record the steps of an automation or AI interaction. The TTL setting determines how long these spans remain available, and automatically deletes any data older than the selected duration.

This feature gives you fine-grained control over trace visibility, allowing you to align retention with your privacy, compliance, and operational requirements.

The policy is enforced at the tenant level, meaning the configured TTL applies to all spans and affects what every user in the tenant is able to view.

Within the Automation Ops policy settings under the AI Trust Layer feature toggles, you can enable or disable TTL enforcement:

• When enabled: spans are retained for the number of days specified in the TTL Days field and deleted automatically once they expire.
• When disabled: traces are not subject to a strict TTL policy.

To enable and configure custom TTLs for traces, follow these steps:

1. Navigate to Automation Ops.
2. If you don’t already have an AI Trust Layer policy, select Add Product Policy – AI Trust Layer. Otherwise, open and edit your existing policy.
3. Select Feature Toggles.
4. Konfigurieren Sie die folgenden Felder:
   • Time-To-Live enforcement for trace data – When enabled, this setting controls how long spans remain visible before being removed. After the TTL expires, all affected spans are permanently deleted from the UI.
     • TTL days – Specifies the number of days that trace spans are stored before being purged.
   • Restricted Insights Trace data – If enabled, all non-UiPath metadata is removed from trace data before it is sent to Insights. This limits the detail available in Insights and affects the ability to view detailed or aggregated metrics on the Agents page.

Hinweis:

If feedback or memory is added to any span within a trace, the entire trace is preserved and no longer subject to the configured TTL. To allow the trace to be cleaned up, you must first remove the associated feedback or memory.

Trace governance implications

Configuring custom TTLs for trace data has several important effects:

• Analytics: Your TTL configuration determines how much historical trace data is available for analysis. Shorter retention supports stricter data-minimization requirements, while longer retention preserves more execution context for investigation and troubleshooting.
• Data deletion: Spans are automatically deleted once they exceed the configured TTL. Changing your TTL does not restore any data that has already expired or been restricted.
• Visibility: Execution runs that fall outside the TTL window no longer appear in the Traces UI or in components that rely on speed-layer trace data.
• Scope: The configured TTL applies to all spans within the tenant and affects visibility for every user.
• Exceptions: Some features may bypass TTL entirely, such as agent memory and trace feedback. Data for these features is retained indefinitely until a dedicated end-of-life policy is defined.