Spuren von Agents

Über Ablaufverfolgungen

Ablaufverfolgungen sind detaillierte Aufzeichnungen aller Aktionen, die ein Agent während eines Laufs ausführt – einschließlich der durchgeführten Schritte, der verarbeiteten Daten, der getroffenen Entscheidungen und der erzeugten Ergebnisse. Jede Ablaufverfolgung erfasst eine vollständige Zeitleiste des Verhaltens des Agents, einschließlich Zeitstempeln, Fehlern, Eingaben/Ausgaben und kontextbezogener Metadaten. Verwenden Sie Spuren für:

• Debugging und Fehlerbehebung: Identifizieren Sie genau, wo ein Agent fehlgeschlagen ist oder sich unerwartet verhalten hat.
• Leistungsanalyse: Evaluieren Sie Latenz, Fehler und den Durchsatz über Agentenläufe hinweg, um das Verhalten zu optimieren.
• Compliance und Auditierung: Führen Sie eine überprüfbare Aufzeichnung darüber, was der Agent wann und wie ausgeführt hat – unerlässlich für Prüfungen oder regulierte Workflows.
• Kontinuierliche Verbesserung: Verwenden Sie Erkenntnisse der Ablaufverfolgung, um die Agentenlogik zu verfeinern, das Verhalten anzupassen oder neue Modelle zu trainieren.

In der folgenden Tabelle werden häufige Anwendungsfälle beschrieben, in denen die Visualisierung von Ablaufverfolgungen dabei helfen kann, das Debuggen, Analysieren und Optimieren des Agentenverhaltens zu unterstützen. Jedes Beispiel zeigt, wie Daten der Ablaufverfolgung dazu beitragen, Einblicke zu gewinnen und fundierte Entscheidungen während der Entwicklung und der Runtime-Überwachung zu treffen.

Use case	Was Ablaufverfolgungen ermöglichen
Agent schlägt während des Toolaufrufs fehl.	Suchen und überprüfen Sie den genauen Schritt, Eingaben, Ausgaben und Fehler
Die Leistung ist gering	Verwenden Sie Zeitstempel zum Auffinden von Engpässen
Untersuchung eines Fehleranstiegs	Ausführungen nach Status filtern und das Muster nachverfolgen
Verifikation einer Fehlerbehebung in der Produktion	Führen Sie den ursprünglichen Lauf erneut aus und bestätigen Sie, dass das Problem nicht mehr auftritt.
Vorbereitung eines Prüfungsberichts	Exportieren oder überprüfen Sie Ablaufverfolgungen, die Entscheidungspfade und verarbeitete Daten zeigen

Arten von Ablaufverfolgung

Es gibt zwei unterschiedliche Arten von Ablaufverfolgungen, die jeweils einen spezifischen Zweck beim Verstehen und Analysieren des Agentenverhaltens erfüllen:

• Agentenlauf-Ablaufverfolgungen: Diese Ablaufverfolgungen erfassen die schrittweise Ausführung eines Agents während eines Live- oder geplanten Laufs. Sie veranschaulichen, wie der Agent Daten verarbeitet, Tools aufgerufen, Bedingungen gehandhabt und auf verschiedene Zustände in Echtzeit reagiert hat.
• Evaluationslauf-Ablaufverfolgungen: Evaluations-Ablaufverfolgungen werden erzeugt, wenn ein Agent mit vordefinierten Eingaben getestet wird, typischerweise während Modellevaluierungen, Szenariovalidierungen oder in Testfällen. Diese helfen dabei, die Genauigkeit des Agents, die Qualität seiner Entscheidungen und sein Verhalten unter kontrollierten Bedingungen zu bewerten.

Zugriff auf Verfolgungen

Beide Arten von Ablaufverfolgungen sind an zwei wichtigen Stellen zugänglichL

• Agent Builder – Während des Entwerfens oder Testens Ihres Agents stehen die Ablaufverfolgungen direkt im Builder zur Verfügung:
  • Während der Ausführung Ihrer Agents wird im unteren Bereich automatisch die Registerkarte Ausführungspfad geöffnet und Sie sehen live die Ablaufverfolgungen für die aktuelle Ausführung. Sie können auch zur Registerkarte Verlauf gehen, um frühere Ausführungen zu sehen und sie direkt Evaluierungssätzen hinzufügen.
  • Auf den Registerkarten Evaluierungen undAusgabe können Sie die letzten Ausführungen sehen, in denen Sie das Verhalten und die Ergebnisse neben der Definition Ihres Agents überprüfen können.
• Seite Agenteninstanzen – Gehen Sie zum Abschnitt Agents > Instanzen. Wählen Sie hier einen bestimmten Agent und eine beliebige Ausführung, um die Protokollansicht mit der vollständigen visuellen Darstellung und dem Protokollbereich zu öffnen.

Wenn Sie sich die Ablaufverfolgungen von Agentenläufen oder Evaluierungsläufen anzeigen lassen, erhalten Sie einen Überblick über die Ausführung des Agents. Sie können:

• Ausführungsergebnisse erkennen Sie an farblich markierten Knoten: Erfolg, Fehler oder erneuter Versuch.
• Bewegen Sie die Maus über einen beliebigen Knoten, um eine Vorschau anzuzeigen: Start- und Endzeitstempel, Ausführungsstatus sowie Ausschnitte der Eingaben und Ausgaben.
• Wählen Sie einen Knoten, um die Details zu sehen, einschließlich: vollständige JSON-Nutzlasten, Protokolle und Fehler sowie Runtime-Metriken (Tokennutzung, Latenz).

Verwalten des Zugriffs auf Daten zur Ablaufverfolgung

In diesem Abschnitt wird beschrieben, wie Administratoren den Zugriff auf Ablaufverfolgungsdaten mithilfe des rollenbasierten Zugriffssteuerungsmodells konfigurieren können.

Zum Anzeigen von Ablaufverfolgungsprotokollen benötigen Sie folgende Berechtigungen:

• Logs.View
• Jobs.View

Weitere Informationen zu den Berechtigungen von Standardrollen finden Sie unter Standardrollen.

In folgender Matrix wird erläutert, was je nach Berichtigungskombination zu sehen ist. Diese Kombinationen definieren, welche Details zur Ablaufverfolgung Sie je gemäß rollenbasierten Berechtigungen sehen können.

Logs.View	Jobs.View	Auf das Ergebnis zugreifen
Aktivieren	Aktivieren	Alle Attribute
Aktivieren	Deaktivieren	Alle Attribute
Deaktivieren	Aktivieren	Teilattribute (z. B. Name, Typ)
Deaktivieren	Deaktivieren	Kein Zugriff

Wenn Sie nicht über die erforderlichen Berechtigungen zum Anzeigen von Ablaufverfolgungsdaten verfügen, wird eine Meldung angezeigt, in der erläutert wird, ob der Zugriff vollständig oder teilweise eingeschränkt ist, und eine Anleitung zum Anfordern der erforderlichen Berechtigung bereitgestellt.

Hinweis:

Trace-Daten, einschließlich Eingabe- und Ausgabedaten, können mit kundenseitig verwalteten Schlüsseln (CMK) verschlüsselt werden. Die CMK-Verschlüsselung für Agent-Ablaufverfolgungen ist eine Opt-in-Funktion – sie wird nicht automatisch aktiviert, wenn CMK für Ihre Organization konfiguriert ist.Um sie zu aktivieren, reichen Sie ein Support-Ticket ein. Weitere Informationen finden Sie unter Verschlüsselung pro Dienst im Administratorhandbuch.

Feedback on agent runs

Hinweis:

Diese Funktion ist in der Vorschau verfügbar.

Feedback ist ein kritischer Mechanismus zur Interpretation und Verbesserung der Agent-Laufzeiten. Damit können Sie das Verhalten überprüfen, Probleme diagnostizieren und aussagekräftige Muster bei der Entscheidungsfindung eines Agenten dokumentieren.

Über das Debugging hinaus dient Feedback als Kerneingabe für ein feedbackbasiertes episodisches Gedächtnis, sodass der Agent seine Entscheidungsrichtlinie schrittweise verfeinern kann – ohne dass vollständige Prompts für jede Anpassung neu geschrieben werden müssen.

Die Beziehung zwischen Feedback und Gedächtnis

Während Feedback als Anmerkungstool dient, beeinflusst seine leistungsstärkste Anwendung das episodische Gedächtnis.

Die Bereitstellung von Feedback zu einer Trace hebt das Verhalten hervor, das der Agent in zukünftigen Ausführungen repliziert oder vermeiden sollte.

• Entwicklung bei Wiederholung: Im Gegensatz zu statischen Lösungen kann sich das Verhalten des Agents durch das feedbackbasierte Gedächtnis im Laufe der Zeit verbessern.Der Agent lernt, Muster zu erkennen, die als korrekt oder falsch gekennzeichnet sind.
• Gezielte Verbesserung: Dieser Ansatz ist am wertvollsten in Abläufen, bei denen der Agent häufig „fast richtig“ ist oder sich die Entscheidungsrichtlinie noch in der Entwicklung befindet.
• Selektives Gedächtnis: Nicht jedes Feedback wird automatisch zum Gedächtnis.Sie müssen aktiv bestimmen, welche Anmerkungen wertvolle Lernmöglichkeiten darstellen, um zu verhindern, dass minderwertige Qualität oder inkonsistentes Feedback die Leistung beeinträchtigen.

Wo Feedback angewendet wird

Sie können Feedback zu jedem Abschnitt innerhalb eines Agent-Trace geben.Diese Flexibilität ermöglicht es Ihnen, bestimmte Toolaufrufe, Leitplankenprüfungen oder LLM-Ausgaben bei der Überprüfung oder Diagnose des Verhaltens mit Anmerkung hinzufügen.

Nur Feedback, das auf die Ausführungsdauer des Agents angewendet wird, kommt für das episodische Gedächtnis in Frage. Während Sie jeden Teil des Trace zur Analyse mit einer Anmerkung hinzufügen können, wird nur Feedback, das direkt an die Laufzeit des Agent angehängt ist, gespeichert und in zukünftigen Ausführungen als Gedächtnis abgerufen.

Wann Feedback angewendet werden soll

Während die Bereitstellung von Feedback zu allen Ablaufverfolgungen das iterative Lernen maximiert, sollten Sie sich in der Praxis auf Ablaufverfolgungen konzentrieren, die den höchsten Wert für die Optimierung bieten.

Konzentrieren Sie sich auf folgende Szenarien:

• Kritisch Szenarien: Traces mit wichtigen Entscheidungen oder schwerwiegenden Fehlern.
• Wiederkehrende Muster: Bereiche, in denen der Agent durchweg Probleme hat oder sich wiederholende Fehler aufweist.
• Schwierige Entscheidungen: Instanzen, bei denen der Agent vor einer komplexen Entscheidung stand.
• Negative Stimmung: Ausführungen, die zu einer schlechten Benutzererfahrung führten.
• Modellverhalten: Beispiele, die ein bestimmtes Verhalten veranschaulichen, das der Agent streng kopieren oder streng vermeiden soll.

Die Anwendung von Feedback ist entscheidend für die kontinuierliche Verbesserung. Sie können schrittweise bessere Verhaltensweisen codieren, sodass Agent-Ausführungen zuverlässiger und konsistenter werden.

• Priorisieren Sie Ablaufverfolgungen: Konzentrieren Sie sich auf Ablaufverfolgungen aus kritischen Szenarien, schwerwiegenden Fehlern oder wiederkehrenden Mustern, bei denen der Agent Probleme hat.
• Wertvolle Szenarien: Ausführungen priorisieren, die schwierige Entscheidungen für den Agent darstellen, eine negative Benutzereinschätzung zeigen oder ein Verhalten deutlich veranschaulichen, das der Agent kopieren oder vermeiden soll.
• Schwerpunktbereiche: Identifizieren Sie eindeutig, zu welchen Bereichen Sie Feedback geben:
  • Ausgabe: Hat das Endergebnis die Erwartungen erfüllt?
  • Ausführung des Plans (Trajektorie): Hat der Agent die Aufgabenschritte in der erwarteten Reihenfolge ausgeführt?
  • Kommentare: Verwenden Sie Kommentare, um das Feedback zu bereichern und das Abrufen von Informationen zu unterstützen.

Time-to-live-Einstellungen für Ablaufverfolgungen

Sie können die AI Trust Layer-Richtlinie in Automation Ops verwenden, um zu konfigurieren, wie lange Ablaufverfolgungsspannen gespeichert werden, indem Sie Time-to-live (TTL) konfigurieren.

Die Time-to-Live für Traces legt den Aufbewahrungszeitraum für Ausführungs-Traces im AI Trust Layer fest.Jeder Trace besteht aus Spans, welche die Schritte einer Automatisierung oder KI-Interaktion datensatz.Die TTL-Einstellung bestimmt, wie lange diese Spans verfügbar bleiben, und löscht automatisch alle Daten, die älter als die ausgewählte Dauer sind.

Die TTL-Erzwingung bietet drei feste Optionen: aus, ein mit einem Aufbewahrungsfenster von 1 Tag oder ein mit einem Aufbewahrungsfenster von 7 Tagen. Es gibt keine Option zum Angeben einer beliebigen Anzahl von Tagen. Wählen Sie die Option aus, die Ihren Datenschutz-, Compliance- und Betriebsanforderungen am besten entspricht.

Die Richtlinie greift auf Mandantenebene, d. h. die konfigurierte TTL gilt für alle Spans und wirkt sich darauf aus, was jeder Benutzer im Mandanten sehen kann.

In den Automation Ops-Richtlinieneinstellungen unter den AI Trust Layer-Funktionsumschaltern können Sie die Durchsetzung der Gültigkeitsdauer (TTL) aktivieren oder deaktivieren:

• Wenn diese Option aktiviert ist: Spannen werden für die im Feld TTL-Tage ausgewählte Dauer aufbewahrt und nach ihrem Ablauf automatisch gelöscht.
• Wenn deaktiviert: Traces unterliegen keiner strengen TTL-Richtlinie.

Führen Sie die folgenden Schritte aus, um TTL für Ablaufverfolgungen zu aktivieren und zu konfigurieren:

1. Navigieren Sie zu Automation Ops.
2. Wenn Sie noch keine AI-Trust-Layer-Richtlinie haben, wählen Sie Produktrichtlinie hinzufügen – AI Trust Layer aus.Andernfalls öffnen und bearbeiten Sie Ihre vorhandene Richtlinie.
3. Wählen Sie Feature-Toggles aus.
4. Konfigurieren Sie die folgenden Felder:
   • Durchsetzung der Time-To-Live für Trace-Daten – Wenn aktiviert, steuert diese Einstellung, wie lange Spans sichtbar bleiben, bevor das System sie entfernt.Nach Ablauf der TTL löscht das System alle betroffenen Spans dauerhaft aus der Benutzeroberfläche.
     • TTL-Tage – Gibt an, wie lange Ablaufverfolgungen gespeichert werden, bevor sie gelöscht werden. Wählen Sie entweder 1 Tag oder 7 Tage aus .
   • Eingeschränkte Insights-Trace-Daten – Wenn Sie diese Option aktivieren, entfernt das System alle Nicht-UiPath-Metadaten aus den Trace-Daten, bevor es diese an Insights sendet.Dies schränkt die in Insights verfügbaren Details ein und beeinträchtigt die Anzeige detaillierter oder aggregierter Metriken auf der Seite „Agents“.

Hinweis:

Wenn Sie einer Spanne innerhalb eines Trace Feedback oder Memory hinzufügen, behält das System den gesamten Trace bei und wendet die konfigurierte TTL nicht mehr an.Um den Trace zu bereinigen, müssen Sie zuerst das zugehörige Feedback oder den Speicher entfernen.

Auswirkungen auf die Trace-Governance

Wenn Sie benutzerdefinierte TTLs für Trace-Daten konfigurieren, hat das mehrere wichtige Auswirkungen:

• Analyse: Ihre TTL-Konfiguration bestimmt, wie viele historische Trace-Daten für die Analyse verfügbar sind. Eine kürzere Aufbewahrung unterstützt strengere Anforderungen an die Datenminimierung, während eine längere Aufbewahrung mehr Ausführungskontext für Untersuchungen und die Fehlerbehebung bietet.
• Datenlöschung: Das System löscht Spans automatisch, sobald sie die konfigurierte TTL überschreiten.Das Ändern Ihrer TTL stellt keine Daten wieder her, die bereits abgelaufen sind oder einer Beschränkung unterliegen.
• Sichtbarkeit: Ausführungen, die außerhalb des TTL-Fensters liegen, erscheinen nicht mehr in der Traces-UI oder in Komponenten, die auf Trace-Daten der Echtzeit-Verarbeitungsschicht (Speed-Layer) basieren.
• Scope Die konfigurierte TTL gilt für alle Spans innerhalb des Mandanten und wirkt sich auf die Sichtbarkeit für jeden Benutzer aus.
• Ausnahmen Einige Funktionen können TTL vollständig umgehen, z. B. Agent-Speicher und Trace-Feedback.Wir bewahren die Daten für diese Funktionen so lange auf, bis wir eine spezifische Richtlinie für das Ende des Lebenszyklus festlegen.