Spuren von Agents

Über Ablaufverfolgungen

Ablaufverfolgungen sind detaillierte Aufzeichnungen aller Aktionen, die ein Agent während eines Laufs ausführt – einschließlich der durchgeführten Schritte, der verarbeiteten Daten, der getroffenen Entscheidungen und der erzeugten Ergebnisse. Jede Ablaufverfolgung erfasst eine vollständige Zeitleiste des Verhaltens des Agents, einschließlich Zeitstempeln, Fehlern, Eingaben/Ausgaben und kontextbezogener Metadaten. Verwenden Sie Spuren für:

• Debugging und Fehlerbehebung: Identifizieren Sie genau, wo ein Agent fehlgeschlagen ist oder sich unerwartet verhalten hat.
• Leistungsanalyse: Evaluieren Sie Latenz, Fehler und den Durchsatz über Agentenläufe hinweg, um das Verhalten zu optimieren.
• Compliance und Auditierung: Führen Sie eine überprüfbare Aufzeichnung darüber, was der Agent wann und wie ausgeführt hat – unerlässlich für Prüfungen oder regulierte Workflows.
• Kontinuierliche Verbesserung: Verwenden Sie Erkenntnisse der Ablaufverfolgung, um die Agentenlogik zu verfeinern, das Verhalten anzupassen oder neue Modelle zu trainieren.

In der folgenden Tabelle werden häufige Anwendungsfälle beschrieben, in denen die Visualisierung von Ablaufverfolgungen dabei helfen kann, das Debuggen, Analysieren und Optimieren des Agentenverhaltens zu unterstützen. Jedes Beispiel zeigt, wie Daten der Ablaufverfolgung dazu beitragen, Einblicke zu gewinnen und fundierte Entscheidungen während der Entwicklung und der Runtime-Überwachung zu treffen.

Use case	Was Ablaufverfolgungen ermöglichen
Agent schlägt während des Toolaufrufs fehl.	Suchen und überprüfen Sie den genauen Schritt, Eingaben, Ausgaben und Fehler
Die Leistung ist gering	Verwenden Sie Zeitstempel zum Auffinden von Engpässen
Untersuchung eines Fehleranstiegs	Ausführungen nach Status filtern und das Muster nachverfolgen
Verifikation einer Fehlerbehebung in der Produktion	Führen Sie den ursprünglichen Lauf erneut aus und bestätigen Sie, dass das Problem nicht mehr auftritt.
Vorbereitung eines Prüfungsberichts	Exportieren oder überprüfen Sie Ablaufverfolgungen, die Entscheidungspfade und verarbeitete Daten zeigen

Arten von Ablaufverfolgung

Es gibt zwei unterschiedliche Arten von Ablaufverfolgungen, die jeweils einen spezifischen Zweck beim Verstehen und Analysieren des Agentenverhaltens erfüllen:

• Agentenlauf-Ablaufverfolgungen: Diese Ablaufverfolgungen erfassen die schrittweise Ausführung eines Agents während eines Live- oder geplanten Laufs. Sie veranschaulichen, wie der Agent Daten verarbeitet, Tools aufgerufen, Bedingungen gehandhabt und auf verschiedene Zustände in Echtzeit reagiert hat.
• Evaluationslauf-Ablaufverfolgungen: Evaluations-Ablaufverfolgungen werden erzeugt, wenn ein Agent mit vordefinierten Eingaben getestet wird, typischerweise während Modellevaluierungen, Szenariovalidierungen oder in Testfällen. Diese helfen dabei, die Genauigkeit des Agents, die Qualität seiner Entscheidungen und sein Verhalten unter kontrollierten Bedingungen zu bewerten.

Zugriff auf Verfolgungen

Beide Arten von Ablaufverfolgungen sind an zwei wichtigen Stellen zugänglichL

• Agent Builder – Während des Entwerfens oder Testens Ihres Agents stehen die Ablaufverfolgungen direkt im Builder zur Verfügung:
  • Während der Ausführung Ihrer Agents wird im unteren Bereich automatisch die Registerkarte Ausführungspfad geöffnet und Sie sehen live die Ablaufverfolgungen für die aktuelle Ausführung. Sie können auch zur Registerkarte Verlauf gehen, um frühere Ausführungen zu sehen und sie direkt Evaluierungssätzen hinzufügen.
  • Auf den Registerkarten Evaluierungen undAusgabe können Sie die letzten Ausführungen sehen, in denen Sie das Verhalten und die Ergebnisse neben der Definition Ihres Agents überprüfen können.
• Seite Agenteninstanzen – Gehen Sie zum Abschnitt Agents > Instanzen. Wählen Sie hier einen bestimmten Agent und eine beliebige Ausführung, um die Protokollansicht mit der vollständigen visuellen Darstellung und dem Protokollbereich zu öffnen.

Wenn Sie sich die Ablaufverfolgungen von Agentenläufen oder Evaluierungsläufen anzeigen lassen, erhalten Sie einen Überblick über die Ausführung des Agents. Sie können:

• Ausführungsergebnisse erkennen Sie an farblich markierten Knoten: Erfolg, Fehler oder erneuter Versuch.
• Bewegen Sie die Maus über einen beliebigen Knoten, um eine Vorschau anzuzeigen: Start- und Endzeitstempel, Ausführungsstatus sowie Ausschnitte der Eingaben und Ausgaben.
• Wählen Sie einen Knoten, um die Details zu sehen, einschließlich: vollständige JSON-Nutzlasten, Protokolle und Fehler sowie Runtime-Metriken (Tokennutzung, Latenz).

Verwalten des Zugriffs auf Daten zur Ablaufverfolgung

In diesem Abschnitt wird beschrieben, wie Administratoren den Zugriff auf Ablaufverfolgungsdaten mithilfe des rollenbasierten Zugriffssteuerungsmodells konfigurieren können.

Zum Anzeigen von Ablaufverfolgungsprotokollen benötigen Sie folgende Berechtigungen:

• Logs.View
• Jobs.View

Weitere Informationen zu den Berechtigungen von Standardrollen finden Sie unter Standardrollen.

In folgender Matrix wird erläutert, was je nach Berichtigungskombination zu sehen ist. Diese Kombinationen definieren, welche Details zur Ablaufverfolgung Sie je gemäß rollenbasierten Berechtigungen sehen können.

Logs.View	Jobs.View	Auf das Ergebnis zugreifen
Aktivieren	Aktivieren	Alle Attribute
Aktivieren	Deaktivieren	Alle Attribute
Deaktivieren	Aktivieren	Einige Attribute (z. B. Name, Typ)
Deaktivieren	Deaktivieren	Kein Zugriff

Wenn Sie nicht über die erforderlichen Berechtigungen zum Anzeigen von Ablaufverfolgungsdaten verfügen, wird eine Meldung angezeigt, in der erläutert wird, ob der Zugriff vollständig oder teilweise eingeschränkt ist, und eine Anleitung zum Anfordern der erforderlichen Berechtigung bereitgestellt.

Feedback zu Agent-Ausführungen (Vorschau)

Feedback ist ein kritischer Mechanismus zur Interpretation und Verbesserung der Agent-Laufzeiten. Damit können Sie das Verhalten überprüfen, Probleme diagnostizieren und aussagekräftige Muster bei der Entscheidungsfindung eines Agenten dokumentieren.

Über das Debugging hinaus dient Feedback als Kerneingabe in das feedbackbasierte episodische Gedächtnis, sodass der Agent seine Entscheidungsrichtlinie schrittweise optimieren kann – ohne dass für jede Anpassung vollständige Prompts erforderlich sind.

Die Beziehung zwischen Feedback und Gedächtnis

Während Feedback als Anmerkungstool dient, beeinflusst seine leistungsstärkste Anwendung das episodische Gedächtnis.

Die Bereitstellung von Feedback zu einer Trace hebt das Verhalten hervor, das der Agent in zukünftigen Ausführungen repliziert oder vermeiden sollte.

• Entwicklung bei Wiederholung: Im Gegensatz zu statischen Lösungen kann sich das Verhalten des Agents durch das feedbackbasierte Gedächtnis im Laufe der Zeit verbessern.Der Agent lernt, Muster zu erkennen, die als korrekt oder falsch gekennzeichnet sind.
• Gezielte Verbesserung: Dieser Ansatz ist am wertvollsten in Abläufen, bei denen der Agent häufig „fast richtig“ ist oder sich die Entscheidungsrichtlinie noch in der Entwicklung befindet.
• Selektives Gedächtnis: Nicht jedes Feedback wird automatisch zum Gedächtnis.Sie müssen aktiv bestimmen, welche Anmerkungen wertvolle Lernmöglichkeiten darstellen, um zu verhindern, dass minderwertige Qualität oder inkonsistentes Feedback die Leistung beeinträchtigen.

Wo Feedback angewendet wird

Sie können Feedback zu jedem Abschnitt innerhalb eines Agent-Trace geben.Diese Flexibilität ermöglicht es Ihnen, bestimmte Toolaufrufe, Leitplankenprüfungen oder LLM-Ausgaben bei der Überprüfung oder Diagnose des Verhaltens mit einer Anmerkung zu versehen.

Nur Feedback, das auf die Ausführungsdauer des Agents angewendet wird, kommt für das episodische Gedächtnis in Frage. Während Sie jeden Teil des Trace zur Analyse mit einer Anmerkung hinzufügen können, wird nur Feedback, das direkt an die Laufzeit des Agent angehängt ist, gespeichert und in zukünftigen Ausführungen als Gedächtnis abgerufen.

Wann Feedback angewendet werden soll

Während die Bereitstellung von Feedback zu allen Ablaufverfolgungen das iterative Lernen maximiert, sollten Sie sich in der Praxis auf Ablaufverfolgungen konzentrieren, die den höchsten Wert für die Optimierung bieten.

Konzentrieren Sie sich auf folgende Szenarien:

• Kritisch Szenarien: Traces mit wichtigen Entscheidungen oder schwerwiegenden Fehlern.
• Wiederkehrende Muster: Bereiche, in denen der Agent durchweg Probleme hat oder sich wiederholende Fehler aufweist.
• Schwierige Entscheidungen: Instanzen, bei denen der Agent vor einer komplexen Entscheidung stand.
• Negative Stimmung: Ausführungen, die zu einer schlechten Benutzererfahrung führten.
• Modellverhalten: Beispiele, die ein bestimmtes Verhalten veranschaulichen, das der Agent streng kopieren oder streng vermeiden soll.

Die Anwendung von Feedback ist entscheidend für die kontinuierliche Verbesserung. Dadurch können Sie schrittweise bessere Verhaltensweisen codieren, sodass die Ausführung des Agents zuverlässiger und konsistenter wird.

• Priorisieren Sie Ablaufverfolgungen: Konzentrieren Sie sich auf Ablaufverfolgungen aus kritischen Szenarien, schwerwiegenden Fehlern oder wiederkehrenden Mustern, bei denen der Agent Probleme hat.
• Wertvolle Szenarien: Ausführungen priorisieren, die schwierige Entscheidungen für den Agent darstellen, eine negative Benutzereinschätzung zeigen oder ein Verhalten deutlich veranschaulichen, das der Agent kopieren oder vermeiden soll.
• Schwerpunktbereiche: Identifizieren Sie eindeutig, zu welchen Bereichen Sie Feedback geben:
  • Ausgabe: Hat das Endergebnis die Erwartungen erfüllt?
  • Ausführung des Plans (Trajektorie): Hat der Agent die Aufgabenschritte in der erwarteten Reihenfolge ausgeführt?
  • Kommentare: Verwenden Sie Kommentare, um das Feedback zu bereichern und das Abrufen von Informationen zu unterstützen.