Spuren von Agents

Über Ablaufverfolgungen

Ablaufverfolgungen sind detaillierte Aufzeichnungen aller Aktionen, die ein Agent während eines Laufs ausführt – einschließlich der durchgeführten Schritte, der verarbeiteten Daten, der getroffenen Entscheidungen und der erzeugten Ergebnisse. Jede Ablaufverfolgung erfasst eine vollständige Zeitleiste des Verhaltens des Agents, einschließlich Zeitstempeln, Fehlern, Eingaben/Ausgaben und kontextbezogener Metadaten. Verwenden Sie Spuren für:

• Debugging und Fehlerbehebung: Identifizieren Sie genau, wo ein Agent fehlgeschlagen ist oder sich unerwartet verhalten hat.
• Leistungsanalyse: Evaluieren Sie Latenz, Fehler und den Durchsatz über Agentenläufe hinweg, um das Verhalten zu optimieren.
• Compliance und Auditierung: Führen Sie eine überprüfbare Aufzeichnung darüber, was der Agent wann und wie ausgeführt hat – unerlässlich für Prüfungen oder regulierte Workflows.
• Kontinuierliche Verbesserung: Verwenden Sie Erkenntnisse der Ablaufverfolgung, um die Agentenlogik zu verfeinern, das Verhalten anzupassen oder neue Modelle zu trainieren.

In der folgenden Tabelle werden häufige Anwendungsfälle beschrieben, in denen die Visualisierung von Ablaufverfolgungen dabei helfen kann, das Debuggen, Analysieren und Optimieren des Agentenverhaltens zu unterstützen. Jedes Beispiel zeigt, wie Daten der Ablaufverfolgung dazu beitragen, Einblicke zu gewinnen und fundierte Entscheidungen während der Entwicklung und der Runtime-Überwachung zu treffen.

Use case	Was Ablaufverfolgungen ermöglichen
Agent schlägt während des Toolaufrufs fehl.	Suchen und überprüfen Sie den genauen Schritt, Eingaben, Ausgaben und Fehler
Die Leistung ist gering	Verwenden Sie Zeitstempel zum Auffinden von Engpässen
Untersuchung eines Fehleranstiegs	Ausführungen nach Status filtern und das Muster nachverfolgen
Verifikation einer Fehlerbehebung in der Produktion	Führen Sie den ursprünglichen Lauf erneut aus und bestätigen Sie, dass das Problem nicht mehr auftritt.
Vorbereitung eines Prüfungsberichts	Exportieren oder überprüfen Sie Ablaufverfolgungen, die Entscheidungspfade und verarbeitete Daten zeigen

Arten von Ablaufverfolgung

Es gibt zwei unterschiedliche Arten von Ablaufverfolgungen, die jeweils einen spezifischen Zweck beim Verstehen und Analysieren des Agentenverhaltens erfüllen:

• Agentenlauf-Ablaufverfolgungen: Diese Ablaufverfolgungen erfassen die schrittweise Ausführung eines Agents während eines Live- oder geplanten Laufs. Sie veranschaulichen, wie der Agent Daten verarbeitet, Tools aufgerufen, Bedingungen gehandhabt und auf verschiedene Zustände in Echtzeit reagiert hat.
• Evaluationslauf-Ablaufverfolgungen: Evaluations-Ablaufverfolgungen werden erzeugt, wenn ein Agent mit vordefinierten Eingaben getestet wird, typischerweise während Modellevaluierungen, Szenariovalidierungen oder in Testfällen. Diese helfen dabei, die Genauigkeit des Agents, die Qualität seiner Entscheidungen und sein Verhalten unter kontrollierten Bedingungen zu bewerten.

Zugriff auf Verfolgungen

Beide Arten von Ablaufverfolgungen sind an zwei wichtigen Stellen zugänglichL

• Agent Builder – Während des Entwerfens oder Testens Ihres Agents stehen die Ablaufverfolgungen direkt im Builder zur Verfügung:
  • Während der Ausführung Ihrer Agents wird im unteren Bereich automatisch die Registerkarte Ausführungspfad geöffnet und Sie sehen live die Ablaufverfolgungen für die aktuelle Ausführung. Sie können auch zur Registerkarte Verlauf gehen, um frühere Ausführungen zu sehen und sie direkt Evaluierungssätzen hinzufügen.
  • Auf den Registerkarten Evaluierungen undAusgabe können Sie die letzten Ausführungen sehen, in denen Sie das Verhalten und die Ergebnisse neben der Definition Ihres Agents überprüfen können.
• Seite Agenteninstanzen – Gehen Sie zum Abschnitt Agents > Instanzen. Wählen Sie hier einen bestimmten Agent und eine beliebige Ausführung, um die Protokollansicht mit der vollständigen visuellen Darstellung und dem Protokollbereich zu öffnen.

Wenn Sie sich die Ablaufverfolgungen von Agentenläufen oder Evaluierungsläufen anzeigen lassen, erhalten Sie einen Überblick über die Ausführung des Agents. Sie können:

• Ausführungsergebnisse erkennen Sie an farblich markierten Knoten: Erfolg, Fehler oder erneuter Versuch.
• Bewegen Sie die Maus über einen beliebigen Knoten, um eine Vorschau anzuzeigen: Start- und Endzeitstempel, Ausführungsstatus sowie Ausschnitte der Eingaben und Ausgaben.
• Wählen Sie einen Knoten, um die Details zu sehen, einschließlich: vollständige JSON-Nutzlasten, Protokolle und Fehler sowie Runtime-Metriken (Tokennutzung, Latenz).

Verwalten des Zugriffs auf Daten zur Ablaufverfolgung

In diesem Abschnitt wird beschrieben, wie Administratoren den Zugriff auf Ablaufverfolgungsdaten mithilfe des rollenbasierten Zugriffssteuerungsmodells konfigurieren können.

Zum Anzeigen von Ablaufverfolgungsprotokollen benötigen Sie folgende Berechtigungen:

• Logs.View
• Jobs.View

Weitere Informationen zu den Berechtigungen von Standardrollen finden Sie unter Standardrollen.

In folgender Matrix wird erläutert, was je nach Berichtigungskombination zu sehen ist. Diese Kombinationen definieren, welche Details zur Ablaufverfolgung Sie je gemäß rollenbasierten Berechtigungen sehen können.

Logs.View	Jobs.View	Auf das Ergebnis zugreifen
Aktivieren	Aktivieren	Alle Attribute
Aktivieren	Deaktivieren	Alle Attribute
Deaktivieren	Aktivieren	Einige Attribute (z. B. Name, Typ)
Deaktivieren	Deaktivieren	Kein Zugriff

Wenn Sie nicht über die erforderlichen Berechtigungen zum Anzeigen von Ablaufverfolgungsdaten verfügen, wird eine Meldung angezeigt, in der erläutert wird, ob der Zugriff vollständig oder teilweise eingeschränkt ist, und eine Anleitung zum Anfordern der erforderlichen Berechtigung bereitgestellt.

Feedback zu Agent-Ausführungen (Vorschau)

Feedback ist ein entscheidender Mechanismus für die Interpretation und Verbesserung von Agent-Runtimes. Damit können Sie Verhalten überprüfen, Probleme diagnostizieren und aussagekräftige Muster bei der Entscheidungsfindung eines Agents dokumentieren.

Neben dem Debuggen fungiert Feedback als Kerneingabe für das Feedback-basierte Epicsod-Speicher und ermöglicht es dem Agenten, seine Entscheidungsrichtlinie schrittweise zu verfeinern, ohne dass für jede Anpassung vollständige Neufassungen des Prompts erforderlich sind.

Die Beziehung zwischen Feedback und Gedächtnis

Während Feedback als Anmerkungstool fungiert, ist seine leistungsstärkste Anwendung die Beeinflussung des periodischen Gedächtnisses.

Wenn Sie Feedback zu einer Ablaufverfolgung geben, wird Verhaltensweisen hervorgehoben, die der Agent in zukünftigen Ausführungen replizieren oder vermeiden sollte.

• Entwicklung durch Wiederholung: Im Gegensatz zu statischen Auflösungen ermöglicht Feedback-basiertes Gedächtnis, dass sich das Verhalten des Agents im Laufe der Zeit verbessert. Der Agent lernt, Muster zu erkennen, die als richtig oder falsch gekennzeichnet sind.
• Gezielte Verbesserung: Dieser Ansatz ist am hilfreichsten in Abläufen, bei denen der Agent häufig „fast richtig“ liegt oder die Entscheidungsrichtlinie noch in der Entwicklung ist.
• Selektiver Gedächtnis: Nicht jedes Feedback wird automatisch zum Gedächtnis. Sie müssen aktiv ermitteln, welche Anmerkungen hochwertige Lernmöglichkeiten darstellen, um zu verhindern, dass fehlerhaftes Feedback von geringer Qualität oder inkonsistentem Feedback die Leistung beeinträchtigt.

Wo Feedback angewendet werden soll

Sie können Feedback zu jeder Spanne innerhalb einer Ablaufverfolgung für Agents geben. Dank dieser Flexibilität können Sie bestimmte Toolaufrufe, Guardrail-Prüfungen oder LLM-Ausgaben bei der Überprüfung oder Diagnose des Verhaltens mit Anmerkungen versehen.

Nur Feedback, das auf die Ausführungsspanne des Agents angewendet wird, ist für das Epicsod Sie können zwar jeden Teil der Ablaufverfolgung für die Analyse mit Anmerkungen versehen, aber nur Feedback, das direkt an die Spanne der Ausführung des Agents angehängt ist, wird gespeichert und als Speicher in zukünftigen Ausführungen abgerufen.

Wann Feedback angewendet werden soll

Eine Bereitstellung von Feedback zu allen Ablaufverfolgungen würde zwar das iterative Lernen maximieren, in der Praxis sollten Sie sich jedoch auf Ablaufverfolgungen konzentrieren, die den höchsten Wert für die Optimierung bieten.

Konzentrieren Sie sich auf die folgenden Szenarien:

• Kritische Szenarien: Ablaufverfolgungen, die Entscheidungen mit hohem Risiko oder Fehler mit hoher Auswirkung betreffen.
• Wiederkehrende Muster: Bereiche, in denen der Agent ständig Probleme hat oder sich wiederholende Fehler zeigt.
• Schwierige Entscheidungen: Fälle, in denen der Agent vor einer komplexen Entscheidung steht.
• Negative Stimmung: Ausführungen, die zu einer schlechten Benutzererfahrung führten.
• Modellverhalten: Beispiele, die eindeutig ein bestimmtes Verhalten veranschaulichen, das der Agent strikt kopieren oder strikt vermeiden soll.

Die Anwendung von Feedback ist für die kontinuierliche Verbesserung entscheidend. Sie ermöglicht es Ihnen, inkrementell besseres Verhalten zu codieren, sodass Agents zuverlässiger und konsistenter ausgeführt werden.

• Ablaufverfolgungen priorisieren: Konzentrieren Sie sich auf Ablaufverfolgungen bei kritischen Szenarien, Fehlern mit hoher Auswirkung oder wiederkehrende Muster, bei denen der Agent Probleme hat.
• Hochwertige Szenarien: Priorisieren Sie Ausführungen, die schwierige Entscheidungen für den Agent darstellen, eine negative Benutzerstimmung zeigen oder eindeutig ein Verhalten zeigen, das der Agent kopieren oder vermeiden soll.
• Fokusbereiche: Geben Sie eindeutig an, worüber Sie Feedback geben:
  • Ausgabe: Hat das Endergebnis die Erwartungen erfüllt?
  • Ausführung planen (Verlauf): Hat der Agent die Aufgabenschritte in der erwarteten Reihenfolge ausgeführt?
  • Kommentare: Verwenden Sie Kommentare, um das Feedback zu bereichern und die Speicherabfrage zu optimieren.