Spuren von Agents

Über Ablaufverfolgungen

Ablaufverfolgungen sind detaillierte Aufzeichnungen aller Aktionen, die ein Agent während eines Laufs ausführt – einschließlich der durchgeführten Schritte, der verarbeiteten Daten, der getroffenen Entscheidungen und der erzeugten Ergebnisse. Jede Ablaufverfolgung erfasst eine vollständige Zeitleiste des Verhaltens des Agents, einschließlich Zeitstempeln, Fehlern, Eingaben/Ausgaben und kontextbezogener Metadaten.

Verwenden Sie Spuren für:

• Debugging und Fehlerbehebung: Identifizieren Sie genau, wo ein Agent fehlgeschlagen ist oder sich unerwartet verhalten hat.
• Leistungsanalyse: Evaluieren Sie Latenz, Fehler und den Durchsatz über Agentenläufe hinweg, um das Verhalten zu optimieren.
• Compliance und Auditierung: Führen Sie eine überprüfbare Aufzeichnung darüber, was der Agent wann und wie ausgeführt hat – unerlässlich für Prüfungen oder regulierte Workflows.
• Kontinuierliche Verbesserung: Verwenden Sie Erkenntnisse der Ablaufverfolgung, um die Agentenlogik zu verfeinern, das Verhalten anzupassen oder neue Modelle zu trainieren.

In der folgenden Tabelle werden häufige Anwendungsfälle beschrieben, in denen die Visualisierung von Ablaufverfolgungen dabei helfen kann, das Debuggen, Analysieren und Optimieren des Agentenverhaltens zu unterstützen. Jedes Beispiel zeigt, wie Daten der Ablaufverfolgung dazu beitragen, Einblicke zu gewinnen und fundierte Entscheidungen während der Entwicklung und der Runtime-Überwachung zu treffen.

Use case	Was Ablaufverfolgungen ermöglichen
Agent schlägt während des Toolaufrufs fehl.	Suchen und überprüfen Sie den genauen Schritt, Eingaben, Ausgaben und Fehler
Die Leistung ist gering	Verwenden Sie Zeitstempel zum Auffinden von Engpässen
Untersuchung eines Fehleranstiegs	Ausführungen nach Status filtern und das Muster nachverfolgen
Verifikation einer Fehlerbehebung in der Produktion	Führen Sie den ursprünglichen Lauf erneut aus und bestätigen Sie, dass das Problem nicht mehr auftritt.
Vorbereitung eines Prüfungsberichts	Exportieren oder überprüfen Sie Ablaufverfolgungen, die Entscheidungspfade und verarbeitete Daten zeigen

Arten von Ablaufverfolgung

Es gibt zwei unterschiedliche Arten von Ablaufverfolgungen, die jeweils einen spezifischen Zweck beim Verstehen und Analysieren des Agentenverhaltens erfüllen:

• Agentenlauf-Ablaufverfolgungen: Diese Ablaufverfolgungen erfassen die schrittweise Ausführung eines Agents während eines Live- oder geplanten Laufs. Sie veranschaulichen, wie der Agent Daten verarbeitet, Tools aufgerufen, Bedingungen gehandhabt und auf verschiedene Zustände in Echtzeit reagiert hat.
• Evaluationslauf-Ablaufverfolgungen: Evaluations-Ablaufverfolgungen werden erzeugt, wenn ein Agent mit vordefinierten Eingaben getestet wird, typischerweise während Modellevaluierungen, Szenariovalidierungen oder in Testfällen. Diese helfen dabei, die Genauigkeit des Agents, die Qualität seiner Entscheidungen und sein Verhalten unter kontrollierten Bedingungen zu bewerten.

Zugriff auf Verfolgungen

Beide Arten von Ablaufverfolgungen sind an zwei wichtigen Stellen zugänglichL

• Agent Builder: Gehen Sie beim Entwerfen oder Bearbeiten eines Agents zu den Registerkarten Evaluierungen oder Ausgabe, um zu überprüfen, wie sich der Agent während der letzten Ausführungen verhalten hat.
• Seite Agenteninstanzen: Gehen Sie zum Abschnitt Agents > Instanzen. Wählen Sie hier einen bestimmten Agent und eine beliebige Ausführung, um die Protokollansicht mit der vollständigen visuellen Darstellung und dem Protokollbereich zu öffnen.

Wenn Sie sich die Ablaufverfolgungen von Agentenläufen oder Evaluierungsläufen anzeigen lassen, erhalten Sie einen Überblick über die Ausführung des Agents. Sie können:

• Ausführungsergebnisse erkennen Sie an farblich markierten Knoten: Erfolg, Fehler oder erneuter Versuch.

• Bewegen Sie die Maus über einen beliebigen Knoten, um eine Vorschau anzuzeigen: Start- und Endzeitstempel, Ausführungsstatus sowie Ausschnitte der Eingaben und Ausgaben.
• Wählen Sie einen Knoten, um die Details zu sehen, einschließlich: vollständige JSON-Nutzlasten, Protokolle und Fehler sowie Runtime-Metriken (Tokennutzung, Latenz).

Verwalten des Zugriffs auf Daten zur Ablaufverfolgung

In diesem Abschnitt wird beschrieben, wie Administratoren den Zugriff auf Ablaufverfolgungsdaten mithilfe des rollenbasierten Zugriffssteuerungsmodells konfigurieren können.

Zum Anzeigen von Ablaufverfolgungsprotokollen benötigen Sie folgende Berechtigungen:

• Logs.View
• Jobs.View

Weitere Informationen zu den Berechtigungen von Standardrollen finden Sie unter Standardrollen.

In folgender Matrix wird erläutert, was je nach Berichtigungskombination zu sehen ist. Diese Kombinationen definieren, welche Details zur Ablaufverfolgung Sie je gemäß rollenbasierten Berechtigungen sehen können.

Logs.View	Jobs.View	Auf das Ergebnis zugreifen
Aktivieren	Aktivieren	Alle Attribute
Aktivieren	Deaktivieren	Alle Attribute
Deaktivieren	Aktivieren	Einige Attribute (z. B. Name, Typ)
Deaktivieren	Deaktivieren	Kein Zugriff

Wenn Sie nicht über die erforderlichen Berechtigungen zum Anzeigen von Ablaufverfolgungsdaten verfügen, wird eine Meldung angezeigt, in der erläutert wird, ob der Zugriff vollständig oder teilweise eingeschränkt ist, und eine Anleitung zum Anfordern der erforderlichen Berechtigung bereitgestellt.