Managing deployed agents

Consolidated monitoring view of deployed agents, with performance, health, feedback, and consumption metrics, plus execution traces for individual runs.

Die Registerkarte „Bereitgestellte Agents“ bietet eine konsolidierte Ansicht aller Agents, die in der Produktion aktiv sind, zusammen mit Leistungs-, Zustands- und Feedback-Metriken in Echtzeit. Sie dient als primärer Arbeitsbereich zur Überwachung der Betriebseffizienz, zur Diagnose von Problemen und zur Sicherstellung, dass bereitgestellte Agents konsistente, qualitativ hochwertige Ergebnisse liefern.

Zentrale Agent-Sichtbarkeit

Diese Ansicht aggregiert alle produktionsbereiten Agents in Ihrem Mandanten, sodass Administratoren und Entwickler den Betriebsstatus und die letzten Aktivitäten schnell bewerten können. Jede Agent-Karte fasst die wichtigsten Betriebsmetriken zusammen, einschließlich:

• Erfolgsquote – Der Prozentsatz der erfolgreichen Ausführungen, sodass Sie beeinträchtigte oder leistungsschwache Agents identifizieren können.
• Durchschnittliche Reaktionszeit – Ein Maß für die Ausführungsgeschwindigkeit und Effizienz der letzten Aufträge.
• Feedbackvolumen – Die Anzahl der für den Agent erfassten gent Benutzer- oder Systembewertungen.
• Zustandsindikatoren – Visuelle Hinweise (z. B. Gesund, Beeinträchtigt), die allgemeine Leistungstrends und Runtime-Stabilität widerspiegeln.

Agents können nach Status, Typ, Ordner oder Zeitraum gefiltert werden, was eine genaue Überwachung über Geschäftsbereiche oder Bereitstellungsumgebungen hinweg ermöglicht.

Betriebsinformationen und Leistungsüberwachung

Die Registerkarte bietet kontextbezogene Analysen, die über den einfachen Runtime-Status hinausgehen. Sie können Folgendes erkunden:

• Aktive und abgeschlossene Aufträge – Separate Zeitleisten erfassen Live-Ausführungen und abgeschlossene Ausführungen, sodass Workload-Spitzen und Engpässe identifiziert werden können.
• Fehler- und Latenzmuster – Leistungsdiagramme zeigen Ausführungsfehler, die Zeit bis zur ersten Reaktion und Latenz-Perzentile an, sodass Teams die Reaktionsfähigkeit gezielt optimieren können.
• Feedback-Trends – Eine aggregierte Stimmungsanalyse (positiv vs. negativ) zeigt, wie sich die Agent-Qualität im Laufe der Zeit entwickelt und welche Aktualisierungen sich auf die Benutzerzufriedenheit auswirken.

Diese Erkenntnisse helfen bei der Diagnose von systemischen Problemen, der Validierung neuer Bereitstellungen und der Priorisierung von Optimierungsbemühungen.

Nutzungs- und Verbrauchsanalyse

Das Dashboard veranschaulicht, wie Agents mit ihren Umgebungen interagieren und wie Ressourcen verbraucht werden:

• Nutzung von Agent Units – Verfolgt den Gesamtverbrauch und identifiziert Ausreißer bei der Kosten- oder Ressourcennutzung.
• Am häufigsten aufgerufene Funktionen – Listet die am häufigsten verwendeten Aktionen (Tools, Aktivitäten oder Indizes) über Agent-Ausführungen hinweg auf, sodass Teams Verhaltensmuster und häufige Abhängigkeiten besser verstehen können.

Detaillierte Ansicht der Agent-Runtime

Bei Auswahl eines einzelnen Agents wird ein detaillierter Analyse-Arbeitsbereich geöffnet, der Folgendes kombiniert:

• Ein Runtime-Diagramm, das die Logik, Tools und Speicherquellen des Agents abbildet.
• Visualisierungen der Zustandsbewertung, die das Prompt-Design, die Tool-Integration und die Evaluierungsabdeckung bewerten.
• Ausführungsablaufverfolgungen mit detaillierter Sichtbarkeit jeder Ausführung (Eingaben, Ausgaben, Fehler und Zeitdetails), sodass Entwickler den Argumentationsprozess des Agents rekonstruieren und debuggen können.

Die Agent-Instanzansicht bietet vollständige Beobachtbarkeit bei einzelnen Agent-Ausführungen und ermöglicht eine vollständige Ablaufverfolgung von Entscheidungen, Aktionen und Leistungsmetriken innerhalb einer einzigen Ausführung.

Verstehen der Ansicht der Ablaufverfolgung

Die Trace-Ansicht kombiniert eine grafische Darstellung der Logik des Agenten mit zeitausgerichteten Ausführungsdaten, sodass Sie den Ablauf und die Ergebnisse jedes Schritts überprüfen können.Die Arbeitsfläche zeigt Knoten, die wichtige Agentenkomponenten wie Modelle und Tools repräsentieren, die in einer bestimmten Reihenfolge verbunden sind.

Sobald Sie sich in der Ansicht der Ablaufverfolgung eines Agentenlaufs befinden, folgen Sie diesen Schritten, um mit den Ablaufverfolgungsdaten zu interagieren und sie zu untersuchen:

1. Knoteninformationen in der Vorschau anzeigen. Zeigen Sie auf einen beliebigen Knoten auf der Arbeitsfläche, um einen Tooltip anzuzeigen, der Folgendes enthält:
   • Der Ausführungsstatus (Erfolg, erneuter Versuch oder Fehler)
   • Start- und Endzeitstempel
   • Eine Vorschau der Eingabe- und Ausgabedaten. Dies ist hilfreich, um einen schnellen Überblick darüber zu erhalten, was in jedem Schritt passiert ist, ohne die vollständigen Details öffnen zu müssen.
2. Sehen Sie sich vollständige Details des Knotens an. Wählen Sie einen beliebigen Knoten, um einen detaillierten Bereich zu öffnen, der Folgendes enthält:
   • Vollständige Eingabe- und Ausgabe-Payloads (JSON)
   • Ausführungsprotokolle oder Fehlermeldungen (falls zutreffend)
   • Runtime-Metriken, wie Latenz und Token-Nutzung
   • Konfigurationsparameter, falls verfügbar
3. Navigieren Sie zwischen verwandten Schritten, um zu erfahren, wie Informationen durch den Agent geflossen sind:
   • Wählen Sie verbundene Knoten aus, um sich vorwärts oder rückwärts zu bewegen.
   • Auf diese Weise können Sie verfolgen, wie Entscheidungen, Eingaben oder Ausgaben aus einem Schritt den nächsten Schritt beeinflusst haben.
4. Verwenden Sie den Bereich Ablaufverfolgung der Ausführung. In diesem Bereich finden Sie eine chronologische Liste aller aufgezeichneten Aktionen während des Agentenlaufs.
   • Wählen Sie eine Zeile im Protokoll der Ablaufverfolgung aus, um den entsprechenden Knoten auf der Arbeitsfläche zu markieren.
   • Ebenso wird beim Auswählen eines Knotens auf der Arbeitsfläche automatisch die entsprechende Zeile im Protokoll hervorgehoben.