Beobachtbarkeit

Überwachen Sie die Leistung Ihres bereitgestellten Chat-Agents, die Benutzerzufriedenheit und das Produktionsverhalten mithilfe des Dashboards „Instanzverwaltung“.

Auf dieser Seite wird die Beobachtbarkeit für Ihre bereitgestellten Chatumgebungen beschrieben – entweder erstellt in Agent Builder oder in Maestro Flow. Informationen zu Agents für Sprachkonversationen finden Sie unter Sprache Observability.

Verwenden Sie diese Tools, um das Produktionsverhalten zu überwachen und das Design Ihres Agents zu überarbeiten.

Dashboard

Die Instanzverwaltung bietet eine Dashboard-Ansicht zur Überwachung der wichtigsten Metriken, Leistungsindikatoren und des Benutzerfeedbacks Ihrer bereitgestellten Konversationserfahrung.

Zugriff auf das Dashboard

1. Gehen Sie zum UiPath Automation Cloud-Portal.
2. Navigieren Sie zu Agents > Conversational.
3. Wählen Sie Ihren Conversational Agent (in Agent Builder integriert) oder Ihren Konversationsflow (in Maestro Flow integriert) aus.
4. Wählen Sie die Registerkarte „Dashboard“ aus.

Wichtig:

Nur die Instanzverwaltung – für die Administratorüberwachung und Power-Benutzer – unterscheidet zwischen Buildpfaden, indem Agent Builder-Agents als Conversational Agents und Flow-erstellte Agents als Conversational Flows gekennzeichnet werden. Jeder andere Bereitstellungskanal stellt beide Typen als Conversational Agent für Endbenutzer bereit.

Verfügbare Metriken

Das Dashboard bietet Sichtbarkeit in:

• Nutzungsmetriken: Konversationsvolumen und Benutzerengagement.
• Leistungsindikatoren: Toolnutzung und aktive Benutzer.
• Benutzerfeedback: Zusammenfassung der Bewertungen von Daumen hoch/runter.

Benutzerfeedback

Feedback von Benutzern hilft dabei, Bereiche zu identifizieren, in denen Ihr Agent gut funktioniert und in denen er verbessert werden muss.

Wie Feedback funktioniert

1. Benutzer geben nach Agent-Antworten einen Daumen hoch oder einen Daumen runter an.
2. Benutzer können optional Kommentare hinzufügen, die ihr Feedback erklären.
3. Feedback wird an die Trace angehängt und kann in der Instanzverwaltung überprüft werden.

Überprüfen von Feedback

Greifen Sie über die Instanzverwaltung auf Benutzerfeedback zu:

1. Navigieren Sie zu Agents > Conversational.
2. Wählen Sie Ihren Conversational Agent (in Agent Builder integriert) oder Ihren Konversationsflow (in Maestro Flow) aus.
3. Gehen Sie zum Menü „Feedback“.
4. Überprüfen Sie Feedbackeinträge mit Bewertungen und Kommentaren von Benutzern.

Verwenden Sie dieses Feedback, um Bereiche mit Verbesserungspotenzial zu identifizieren und die Benutzerzufriedenheit mit Agent-Antworten zu verstehen.

Trace-Protokolle

Trace-Protokolle bieten detaillierte Aufzeichnungen der Agent-Ausführung, sodass Sie Probleme debuggen und das Agent-Verhalten verstehen können.

Zugriff auf Ablaufverfolgungen für Agent Builder-Agents

1. Wählen Sie Ihren Conversational Agent aus (integriert in Agent Builder).
2. Navigieren Sie zum Abschnitt Ausführungen überprüfen .
3. Wählen Sie einen Auftrag aus, um seine Trace anzuzeigen. Jeder Auftrag, der mit einer Konversation korreliert ist, zeigt das gesamte Konversations-Trace an.

Zugriff auf Ablaufverfolgungen für Gesprächs-Flows

1. Wählen Sie Ihren Conversational Flow aus (integriert in Maestro Flow).
2. Wählen Sie In Maestro öffnen.
3. Wählen Sie eine beliebige Ausführung, um deren Ablaufverfolgung, Status und Knotenausführungen zu sehen.

Was Trace anzeigen

Jeder Trace enthält:

• Konversationsaustausch: Alle Hin- und Her-Wechsel in der Konversation.
• Agent-Ausführungen: Die Agent-Ausführung unter jedem Austausch mit Eingaben und Ausgaben.
• LLM-Aufrufe: An das Modell gesendete Prompts und empfangene Antworten.
• Toolaufrufe: Welche Tools aufgerufen wurden, mit Eingaben und Ausgaben.
• Zeitinformationen: Dauer jedes Schritts.
• Tokennutzung: Pro Austausch verbrauchte Token.

Verwenden von Ablaufverfolgungen zum Debuggen

Bei der Untersuchung von Problemen:

1. Suchen Sie die Konversation in Instanzverwaltung oder Orchestrator-Aufträgen.
2. Öffnen Sie die Trace, um den vollständigen Ausführungspfad zu sehen.
3. Identifizieren Sie, wo der Agent vom erwarteten Verhalten abgewichen ist.
4. Verwenden Sie Insights, um Ihre Systemaufforderung oder Toolkonfiguration zu optimieren.

Iteration Ihres Agents

Die Beobachtbarkeit schließt die Feedbackschleife im Agent-Lebenszyklus ab. Verwenden Sie Insights aus der Produktion, um das Design Ihres Agents zu verbessern.

Der Prozess

1. Probleme identifizieren: Überprüfen Sie Dashboards, Feedback und Ablaufverfolgungen auf Probleme.
2. Diagnose von Ursachen: Verwenden Sie Ablaufverfolgungen, um zu verstehen, warum Probleme auftreten.
3. Design aktualisieren: Ändern Sie Systemaufforderungen, Tools oder Konfigurationen.
4. Teständerungen: Erstellen Sie Auswertungstests, die die identifizierten Probleme abdecken.
5. Bereitstellung von Aktualisierungen: Veröffentlichen Sie den verbesserten Agent.
6. Ergebnisse überwachen: Überprüfen Sie Verbesserungen durch Beobachtbarkeit.

Häufige Verbesserungen auf Grundlage der Beobachtbarkeit.

Beobachtung	Potenzielle Verbesserung
Negatives Feedback zu bestimmten Themen	Hinzufügen oder Verbessern von Kontextgrundlageindizes.
Toolfehler	Konfiguration des Tools und Error-Behandlung überprüfen
Lange Reaktionszeiten	Toolauswahl optimieren oder Modelle wechseln
Benutzer, die nach nicht verfügbaren Funktionen fragen.	Aktualisieren Sie den System-Prompt, um Erwartungen festzulegen.

Prüfung und Compliance

AI Trust Layer-Prüfung

Der AI Trust Layer bietet einen vollständigen Prüfungspfad von LLM-Aufrufen und Agent-Verhalten für Compliance- und Governance-Zwecke.

Greifen Sie über das Administratorportal auf AITL-Prüfungsprotokolle zu für:

• Vollständiger Verlauf der Modellinteraktionen
• Eingaben und Ausgaben
• Überprüfung von Datenresidenz und Compliance

Ausführliche Bereitstellungsoptionen finden Sie unter Anzeigen von Prüfungsprotokollen.

Nächste Schritte

• In Maestro Flow integrieren: Aktualisieren Sie Ihren Konversationsflow basierend auf Insights
• Build in Agent Builder: Aktualisieren Sie Ihren Agent in Agent Builder basierend auf Insights
• Agent-Ablaufverfolgungen: Detaillierte Trace-Dokumentation