Beobachtbarkeit für Conversational Agents

Die Beobachtbarkeit bietet Insights in die Leistung Ihres Konversationsagenten, die Benutzerzufriedenheit und Bereiche mit Verbesserungspotenzial.Verwenden Sie diese Tools, um das Produktionsverhalten zu überwachen und das Design Ihres Agents zu überarbeiten.

Dashboard

Die Instanzverwaltung bietet eine Dashboard-Ansicht zur Überwachung der wichtigsten Metriken und Leistungsindikatoren Ihres Conversational Agent.

Zugriff auf das Dashboard

1. Gehen Sie zum UiPath Automation Cloud-Portal.
2. Navigieren Sie zu Agents > Deployed Agents.
3. Wählen Sie Ihren Conversational Agent aus.
4. Wählen Sie die Registerkarte „Dashboard“ aus.

Verfügbare Metriken

Das Dashboard bietet Sichtbarkeit in:

• Nutzungsmetriken: Konversationsvolumen und Benutzerengagement.
• Leistungsindikatoren: Toolnutzung und aktive Benutzer.
• Benutzerfeedback: Zusammenfassung der Bewertungen von Daumen hoch/runter.

Hinweis:

Verbrauchsmetriken werden aktualisiert und werden in einer kommenden Version verfügbar sein.

Benutzerfeedback

Feedback von Benutzern hilft dabei, Bereiche zu identifizieren, in denen Ihr Agent gut funktioniert und in denen er verbessert werden muss.

Wie Feedback funktioniert

1. Benutzer geben nach Agent-Antworten einen Daumen hoch oder einen Daumen runter an.
2. Benutzer können optional Kommentare hinzufügen, die ihr Feedback erklären.
3. Feedback wird an die Trace angehängt und kann in der Instanzverwaltung überprüft werden.

Überprüfen von Feedback

Greifen Sie über die Instanzverwaltung auf Benutzerfeedback zu:

1. Navigieren Sie zu Agents > Deployed Agents.
2. Wählen Sie Ihren Conversational Agent aus.
3. Gehen Sie zum Menü „Feedback“.
4. Überprüfen Sie Feedbackeinträge mit Bewertungen und Kommentaren von Benutzern.

Verwenden Sie dieses Feedback, um Bereiche mit Verbesserungspotenzial zu identifizieren und die Benutzerzufriedenheit mit Agent-Antworten zu verstehen.

Trace-Protokolle

Trace-Protokolle bieten detaillierte Aufzeichnungen der Agent-Ausführung, sodass Sie Probleme debuggen und das Agent-Verhalten verstehen können.

Zugriff auf Verfolgungen

1. Wählen Sie unter „Instanzverwaltung“ Ihren Agent aus.
2. Navigieren Sie zum Abschnitt „Runtime“.
3. Wählen Sie eine Konversation aus, um ihre Trace anzuzeigen.

Was Trace anzeigen

Jeder Trace enthält:

• LLM-Aufrufe: An das Modell gesendete Prompts und empfangene Antworten.
• Toolaufrufe: Welche Tools aufgerufen wurden, mit Eingaben und Ausgaben.
• Zeitinformationen: Dauer jedes Schritts.
• Tokennutzung: Pro Aufruf verbrauchte Token.

Verwenden von Ablaufverfolgungen zum Debuggen

Bei der Untersuchung von Problemen:

1. Suchen Sie die Konversation in Instanzverwaltung oder Orchestrator-Aufträgen.
2. Öffnen Sie die Trace, um den vollständigen Ausführungspfad zu sehen.
3. Identifizieren Sie, wo der Agent vom erwarteten Verhalten abgewichen ist.
4. Verwenden Sie Insights, um Ihre Systemaufforderung oder Toolkonfiguration zu optimieren.

Iteration Ihres Agents

Die Beobachtbarkeit schließt die Feedbackschleife im Agent-Lebenszyklus ab. Verwenden Sie Insights aus der Produktion, um das Design Ihres Agents zu verbessern.

Der Prozess

1. Probleme identifizieren: Überprüfen Sie Dashboards, Feedback und Ablaufverfolgungen auf Probleme.
2. Diagnose von Ursachen: Verwenden Sie Ablaufverfolgungen, um zu verstehen, warum Probleme auftreten.
3. Design aktualisieren: Ändern Sie Systemaufforderungen, Tools oder Konfigurationen.
4. Teständerungen: Erstellen Sie Auswertungstests, die die identifizierten Probleme abdecken.
5. Bereitstellung von Aktualisierungen: Veröffentlichen Sie den verbesserten Agent.
6. Ergebnisse überwachen: Überprüfen Sie Verbesserungen durch Beobachtbarkeit.

Häufige Verbesserungen auf Grundlage der Beobachtbarkeit.

Beobachtung	Potenzielle Verbesserung
Negatives Feedback zu bestimmten Themen	Hinzufügen oder Verbessern von Kontextgrundlageindizes.
Toolfehler	Konfiguration des Tools und Error-Behandlung überprüfen
Lange Reaktionszeiten	Toolauswahl optimieren oder Modelle wechseln
Benutzer, die nach nicht verfügbaren Funktionen fragen.	Aktualisieren Sie den System-Prompt, um Erwartungen festzulegen.

Prüfung und Compliance

AI Trust Layer-Prüfung

Der AI Trust Layer bietet einen vollständigen Prüfungspfad von LLM-Aufrufen und Agent-Verhalten für Compliance- und Governance-Zwecke.

Greifen Sie über das Administratorportal auf AITL-Prüfungsprotokolle zu für:

• Vollständiger Verlauf der Modellinteraktionen
• Eingaben und Ausgaben
• Überprüfung von Datenresidenz und Compliance

Ausführliche Bereitstellungsoptionen finden Sie unter Anzeigen von Prüfungsprotokollen.

Nächste Schritte

• Design: Aktualisieren Sie Ihren Agent basierend auf Insights.
• Auswertung: Erstellen Sie Tests aus Produktionsszenarien.
• Agent-Ablaufverfolgungen: Detaillierte Trace-Dokumentation
• Agent-Punktzahl: Verständnis von Agent-Zustandsbewertungen