Beobachtbarkeit für Conversational Agents

Die Beobachtbarkeit liefert Einblicke in die Leistung Ihres Konversations-Agents, die Benutzerzufriedenheit und verbesserungswürdige Bereiche. Mit diesen Tools können Sie das Produktionsverhalten überwachen und das Design Ihres Agents durchlaufen.

Dashboard

Die Instanzverwaltung stellt eine Dashboard-Ansicht zur Überwachung der wichtigsten Metriken und Leistungsindikatoren Ihres Konversations-Agents bereit.

Zugriff auf das Dashboard

1. Gehen Sie zum UiPath Automation Cloud-Portal.
2. Gehen Sie zu Agents > Bereitgestellte Agents.
3. Wählen Sie Ihren Konversations-Agent aus.
4. Wählen Sie die Registerkarte Dashboard aus.

Verfügbare Metriken

Das Dashboard bietet Einblicke in:

• Nutzungsmetriken: Konversationsvolumen und Benutzerinteraktion.
• Leistungsindikatoren: Toolnutzung und aktive Benutzer.
• Benutzerfeedback: Zusammenfassung der Daumen-nach-unten-Bewertungen.

Hinweis:

Verbrauchsmetriken werden aktualisiert und werden in einer zukünftigen Version verfügbar sein.

Benutzerfeedback

Feedback von Benutzern hilft Ihnen, Bereiche zu identifizieren, in denen Ihr Agent gut funktioniert und wo Verbesserungsbedarf besteht.

So funktioniert Feedback

1. Benutzer zeigen nach Agent-Antworten einen Daumen nach oben oder unten.
2. Benutzer können optional Kommentare hinzufügen, die ihr Feedback erläutern.
3. Feedback wird an die Ablaufverfolgung angehängt und kann in der Instanzverwaltung überprüft werden.

Überprüfen von Feedback

Greifen Sie über die Instanzverwaltung auf Benutzerfeedback zu:

1. Gehen Sie zu Agents > Bereitgestellte Agents.
2. Wählen Sie Ihren Konversations-Agent aus.
3. Wechseln Sie zum Menü Feedback .
4. Überprüfen Sie Feedback-Einträge mit Bewertungen und Kommentaren von Benutzern.

Nutzen Sie dieses Feedback, um Bereiche mit Verbesserungspotenzial zu identifizieren und die Benutzerzufriedenheit mit den Antworten der Agents zu verstehen.

Ablaufverfolgungsprotokolle

Ablaufverfolgungsprotokolle liefern detaillierte Aufzeichnungen über die Ausführung von Agents, sodass Sie Probleme debuggen und das Verhalten des Agents nachvollziehen können.

Zugriff auf Verfolgungen

1. Wählen Sie unter Instanzverwaltung Ihren Agent.
2. Gehen Sie zum Abschnitt Laufzeit .
3. Wählen Sie eine Konversation aus, um ihre Ablaufverfolgung anzuzeigen.

Was Ablaufverfolgungen anzeigen

Jede Ablaufverfolgung enthält:

• LLM-Aufrufe: An das Modell gesendete Eingabeaufforderungen und empfangene Antworten.
• Toolaufrufe: Welche Tools mit Eingaben und Ausgaben aufgerufen wurden.
• Zeitinformationen: Dauer jedes Schritts.
• Tokennutzung: Pro Aufruf verbrauchte Token.

Verwenden von Ablaufverfolgungen für das Debuggen

Bei der Untersuchung von Problemen:

1. Suchen Sie die Konversation in den Aufträgen der Instanzverwaltung oder des Orchestrators.
2. Öffnen Sie die Ablaufverfolgung, um den vollständigen Ausführungspfad anzuzeigen.
3. Ermitteln Sie, wo der Agent vom erwarteten Verhalten abgeweicht hat.
4. Nutzen Sie die Erkenntnisse, um Ihren Systemprompt oder Ihre Toolkonfiguration zu optimieren.

Iteration für Ihren Agent

Die Beobachtbarkeit vervollständigt die Feedback-Schleife im Lebenszyklus des Agents. Nutzen Sie Erkenntnisse aus der Produktion, um das Design Ihres Agents zu verbessern.

Der Iterationsprozess

1. Probleme identifizieren: Überprüfen Sie Dashboards, Feedback und Ablaufverfolgungen für Probleme.
2. Ursachendiagnose: Verwenden Sie die Ablaufverfolgung, um zu verstehen, warum Probleme auftreten.
3. Design aktualisieren: Ändern Sie Systemprompts, Tools oder Konfigurationen.
4. Teständerungen: Erstellen Sie Auswertungstests, die die identifizierten Probleme abdecken.
5. Aktualisierungen bereitstellen: Veröffentlichen Sie den verbesserten Agent.
6. Ergebnisse überwachen: Überprüfen Sie Verbesserungen durch Beobachtbarkeit.

Häufige Verbesserungen basierend auf der Beobachtbarkeit

Beobachtung	Mögliche Verbesserungen
Negatives Feedback zu bestimmten Themen	Fügen Sie Kontextgrundlagenindizes hinzu oder verbessern Sie sie
Toolfehler	Überprüfen Sie die Toolkonfiguration und die Fehlerbehandlung
Lange Antwortzeiten	Optimieren Sie die Toolauswahl oder wechseln Sie Modelle
Benutzer, die nach nicht verfügbaren Funktionen fragen	Aktualisieren Sie den System-Prompt, um Erwartungen zu setzen

Prüfung und Compliance

AI Trust Layer-Prüfung

Die AI Trust Layer bietet einen vollständigen Auditprüfpfad von LLM-Aufrufen und dem Verhalten von Agents für Compliance- und Governance-Zwecke.

Zugriff auf AITL-Prüfungsprotokolle über das Administratorportal für:

• Vollständiger Verlauf der Modellinteraktionen
• Eingaben und Ausgaben
• Überprüfung der Datenaufbewahrung und Compliance

Ausführliche Bereitstellungsoptionen finden Sie unter Anzeigen von Prüfungsprotokollen

Nächste Schritte

• Design: Aktualisieren Sie Ihren Agent basierend auf Erkenntnissen
• Evaluierung: Erstellen Sie Tests aus Produktionsszenarien
• Agent-Ablaufverfolgung: Detaillierte Dokumentation der Ablaufverfolgung
• Agent Score: Grundlegendes zur Zustandsbewertung des Agents