Verwaltung von UiPath Agents

Die Seite Agents in Automation Cloud dient als zentrale Registrierungs- und Beobachtungszentrale für alle UiPath-Agents. Verwenden Sie sie, um die Leistung zu überwachen, Gesprächsverhalten zu testen, gemeinsame Ressourcen zu verwalten und die Sichtbarkeit in Ihrem bereitgestellten Ökosystem aufrechtzuhalten.

Von einem zentralen Ort aus können Sie:

• Überwachen Sie bereitgestellte Agents und überprüfen Sie Leistungsmetriken in Echtzeit.
• Testen Sie Conversational Agents vor und nach der Bereitstellung.
• Untersuchen und beheben Sie Agent-Vorfälle oder Zustände mit eingeschränkter Systemgesundheit.
• Greifen Sie auf Agent-Vorlagen aus dem UiPath Marketplace zu und stellen Sie sie bereit.
• Verwalten Sie Indizes für Kontextgrundlagen.

Über den zentralisierten Hub können sämtliche Runtimes von Agents in Echtzeit überwacht werden, wobei bei Fehlern, Verschlechterung des Health Scores und niedriger Punktzahl bei Evaluierungen der Runtimes eine Warnung herausgegeben wird.

Terminologie

• Bei einer Agenteninstanz handelt es sich um einen einzeln bereitgestellten Agent innerhalb eines laufenden Geschäftsprozesses, der in BPMN als Aufgabe dargestellt ist und als Live-Ausführung auf spezifische Trigger, Warteschlangen oder anderen Workflowbedingungen reagiert.
• Verwaltung von Agenteninstanzen stellt einen Aufgabensatz im Zusammenhang mit der Überwachung, Wartung, Verbesserung und Beendigung von Agents und Agentenaufträgen dar.

Wichtige Funktionen

Im Folgenden finden Sie die Hauptfunktionen der neu gestalteten Seite „Agents“ in Automation CloudTM:

• Überwachung in Echtzeit von Agents mithilfe von BPMN-Workflows.
• Fehlerbehandlung und Wiederherstellung über BPMN-definierte Ereignisse.
• Koordination von Runtime-Agents zwischen Agents und menschlichen Bedienern.
• Zusammenführung und Verarbeitung von Konsensen über Entscheidungsgateways.
• Leistungsanalyse und -optmierung auf Grundlage mehrerer Kennzahlen.
• Governance und Compliance-Prüfungen zur Sicherstellung der Einhaltung von Unternehmensrichtlinien.

Überblick

Die Registerkarte Übersicht bietet eine zusammenfassende Darstellung Ihres Agent-Ökosystems und konsolidiert Betriebsinformationen, Leistungskennzahlen und Verbrauchsanalysen in einer zentralen Ansicht. Es fungiert als Steuerzentrale, um zu verstehen, wie Agents in Ihrer Organization arbeiten und wie effizient sie Ressourcen verbrauchen.

Leistungseinblicke

Die Registerkarte aggregiert Runtime-Daten aller bereitgestellten Agents, damit Sie Leistungstrends überwachen und Optimierungsmöglichkeiten identifizieren können. Zu den wichtigsten Metriken gehören:

• Gesamtzahl der Aufträge: Verfolgt die Gesamtzahl der abgeschlossenen Agent-Ausführungen und bietet so eine Kennzahl für Aktivität und Nutzung.
• Erfolgsrate: Misst den Prozentsatz der erfolgreichen Agent-Ausführungen, um die Zuverlässigkeit zu bewerten und wiederkehrende Fehler oder Instabilitäten in Agent-Konfigurationen zu erkennen.
• Durchschnittliche Reaktionszeit: Zeigt an, wie schnell Ihre Agents Aufgaben ausführen können, sodass Sie die Latenz und Effizienz in großem Umfang überwachen können.
• Verbrauch von Agent Units: Quantifiziert die gesamten Nutzungseinheiten aller Agents und ermöglicht eine bessere Prognose, Budgetplanung und Ressourcenzuweisung.

Überwachungs- und Feedback-Analysen

Die Registerkarte zeigt auch Verbrauchs- und Feedback-Trends in Ihrer Umgebung an:

• Berichte zum Verbrauch von Agent Units identifizieren die aktivsten oder teuersten Agents, sodass Sie Optimierungen oder Ressourcenzuweisungen besser priorisieren können.
• Feedback-Zusammenfassungen heben hervor, welche Agents die meisten Benutzerinteraktionen oder Leistungsbewertungen erhalten, sodass sich Teams auf die Verbesserung der Benutzererfahrung und der Wirkung konzentrieren können.

Filter und zeitbasierte Analysen

Administratoren können Daten über verschiedene Dimensionen hinweg analysieren, z. B. Agent-Typ, Bereitstellungsstatus oder Zeitraum, um Anomalien zu identifizieren und Trends über definierte Betriebszeiträume (z. B. tägliche, wöchentliche oder monatliche Ansichten) zu bewerten. Diese Filter ermöglichen eine gezielte Analyse und vereinfachen die Berichterstattung.

• Verwalten Sie Ihre bereitgestellten Agents und überwachen Sie deren Leistung.
• Verwalten und überwachen Sie Ihre Early Adopter-Agents.

Bereitgestellte Agents

Die Registerkarte Bereitgestellte Agents bietet eine konsolidierte Ansicht aller derzeit in der Produktion aktiven Agents zusammen mit Leistungs-, Zustands- und Feedbackmetriken in Echtzeit. Sie dient als primärer Arbeitsbereich zur Überwachung der Betriebseffizienz, zur Diagnose von Problemen und zur Sicherstellung, dass bereitgestellte Agents konsistente, qualitativ hochwertige Ergebnisse liefern.

Zentrale Agent-Sichtbarkeit

Diese Ansicht aggregiert alle produktionsbereiten Agents in Ihrem Mandanten, sodass Administratoren und Entwickler den Betriebsstatus und die letzten Aktivitäten schnell bewerten können. Jede Agent-Karte fasst die wichtigsten Betriebsmetriken zusammen, einschließlich:

• Erfolgsquote – Der Prozentsatz der erfolgreichen Ausführungen, sodass Sie beeinträchtigte oder leistungsschwache Agents identifizieren können.
• Durchschnittliche Reaktionszeit – Ein Maß für die Ausführungsgeschwindigkeit und Effizienz der letzten Aufträge.
• Feedbackvolumen – Die Anzahl der für den Agent erfassten gent Benutzer- oder Systembewertungen.
• Zustandsindikatoren – Visuelle Hinweise (z. B. gesund, beeinträchtigt), die allgemeine Leistungstrends und die Runtime-Stabilität widerspiegeln.

Agents können nach Status, Typ, Ordner oder Zeitraum gefiltert werden, was eine genaue Überwachung über Geschäftsbereiche oder Bereitstellungsumgebungen hinweg ermöglicht.

Betriebsinformationen und Leistungsüberwachung

Die Registerkarte bietet kontextbezogene Analysen, die über den einfachen Runtime-Status hinausgehen. Sie können Folgendes erkunden:

• Aktive und abgeschlossene Aufträge – Separate Zeitleisten erfassen Live-Ausführungen und abgeschlossene Ausführungen, sodass Workload-Spitzen und Engpässe identifiziert werden können.
• Fehler- und Latenzmuster – Leistungsdiagramme zeigen Ausführungsfehler, die Zeit bis zur ersten Reaktion und Latenz-Perzentile an, sodass Teams die Reaktionsfähigkeit gezielt optimieren können.
• Feedback-Trends – Eine aggregierte Stimmungsanalyse (positiv vs. negativ) zeigt, wie sich die Agent-Qualität im Laufe der Zeit entwickelt und welche Aktualisierungen sich auf die Benutzerzufriedenheit auswirken.

Diese Erkenntnisse helfen bei der Diagnose von systemischen Problemen, der Validierung neuer Bereitstellungen und der Priorisierung von Optimierungsbemühungen.

Hinweis:

Diagramme zur Instanzverwaltung sind nicht verfügbar, wenn die CMK-Verschlüsselung für Ablaufverfolgungen aktiviert ist. Da Trace-Attribute in Insights verschlüsselt sind und daher nicht abgefragt werden können, können die zum Generieren dieser Diagramme erforderlichen Analysen nicht ausgeführt werden.

Nutzungs- und Verbrauchsanalyse

Das Dashboard veranschaulicht, wie Agents mit ihren Umgebungen interagieren und wie Ressourcen verbraucht werden:

• Nutzung von Agent Units – Verfolgt den Gesamtverbrauch und identifiziert Ausreißer bei der Kosten- oder Ressourcennutzung.
• Am häufigsten aufgerufene Funktionen – Listet die am häufigsten verwendeten Aktionen (Tools, Aktivitäten oder Indizes) über Agent-Ausführungen hinweg auf, sodass Teams Verhaltensmuster und häufige Abhängigkeiten besser verstehen können.

Detaillierte Ansicht der Agent-Runtime

Bei Auswahl eines einzelnen Agents wird ein detaillierter Analyse-Arbeitsbereich geöffnet, der Folgendes kombiniert:

• Ein Runtime-Diagramm, das die Logik, Tools und Speicherquellen des Agents abbildet.
• Visualisierungen der Zustandsbewertung, die das Prompt-Design, die Tool-Integration und die Evaluierungsabdeckung bewerten.
• Ausführungsablaufverfolgungen mit detaillierter Sichtbarkeit jeder Ausführung (Eingaben, Ausgaben, Fehler und Zeitdetails), sodass Entwickler den Argumentationsprozess des Agents rekonstruieren und debuggen können.

Die Agent-Instanzansicht bietet vollständige Beobachtbarkeit bei einzelnen Agent-Ausführungen und ermöglicht eine vollständige Ablaufverfolgung von Entscheidungen, Aktionen und Leistungsmetriken innerhalb einer einzigen Ausführung.

Verstehen der Ansicht der Ablaufverfolgung

Die Ansicht der Ablaufverfolgung kombiniert eine grafische Darstellung der Agentenlogik mit zeitlich ausgerichteten Ausführungsdaten, sodass Sie den Fluss und die Ergebnisse jedes Schritts überprüfen können. Die Arbeitsfläche zeigt Knoten, die wichtige Agentenkomponenten wie Modelle und Tools repräsentieren, die in einer bestimmten Reihenfolge verbunden sind.

Sobald Sie sich in der Ansicht der Ablaufverfolgung eines Agentenlaufs befinden, folgen Sie diesen Schritten, um mit den Ablaufverfolgungsdaten zu interagieren und sie zu untersuchen:

1. Knoteninformationen in der Vorschau anzeigen. Bewegen Sie den Mauszeiger über einen beliebigen Knoten auf der Arbeitsfläche, um einen Tooltip mit folgenden Informationen anzuzeigen:
   • Der Ausführungsstatus (Erfolg, erneuter Versuch oder Fehler)
   • Start- und Endzeitstempel
   • Eine Vorschau der Eingabe- und Ausgabedaten. Dies ist hilfreich, um einen schnellen Überblick darüber zu erhalten, was in jedem Schritt passiert ist, ohne die vollständigen Details öffnen zu müssen.
2. Sehen Sie sich vollständige Details des Knotens an. Wählen Sie einen beliebigen Knoten, um einen detaillierten Bereich zu öffnen, der Folgendes enthält:
   • Vollständige Eingabe- und Ausgabe-Payloads (JSON)
   • Ausführungsprotokolle oder Fehlermeldungen (falls zutreffend)
   • Runtime-Metriken, wie Latenz und Token-Nutzung
   • Konfigurationsparameter, falls verfügbar
3. Navigieren Sie zwischen verwandten Schritten, um zu erfahren, wie Informationen durch den Agent geflossen sind:
   • Wählen Sie verbundene Knoten aus, um sich vorwärts oder rückwärts zu bewegen.
   • Auf diese Weise können Sie verfolgen, wie Entscheidungen, Eingaben oder Ausgaben aus einem Schritt den nächsten Schritt beeinflusst haben.
4. Verwenden Sie den Bereich Ablaufverfolgung der Ausführung. In diesem Bereich finden Sie eine chronologische Liste aller aufgezeichneten Aktionen während des Agentenlaufs.
   • Wählen Sie eine Zeile im Protokoll der Ablaufverfolgung aus, um den entsprechenden Knoten auf der Arbeitsfläche zu markieren.
   • Ebenso wird beim Auswählen eines Knotens auf der Arbeitsfläche automatisch die entsprechende Zeile im Protokoll hervorgehoben.

Konversations-Agents

Die Registerkarte Conversational Agents bietet eine vollständige Umgebung zum Verwalten, Testen und Analysieren von Agents, die über Dialoge in natürlicher Sprache mit Benutzern interagieren. Sie vereint Tests in der Entwurfsphase, Auswertungen des Live-Chats, Runtime-Einblicke und Feedback-Analysen, um Teams zu helfen, die Leistung und Zuverlässigkeit von Unterhaltungen kontinuierlich zu verbessern.

Conversational Agents können direkt in der Chat-Oberfläche getestet werden. Mit dieser eingebetteten Testumgebung können Sie reale Interaktionen simulieren und bewerten, wie der Agent die Absichtserkennung, den Sprecherwechsel und die Kontextkontinuität verarbeitet. Sie können:

• Interagieren Sie in Echtzeit mit dem Agent, indem Sie Prompts in natürlicher Sprache senden und die Live-Antworten beobachten.
• Testen Sie Prompts oder erstellen Sie benutzerdefinierte Nachrichten, um die Abdeckung über verschiedene Szenarien hinweg zu bewerten.
• Bewerten Sie, wie der Agent Tools, Speicher und Modelle während einer Gesprächsschleife anwendet.

Diese Testumgebung hilft dabei, die Konversationslogik vor der Bereitstellung zu validieren und sicherzustellen, dass Genauigkeit und Tonfall an die beabsichtigten Einsatzbereiche angepasst werden.

Die Runtime-Ansicht bietet einen End-to-End-Überblick darüber, wie Conversational Agents in der Produktion arbeiten, indem sie Live-Sitzungen, Abschlussraten und Benutzerinteraktionen erfasst. Sie erfasst wichtige Betriebsmetriken wie Antwortzeit, Dauer und Verbrauch von Agent Units, um die Leistung, Skalierbarkeit und Zuverlässigkeit über Workloads hinweg zu gewährleisten.

Die Trace-Ansicht ermöglicht Debugging und Optimierung, indem sie den vollständigen Argumentations- und Ausführungsablauf eines Agents abbildet. Sie können Entscheidungen, Tool-Aufrufe, Governance-Prüfpunkte und Leistungs-Heatmaps überprüfen, um das Verhalten zu verstehen, die Logik zu validieren und die allgemeine Gesprächsqualität zu verbessern.

Die Feedback-Ansicht fasst Benutzer- und Systembewertungen in einem zentralen Dashboard zusammen. Sie visualisiert Stimmungstrends, hebt wiederkehrende Probleme hervor und verknüpft Feedback mit einzelnen Ausführungen für einen tieferen Kontext. Dies ermöglicht iterative Feinabstimmung und eine kontinuierliche Qualitätsverbesserung.

Entwurfs-Agents

Die Registerkarte Draft Agents enthält unveröffentlichte oder derzeit in der Entwicklung befindliche Agents.

Jeder Entwurf wird als Karte angezeigt, die Folgendes enthält:

• Der Agent-Name (oder „Unbenannt“, falls noch nicht umbenannt).
• Der Zeitstempel der letzten Aktualisierung.
• Ein Schnelllink, um den Entwurf in Studio Web zur weiteren Bearbeitung erneut zu öffnen.

Draft Agents können nach der Fertigstellung fortgesetzt, bearbeitet oder veröffentlicht werden.

Indizes für Kontextgrundlagen

Auf der Registerkarte Indizes für die Kontextgrundlage können Sie den Status und den Zustand Ihrer Indizes überwachen und den Fortschritt der Erfassung auf Mandantenebene verfolgen.

Der Bereich Indexüberwachung bietet grafische Einblicke in die folgenden Metriken:

• Abfragen: Verfolgt die Anzahl der Abfragen, die innerhalb eines ausgewählten Zeitraums auf Ihre Indizes ausgeführt wurden.
• Indexaufträge: Zeigt die Anzahl der abgeschlossenen Erfassungsaufträge an. Wenn im ausgewählten Zeitraum keine Aufträge ausgeführt wurden, wird eine Platzhaltergrafik angezeigt.

Die Tabelle Indizes zeigt alle verfügbaren Indizes in Ihrem Mandanten an. Detailliertere Informationen zu Indizes erhalten Sie, indem Sie einen Index in der Tabelle wählen. Die individuelle Ansicht stellt folgende Informationen bereit:

• Index-Name, Ordner und Quelle
• Status, der angibt, ob ein Index intakt oder herabgestuft ist.
• Speichergröße, Status, Letzte Synchronisierung und Zeitstempel der letzten Abfrage

Wählen Sie einen Index in der Tabelle aus, um die Detailseite zu öffnen. Die Ansicht „Indexdetails“ bietet:

• Abfragen während des ausgewählten Intervalls.
• Ein Gesundheitsdiagramm mit der Gesamtbewertung und den beiden Komponentenkriterien.
• Erfassungsverlauf, Auflistung von Synchronisierungsausführungen – Abgeschlossen, fehlgeschlagen, übersprungen oder gelöscht.

Verwenden Sie diese Ansicht, um degradierte Indizes zu untersuchen, die Zuverlässigkeit der Erfassung zu überprüfen oder zu aktivieren, wann ein Index zuletzt abgefragt wurde.

Indexgesundheitsbewertung

Mithilfe des Indexzustandes können Sie den Zustand Ihrer Kontextgrundlagenindizes überwachen und diejenigen identifizieren, die möglicherweise gewartet oder bereinigt werden müssen. Es bietet eine automatisierte, objektive Bewertung, die zeigt, wie gut jeder Index funktioniert und wie häufig er verwendet wird.

Jeder Index erhält eine Zustandsbewertung basierend auf zwei Kriterien:

• Zuverlässigkeit der Erfassung – Wie erfolgreich Dokumente während der letzten Erfassungsausführung verarbeitet wurden.
• Nutzung – Wie kürzlich der Index abgefragt wurde.

Anhand der kombinierten Punktzahl können Sie feststellen, ob ein Index intakt ist und einen Mehrwert bietet (Gesamtpunktzahl über 75 %) oder ob er beeinträchtigt ist (Gesamtpunktzahl 75 % oder weniger). Die Punktzahl wird automatisch nach jeder erfolgreichen Erfassung oder Abfrage aktualisiert.

Der Indexzustand wird alle 15 Minuten für alle Mandanten neu berechnet und gilt nur für Indizes mit abgeschlossenen Erfassungsaufträgen. Neue Indizes haben nach der Erstellung eine 24-stündige Übergangsfrist, bevor die Zustandsbewertung beginnt.

In der folgenden Tabelle wird beschrieben, wie jedes Kriterium für den Zustand des Index berechnet und gewichtet wird, um den Gesamtstatus des Index zu bestimmen.

Kriterium	Metrik	Formel	Hinweise
Erfassungszuverlässigkeit	Successrate ab der letzten Erfassung	100 × (1 – failed_docs / total_docs)	Übersprungene und gelöschte Dokumente werden ausgeschlossen. Wenn innerhalb von 24 Stunden keine Erfassung abgeschlossen ist, ist die Punktzahl = 0.
Nutzung	Tage seit der letzten Abfrage (max. 90 Tage)	100 × (1 – days_since_last_query / 90)	Nach 24 Stunden ohne Abfrage ist die Punktzahl = 0.
Allgemeiner Zustand	Durchschnitt beider Metriken	(Datenaufnahmezuverlässigkeit + Nutzung)	Wird nur berechnet, wenn beide Komponentenbewertungen vorhanden sind.

Sie können den Status an zwei Stellen überprüfen:

• Die Liste Kontextgrundlageindizes – Die Spalte Zustand zeigt einen farbigen Indikator (grün für gesund, rot für degradiert).Wenn Sie mit der Maus darüber fahren, werden Details für jede Dimension angezeigt (Eingabezuverlässigkeit und Nutzung).
• Die Ansicht „Indexdetails“ – Das spezielle Diagramm „Gesundheit“ zeigt die Gesamtpunktzahl und Komponentenmetriken an.Sie können auch den Erfassungsverlauf nachverfolgen und Probleme untersuchen, wenn die Zuverlässigkeit gering ist.

Registerkarte Feedback (Vorschau)

Die Registerkarte Feedback bietet eine zentrale Ansicht zur Überprüfung von Ablaufverfolgungen des Agents und zum Erfassen von Feedback, das die Zuverlässigkeit des Agents im Laufe der Zeit verbessert. Sie verbindet die Runtime-Analyse mit dem feedbackgesteuerten episodischen Gedächtnis, sodass Agents ihre Entscheidungsfindung schrittweise ohne ständige Prompt-Neuschreibungen optimieren können.

Feedback erfüllt zwei sich ergänzende Rollen:

• Runtime-Analyse und Diagnose: Überprüfen Sie abgeschlossene Agentenausführungen, um das Verhalten zu verstehen, Probleme zu identifizieren und bestimmte Entscheidungen oder Ausgaben mit Anmerkung hinzufügen.
• Eingabe in das episodische Gedächtnis: Hochwertiges Feedback kann in das episodische Gedächtnis hochgestuft werden, sodass der Agent erfolgreiche Verhaltensweisen wiederholen und falsche Verhaltensweisen in zukünftigen Ausführungen vermeiden kann.

Feedback-Übersicht

Der obere Abschnitt der Seite bietet aggregierte Einblicke:

• Agenten mit dem meisten Feedback zeigen, welche Agenten das höchste Volumen an positivem und negativem Feedback erhalten.
• Feedback im Laufe der Zeit visualisiert Feedback-Trends, sodass Sie Verhaltensänderungen mit Verbesserungen oder Regressionen korrelieren können.
• Mit Zeitbereichsfiltern können Sie die Analyse auf die letzten oder historischen Ausführungen einschränken.

Abbildung 3. Die Registerkarte Feedback in der Instanzverwaltung von Agenten

Hinzufügen von Feedback zu Agent-Ausführungen

So geben Sie Feedback:

1. Wählen Sie auf der Seite Feedback die Option Feedback hinzufügen aus.
2. Wählen Sie einen Agenten-Runtime-Auftrag aus der Liste der ausgeführten Aufträge aus.
3. Überprüfen Sie die Ablaufverfolgung und fügen Sie Feedback an den relevanten Bereich hinzu.