Verwaltung von UiPath Agents

Die Seite Agents in Automation Cloud dient als zentrale Registrierungs- und Beobachtungszentrale für alle UiPath-Agents. Verwenden Sie sie, um die Leistung zu überwachen, Gesprächsverhalten zu testen, gemeinsame Ressourcen zu verwalten und die Sichtbarkeit in Ihrem bereitgestellten Ökosystem aufrechtzuhalten.

Von einem zentralen Ort aus können Sie:

• Überwachen Sie bereitgestellte Agents und überprüfen Sie Leistungsmetriken in Echtzeit.
• Testen Sie Conversational Agents vor und nach der Bereitstellung.
• Untersuchen und beheben Sie Agent-Vorfälle oder Zustände mit eingeschränkter Systemgesundheit.
• Greifen Sie auf Agent-Vorlagen aus dem UiPath Marketplace zu und stellen Sie sie bereit.
• Verwalten Sie Indizes für Kontextgrundlagen.

Über den zentralisierten Hub können sämtliche Runtimes von Agents in Echtzeit überwacht werden, wobei bei Fehlern, Verschlechterung des Health Scores und niedriger Punktzahl bei Evaluierungen der Runtimes eine Warnung herausgegeben wird.

Terminologie

• Bei einer Agenteninstanz handelt es sich um einen einzeln bereitgestellten Agent innerhalb eines laufenden Geschäftsprozesses, der in BPMN als Aufgabe dargestellt ist und als Live-Ausführung auf spezifische Trigger, Warteschlangen oder anderen Workflowbedingungen reagiert.
• Verwaltung von Agenteninstanzen stellt einen Aufgabensatz im Zusammenhang mit der Überwachung, Wartung, Verbesserung und Beendigung von Agents und Agentenaufträgen dar.

Wichtige Funktionen

Im Folgenden finden Sie die Hauptfunktionen der neu gestalteten Seite „Agents“ in Automation CloudTM:

• Überwachung in Echtzeit von Agents mithilfe von BPMN-Workflows.
• Fehlerbehandlung und Wiederherstellung über BPMN-definierte Ereignisse.
• Koordination von Runtime-Agents zwischen Agents und menschlichen Bedienern.
• Zusammenführung und Verarbeitung von Konsensen über Entscheidungsgateways.
• Leistungsanalyse und -optmierung auf Grundlage mehrerer Kennzahlen.
• Governance und Compliance-Prüfungen zur Sicherstellung der Einhaltung von Unternehmensrichtlinien.

Überblick

Die Registerkarte Übersicht bietet eine zusammenfassende Darstellung Ihres Agent-Ökosystems und konsolidiert Betriebsinformationen, Leistungskennzahlen und Verbrauchsanalysen in einer zentralen Ansicht. Es fungiert als Steuerzentrale, um zu verstehen, wie Agents in Ihrer Organization arbeiten und wie effizient sie Ressourcen verbrauchen.

Leistungseinblicke

Die Registerkarte aggregiert Runtime-Daten aller bereitgestellten Agents, damit Sie Leistungstrends überwachen und Optimierungsmöglichkeiten identifizieren können. Zu den wichtigsten Metriken gehören:

• Gesamtzahl der Aufträge: Verfolgt die Gesamtzahl der abgeschlossenen Agent-Ausführungen und bietet so eine Kennzahl für Aktivität und Nutzung.
• Erfolgsrate: Misst den Prozentsatz der erfolgreichen Agent-Ausführungen, um die Zuverlässigkeit zu bewerten und wiederkehrende Fehler oder Instabilitäten in Agent-Konfigurationen zu erkennen.
• Durchschnittliche Reaktionszeit: Gibt an, wie schnell Ihre Agents in der Lage sind, Aufgaben zu erledigen, sodass Sie Latenz und Effizienz in großem Umfang überwachen können.
• Verbrauch von Agent Units: Quantifiziert die gesamten Nutzungseinheiten aller Agents und ermöglicht eine bessere Prognose, Budgetplanung und Ressourcenzuweisung.

Überwachungs- und Feedback-Analysen

Die Registerkarte zeigt auch Verbrauchs- und Feedback-Trends in Ihrer Umgebung an:

• Berichte zum Verbrauch von Agent Units identifizieren die aktivsten oder teuersten Agents, sodass Sie Optimierungen oder Ressourcenzuweisungen besser priorisieren können.
• Feedback-Zusammenfassungen heben hervor, welche Agents die meisten Benutzerinteraktionen oder Leistungsbewertungen erhalten, sodass sich Teams auf die Verbesserung der Benutzererfahrung und der Wirkung konzentrieren können.

Filter und zeitbasierte Analysen

Administratoren können Daten in verschiedenen Dimensionen analysieren, z. B. Agent-Typ, Bereitstellungsstatus oder Zeitbereich, um Anomalien zu identifizieren und Trends über definierte Betriebszeiträume auszuwerten (z. B. tägliche, wöchentliche oder monatliche Ansichten). Diese Filter ermöglichen eine gezielte Analyse und optimieren die Berichterstattung.

• Verwalten Sie Ihre bereitgestellten Agents und überwachen Sie deren Leistung.
• Verwalten und überwachen Sie Ihre Early Adopter-Agents.

Bereitgestellte Agents

Auf der Registerkarte Bereitgestellte Agents finden Sie eine konsolidierte Ansicht aller bereitgestellten Agents in allen Agententypen sowie Metriken zu Echtzeitleistung, Zustand und Feedback. Es fungiert als primärer Arbeitsbereich zur Überwachung der betrieblichen Effizienz, zur Diagnose von Problemen und zur Sicherstellung, dass eingesetzte Agents konsistente und hochwertige Ergebnisse liefern.

Zentrale Agent-Sichtbarkeit

In dieser Ansicht werden alle produktionsbereiten Agents in Ihrem Mandanten unabhängig vom Typ zusammengefasst, sodass Administratoren und Entwickler den Betriebsstatus und die aktuelle Aktivität schnell einschätzen können. Auf jeder Agentenkarte werden der Typ des Agents (konversational, autonom oder codiert) als Badge sowie wichtige betriebliche Metriken angezeigt:

• Erfolgsquote – Der Prozentsatz der erfolgreichen Ausführungen, sodass Sie beeinträchtigte oder leistungsschwache Agents identifizieren können.
• Durchschnittliche Reaktionszeit – Ein Maß für die Ausführungsgeschwindigkeit und Effizienz der letzten Aufträge.
• Feedbackvolumen – Die Anzahl der für den Agent erfassten gent Benutzer- oder Systembewertungen.
• Zustandsindikatoren – Visuelle Hinweise (z. B. Infehlerfrei, Beschädigt), die die allgemeine Leistungstrends und die Laufzeitstabilität widerspiegeln.

Agents können nach Status, Ordner oder Zeitbereich gefiltert werden. Verwenden Sie den Filter Typ , um die Ansicht auf einen bestimmten Agententyp einzugrenzen: Konversational, Autonome oder Codiert.

Betriebsinformationen und Leistungsüberwachung

Die Registerkarte bietet kontextbezogene Analysen, die über den einfachen Runtime-Status hinausgehen. Sie können Folgendes erkunden:

• Aktive und abgeschlossene Aufträge – Separate Zeitleisten erfassen Live-Ausführungen und abgeschlossene Ausführungen, sodass Workload-Spitzen und Engpässe identifiziert werden können.
• Fehler- und Latenzmuster – Leistungsdiagramme zeigen Ausführungsfehler, die Zeit bis zur ersten Reaktion und Latenz-Perzentile an, sodass Teams die Reaktionsfähigkeit gezielt optimieren können.
• Feedback-Trends – Eine aggregierte Stimmungsanalyse (positiv vs. negativ) zeigt, wie sich die Agent-Qualität im Laufe der Zeit entwickelt und welche Aktualisierungen sich auf die Benutzerzufriedenheit auswirken.

Diese Erkenntnisse helfen bei der Diagnose von systemischen Problemen, der Validierung neuer Bereitstellungen und der Priorisierung von Optimierungsbemühungen.

Hinweis:

Diagramme zur Instanzverwaltung sind nicht verfügbar, wenn die CMK-Verschlüsselung für Ablaufverfolgungen aktiviert ist. Da Trace-Attribute in Insights verschlüsselt sind und daher nicht abgefragt werden können, können die zum Generieren dieser Diagramme erforderlichen Analysen nicht ausgeführt werden.

Nutzungs- und Verbrauchsanalyse

Das Dashboard veranschaulicht, wie Agents mit ihren Umgebungen interagieren und wie Ressourcen verbraucht werden:

• Nutzung von Agent Units – Verfolgt den Gesamtverbrauch und identifiziert Ausreißer bei der Kosten- oder Ressourcennutzung.
• Am häufigsten aufgerufene Funktionen – Listet die am häufigsten verwendeten Aktionen (Tools, Aktivitäten oder Indizes) über Agent-Ausführungen hinweg auf, sodass Teams Verhaltensmuster und häufige Abhängigkeiten besser verstehen können.

Detaillierte Ansicht der Agent-Runtime

Bei Auswahl eines einzelnen Agents wird ein detaillierter Analyse-Arbeitsbereich geöffnet, der Folgendes kombiniert:

• Ein Runtime-Diagramm, das die Logik, Tools und Speicherquellen des Agents abbildet.
• Visualisierungen der Zustandsbewertung, die das Prompt-Design, die Tool-Integration und die Evaluierungsabdeckung bewerten.
• Ausführungsablaufverfolgungen mit detaillierter Sichtbarkeit jeder Ausführung (Eingaben, Ausgaben, Fehler und Zeitdetails), sodass Entwickler den Argumentationsprozess des Agents rekonstruieren und debuggen können.

Die Agent-Instanzansicht bietet vollständige Beobachtbarkeit bei einzelnen Agent-Ausführungen und ermöglicht eine vollständige Ablaufverfolgung von Entscheidungen, Aktionen und Leistungsmetriken innerhalb einer einzigen Ausführung.

Verstehen der Ansicht der Ablaufverfolgung

Die Ablaufverfolgungsansicht kombiniert eine grafische Darstellung der Logik des Agents mit zeitlich ausgerichteten Ausführungsdaten, sodass Sie den Ablauf und die Ergebnisse jedes Schritts überprüfen können. Auf der Arbeitsfläche werden Knoten angezeigt, die wichtige Komponenten des Agents wie Modelle und Tools darstellen, die der Reihe nach verbunden sind.

Sobald Sie sich in der Ansicht der Ablaufverfolgung eines Agentenlaufs befinden, folgen Sie diesen Schritten, um mit den Ablaufverfolgungsdaten zu interagieren und sie zu untersuchen:

1. Knoteninformationen in der Vorschau anzeigen. Bewegen Sie den Mauszeiger über einen beliebigen Knoten auf der Arbeitsfläche, um einen Tooltip mit folgenden Informationen anzuzeigen:
   • Der Ausführungsstatus (Erfolg, erneuter Versuch oder Fehler)
   • Start- und Endzeitstempel
   • Eine Vorschau der Eingabe- und Ausgabedaten. Dies ist hilfreich, um einen schnellen Überblick darüber zu erhalten, was in jedem Schritt passiert ist, ohne die vollständigen Details öffnen zu müssen.
2. Sehen Sie sich vollständige Details des Knotens an. Wählen Sie einen beliebigen Knoten, um einen detaillierten Bereich zu öffnen, der Folgendes enthält:
   • Vollständige Eingabe- und Ausgabe-Payloads (JSON)
   • Ausführungsprotokolle oder Fehlermeldungen (falls zutreffend)
   • Runtime-Metriken, wie Latenz und Token-Nutzung
   • Konfigurationsparameter, falls verfügbar
3. Navigieren Sie zwischen verwandten Schritten, um zu erfahren, wie Informationen durch den Agent geflossen sind:
   • Wählen Sie verbundene Knoten aus, um sich vorwärts oder rückwärts zu bewegen.
   • Auf diese Weise können Sie verfolgen, wie Entscheidungen, Eingaben oder Ausgaben aus einem Schritt den nächsten Schritt beeinflusst haben.
4. Verwenden Sie den Bereich Ablaufverfolgung der Ausführung. In diesem Bereich finden Sie eine chronologische Liste aller aufgezeichneten Aktionen während des Agentenlaufs.
   • Wählen Sie eine Zeile im Protokoll der Ablaufverfolgung aus, um den entsprechenden Knoten auf der Arbeitsfläche zu markieren.
   • Ebenso wird beim Auswählen eines Knotens auf der Arbeitsfläche automatisch die entsprechende Zeile im Protokoll hervorgehoben.

Entwurfs-Agents

Die Registerkarte Agents- Entwurf enthält nicht veröffentlichte Agents oder Agents in Bearbeitung, die noch entwickelt werden.

Jeder Entwurf wird als Karte angezeigt, die Folgendes enthält:

• Der Agent-Name (oder „Unbenannt“, falls noch nicht umbenannt).
• Der Zeitstempel der letzten Aktualisierung.
• Ein Schnelllink, um den Entwurf in Studio Web zur weiteren Bearbeitung erneut zu öffnen.

Draft Agents können nach der Fertigstellung fortgesetzt, bearbeitet oder veröffentlicht werden.

Indizes für Kontextgrundlagen

Auf der Registerkarte Indizes für die Kontextgrundlage können Sie den Status und den Zustand Ihrer Indizes überwachen und den Fortschritt der Erfassung auf Mandantenebene verfolgen.

Der Bereich Indexüberwachung bietet grafische Einblicke in die folgenden Metriken:

• Abfragen: Verfolgt die Anzahl der Abfragen, die innerhalb eines ausgewählten Zeitraums auf Ihre Indizes ausgeführt wurden.
• Indexaufträge: Zeigt die Anzahl der abgeschlossenen Erfassungsaufträge an. Wenn im ausgewählten Zeitraum keine Aufträge ausgeführt wurden, wird eine Platzhaltergrafik angezeigt.

Die Tabelle Indizes zeigt alle verfügbaren Indizes in Ihrem Mandanten an. Detailliertere Informationen zu Indizes erhalten Sie, indem Sie einen Index in der Tabelle wählen. Die individuelle Ansicht stellt folgende Informationen bereit:

• Index-Name, Ordner und Quelle
• Status, der angibt, ob ein Index intakt oder herabgestuft ist.
• Speichergröße, Status, Letzte Synchronisierung und Zeitstempel der letzten Abfrage

Wählen Sie einen Index in der Tabelle aus, um die Detailseite zu öffnen. Die Ansicht „Indexdetails“ bietet:

• Abfragen während des ausgewählten Intervalls.
• Ein Gesundheitsdiagramm mit der Gesamtbewertung und den beiden Komponentenkriterien.
• Erfassungsverlauf, Auflistung von Synchronisierungsausführungen – Abgeschlossen, fehlgeschlagen, übersprungen oder gelöscht.

Verwenden Sie diese Ansicht, um degradierte Indizes zu untersuchen, die Zuverlässigkeit der Erfassung zu überprüfen oder zu aktivieren, wann ein Index zuletzt abgefragt wurde.

Indexgesundheitsbewertung

Mithilfe des Indexzustandes können Sie den Zustand Ihrer Kontextgrundlagenindizes überwachen und diejenigen identifizieren, die möglicherweise gewartet oder bereinigt werden müssen. Es bietet eine automatisierte, objektive Bewertung, die zeigt, wie gut jeder Index funktioniert und wie häufig er verwendet wird.

Jeder Index erhält eine Zustandsbewertung basierend auf zwei Kriterien:

• Zuverlässigkeit der Erfassung – Wie erfolgreich Dokumente während der letzten Erfassungsausführung verarbeitet wurden.
• Nutzung – Wie kürzlich der Index abgefragt wurde.

Anhand der kombinierten Punktzahl können Sie feststellen, ob ein Index intakt ist und einen Mehrwert bietet (Gesamtpunktzahl über 75 %) oder ob er beeinträchtigt ist (Gesamtpunktzahl 75 % oder weniger). Die Punktzahl wird automatisch nach jeder erfolgreichen Erfassung oder Abfrage aktualisiert.

Der Indexzustand wird alle 15 Minuten für alle Mandanten neu berechnet und gilt nur für Indizes mit abgeschlossenen Erfassungsaufträgen. Neue Indizes haben nach der Erstellung eine 24-stündige Übergangsfrist, bevor die Zustandsbewertung beginnt.

In der folgenden Tabelle wird beschrieben, wie jedes Kriterium für den Zustand des Index berechnet und gewichtet wird, um den Gesamtstatus des Index zu bestimmen.

Kriterium	Metrik	Formel	Hinweise
Erfassungszuverlässigkeit	Successrate ab der letzten Erfassung	100 × (1 – failed_docs / total_docs)	Übersprungene und gelöschte Dokumente werden ausgeschlossen. Wenn innerhalb von 24 Stunden keine Erfassung abgeschlossen ist, ist die Punktzahl = 0.
Nutzung	Tage seit der letzten Abfrage (max. 90 Tage)	100 × (1 – days_since_last_query / 90)	Nach 24 Stunden ohne Abfrage ist die Punktzahl = 0.
Allgemeiner Zustand	Durchschnitt beider Metriken	(Datenaufnahmezuverlässigkeit + Nutzung)	Wird nur berechnet, wenn beide Komponentenbewertungen vorhanden sind.

Sie können den Status an zwei Stellen überprüfen:

• Die Liste Kontextgrundlageindizes – Die Spalte Zustand zeigt einen farbigen Indikator (grün für gesund, rot für degradiert).Wenn Sie mit der Maus darüber fahren, werden Details für jede Dimension angezeigt (Eingabezuverlässigkeit und Nutzung).
• Die Ansicht „Indexdetails“ – Das spezielle Diagramm „Gesundheit“ zeigt die Gesamtpunktzahl und Komponentenmetriken an.Sie können auch den Erfassungsverlauf nachverfolgen und Probleme untersuchen, wenn die Zuverlässigkeit gering ist.

Registerkarte Feedback (Vorschau)

Die Registerkarte Feedback bietet eine zentrale Ansicht zur Überprüfung von Ablaufverfolgungen des Agents und zum Erfassen von Feedback, das die Zuverlässigkeit des Agents im Laufe der Zeit verbessert. Sie verbindet die Runtime-Analyse mit dem feedbackgesteuerten episodischen Gedächtnis, sodass Agents ihre Entscheidungsfindung schrittweise ohne ständige Prompt-Neuschreibungen optimieren können.

Feedback erfüllt zwei sich ergänzende Rollen:

• Runtime-Analyse und Diagnose: Überprüfen Sie abgeschlossene Agentenausführungen, um das Verhalten zu verstehen, Probleme zu identifizieren und bestimmte Entscheidungen oder Ausgaben mit Anmerkung hinzufügen.
• Eingabe in das episodische Gedächtnis: Hochwertiges Feedback kann in das episodische Gedächtnis hochgestuft werden, sodass der Agent erfolgreiche Verhaltensweisen wiederholen und falsche Verhaltensweisen in zukünftigen Ausführungen vermeiden kann.

Feedback-Übersicht

Der obere Abschnitt der Seite bietet aggregierte Einblicke:

• Agenten mit dem meisten Feedback zeigen, welche Agenten das höchste Volumen an positivem und negativem Feedback erhalten.
• Feedback im Laufe der Zeit visualisiert Feedback-Trends, sodass Sie Verhaltensänderungen mit Verbesserungen oder Regressionen korrelieren können.
• Mit Zeitbereichsfiltern können Sie die Analyse auf die letzten oder historischen Ausführungen einschränken.

Abbildung 3. Die Registerkarte Feedback in der Instanzverwaltung von Agenten

Hinzufügen von Feedback zu Agent-Ausführungen

So geben Sie Feedback:

1. Wählen Sie auf der Seite Feedback die Option Feedback hinzufügen aus.
2. Wählen Sie einen Agenten-Runtime-Auftrag aus der Liste der ausgeführten Aufträge aus.
3. Überprüfen Sie die Ablaufverfolgung und fügen Sie Feedback an den relevanten Bereich hinzu.

Leitlinien

Auf der Registerkarte Leitplanken wird eine zentrale Ansicht der Leitplankenaktivität in Ihren bereitgestellten Agents angezeigt, sodass die Operatoren sicherstellen können, dass sich die Agents zuverlässig, sicher und in Übereinstimmung mit den Richtlinien der Organisation verhalten. Es liefert Laufzeit-Leitplankendaten an einem Ort, von der Konfigurationsabdeckung bis hin zu den Durchsetzungsergebnissen.

Die Registerkarte ist in drei Phasen unterteilt:

• Konfigurieren von Guardrails – Fügen Sie Ihren Agents Guardrails auf Agent-, LLM- oder Tool-Ebene hinzu.
• Überwachen – Überprüfen Sie die Guardrail-Aktivität zur Runtime und verfolgen Sie, wie oft Guardrails auslösen und welche Aktionen sie erzwingen.
• Feinabstimmung von Guardrails – Verwenden Sie Auswertungsdaten, um das Verhalten von Guardrails im Laufe der Zeit zu testen, zu verfeinern und zu optimieren.

Agents Guardrails Usage

Das Kreisdiagramm zeigt den Anteil der Agents in Ihrem Mandanten, die Guardrails konfiguriert haben, im Vergleich zu denen, die dies nicht tun, basierend auf Ausführungsdaten. In diesem Diagramm werden nur Agents wiedergegeben, die mindestens einmal ausgeführt wurden. Anhand dieser Ansicht können Sie die Governance-Abdeckung in Ihrem Ökosystem des bereitgestellten Agents bewerten und Agents identifizieren, bei denen möglicherweise eine Leitplankenkonfiguration erforderlich ist.

Top Invoked Actions

Das gestapelte Balkendiagramm zeigt das Volumen und die Aufschlüsselung der Leitplankenaktionen, die in Ihren Agents erzwungen werden. Jeder Balken stellt einen bereitgestellten Agent dar, aufgeteilt nach Aktionstyp: Blockieren, Eskalieren und Filtern. Mithilfe eines Filters können Sie in Übereinstimmung mit anderen Überwachungsdiagrammen auf der Seite „Agents“ die Top 5 oder Top 10 der Agents nach Gesamtaufrufen von Guardrails anzeigen.

Details zu Leitplanken

In der Tabelle sind alle bereitgestellten Agents mit ihrer Leitplankenaktivität aufgeführt. Sie können die Tabelle filtern, um Agents mit Guardrails, Agents ohne Guardrails oder alle Agents anzuzeigen. Mit einem Zeitbereichsfilter können Sie die Daten auf einen ausgewählten Zeitraum beschränken.

Spalte	Beschreibung
Anzahl der Leitplanken	Die Anzahl der für den Agent konfigurierten Guardrails.
Neueste Leitplanke	Der Name der Guardrail, die während der Ausführung des Agents zuletzt ausgelöst wurde.
Leitplankentyp	Die Typklassifizierung der Guardrail.
Umfang	Die Ebene, auf der die Guardrail gilt: Agent, LLM oder Tool.
Ausführungsphase	Ob die Guardrail vor oder nach der Ausführung des Agents, des Tools oder des LLM ausgeführt wird: Vor der Ausführung oder nach der Ausführung.
Neueste Aktion	Die Aktion, die von der zuletzt ausgelösten Guardrail erzwungen wurde: Eskalieren, Protokollieren, Filtern oder Blockieren.
Aktionsergebnis	Das Ergebnis der zuletzt erzwungenen Aktion: Fortfahren, Ablehnen, Protokollieren, Filtern oder Blockieren.