Über Autopilot Chat

Was ist Autopilot Chat?

Autopilot Chat is a context-aware and action-enabled agent which is available in Test Manager in Public Preview. Autopilot Chat brings an intelligent, conversational assistant in Test Manager, designed to enhance how testers interact with and manage their assets.

Anstatt durch Menüs und Filter zu navigieren, können Benutzer Fragen stellen, Suchen durchführen, Assets generieren und Aktionen in natürlicher Sprache auslösen. Der Chat behält den Konversationskontext bei, wenn Tools verwendet werden, wodurch Interaktionen natürlicher und reibungsloser werden.

Autopilot Chat connects with Test Manager’s built-in Autopilot tools and extends further through MCP server integration, allowing it to execute commands, evaluate requirements, generate test cases, and even run external automation processes and agents.

Wichtig:

Autopilot Chat is available in Test Manager only when delivered through Test Cloud.

Figure 1. Autopilot Chat - generic window

For additional information and recorded tutorials, subscribe to the complementary information maintained on the UiPath Insider Portal where you can also leave feedback.

Wie viele Arbeitsmodi hat Autopilot Chat?

Autopilot Chat can be used with 2 modes: Edit mode and Agent mode.

1. Edit mode enables users to query the system and then choose one of the tools or operations suggested by Autopilot to perform the queried task. Autopilot does not proceed unless users confirm the tool to be used.

Figure 2. Autopilot Chat - Edit mode

When working in Edit mode, you can consult the reasoning and expand it.

Figure 3. Autopilot Chat - Edit mode reasoning

2. Agent mode enables users to query the system but then fully rely on Autopilot to choose the best tools and operations to perform the queried task (with no human intervention). Autopilot proceeds automatically and no user confirmation is required.

Figure 4. Autopilot Chat - Agent mode

Welche LLMs können mit Autopilot Chat verwendet werden?

The list of supported LLMs can be found in the Configuring LLMs topic.

Wie kann ich über den Test Manager auf den Autopilot Chat zugreifen?

To access Autopilot Chat, look for the Autopilot icon in the global header. Open a chat, access the Settings menu or the Chat History. To learn more about the chat screen and the available settings, refer to Autopilot - User interface.

Welche Funktionen deckt Autopilot Chat im Test Manager ab?

Anstatt durch Menüs und Filter zu navigieren, können Benutzer Fragen stellen, Suchen durchführen, Assets generieren und Aktionen in natürlicher Sprache auslösen.

Open the Autopilot Chat settings.

Figure 5. Autopilot Chat settings

Die Test Manager-Framework-Tools sind:

• Dokumentsuche
• Autopilot-Suche
• Web-Suche
• Anforderungsauswertung
• Testgenerierung
• Erkennung veralteter Tests
• Autopilot-Diagramm

Figure 6. Test Manager framework tools

Die Test Manager MCP-Tools sind:

• Testfälle zu Anforderungen zuweisen
• Weisen Sie Testfälle dem Testsatz zu
• Weisen Sie die Objektbezeichnung zu
• Erstellen Sie massenweise Testfälle
• Anforderung erstellen
• Testfall erstellen
• Testsatz erstellen
• Alle Beschriftungen abrufen
• Rufen Sie alle Objektbeschriftungen ab
• Rufanforderungen
• Rufen Sie Testfälle ab
• Rufen Sie Testsätze ab
• Rufen Sie Testausführungen ab
• Abrufen von Testfallprotokollen für Testausführungen
• Heben Sie die Zuweisung von Testfällen zur Anforderung auf
• Zuweisung von Testfällen zum Testsatz aufheben

Figure 7. Test Manager MCP tools

To learn more about Autopilot Chat across the UiPath suite of products, refer to Autopilot - About Autopilot chat.

Kann ich einen benutzerdefinierten MCP-Server mit dem Autopilot Chat im Test Manager verbinden?

Only the custom MCP servers created in Orchestrator are supported. Open the Autopilot Chat settings and configure the MCP servers as described in the Autopilot - User interface topic.

Gibt es Richtlinien für Abfragen und Aufforderungen für Autopilot Chat?

To learn more about query and prompt guidelines, refer to Autopilot - Interacting with Autopilot chat - recommendations.

Gibt es Unterstützung für Abfragen, die benutzerdefinierte Felder enthalten?

Gibt es Unterstützung für Abfragen, die benutzerdefinierte Felder enthalten? Ja.

Die Abfragen unterstützen sowohl textbasierte benutzerdefinierte Felder als auch benutzerdefinierte Beschriftungsfelder. Verwenden Sie Autopilot Chat für benutzerdefinierte Feldvorgänge wie:

• Suchen Sie alle verfügbaren benutzerdefinierten Felder (Beispielprompt: Alle benutzerdefinierten Felder anzeigen).
• Suchen Sie Datenobjekte, die ein oder mehrere benutzerdefinierte Felder enthalten (Beispielprompt: Alle Anforderungen finden, bei denen Sprint = S1 und Besitzer = John Smith.
• Verschieben von Datenobjekten (Beispielprompt: Verschieben Sie die Anforderung REQ:2 von S3 nach S4.)

In welchen Regionen wird Autopilot Chat bereitgestellt?

Autopilot Chat is deployed in the following regions: EU, US, JA, CA, AUS, SI, UK, IN. For more information, refer to the Global cloud regions section of the documentation.

The LLMs which support Autopilot Chat are deployed in the following regions: EU, US, JP. For all the other available regions, the LLMs are re-routed. For more information, refer to the AI features and model routing section of the documentation.

Voraussetzungen für Autopilot Chat

1. Stellen Sie sicher, dass Sie über ein UiPath Test Cloud-Konto verfügen.
2. Make sure to enable AI models (LLMs) in your AI Trust Layer policies. To use the AI capabilities provided by Autopilot, make sure you have an AI Trust Layer policy active and deployed to your tenant. Learn how to:
   • Erstellen Sie eine Richtlinie
   • Konfigurieren Sie die Richtlinie für „AI Trust Layer“.
   • Stellen Sie die Richtlinie für den Mandanten bereit, in dem Sie Autopilot verwenden möchten
3. Make sure you have prepared any documents you want to attach as part of your query. Autopilot Chat accepts PDF, TXT, MD, Word, and Excel formats. Note that, if you attach PDF documents, Autopilot Chat takes into account its structure and formatting during processing.
4. Before entering your query into the Autopilot Chat window, make sure that you choose the working mode (Edit mode or Agent mode).

Figure 8. Autopilot Chat mode

Funktionen im Autopilot-Chat

Autopilot-Suche

Use Autopilot Search directly inside the chat, by typing full, partial or fuzzy terms of what you are looking for. The agent retrieves all the matching objects. If a typo is made, the chat auto-corrects common mistakes.

Nachdem Ergebnisse angezeigt wurden, können Sie diese erweitern oder die gefilterte Ansicht in der Artefakttabelle öffnen, ohne den Chat zu verlassen.

Beispiele für Abfragen:

• Finden Sie alle Anforderungen, bei denen der benutzerdefinierte Feld Sprint auf 123 festgelegt ist.
• Finden Sie alle Testfälle, die in den letzten fünf Tagen fehlgeschlagen sind.

Figure 9. Autopilot Search in Autopilot Chat

Autopilot-Diagramme

Use the Autopilot Charts functionality to generate a visual representation of your data in the form of bar charts, line charts, and pie charts. Note that Autopilot Charts supports defects.

Beispiele für Abfragen:

• Verteilung von Anhängen nach Dateitypen anzeigen.
• Wie viele Anforderungen sind vollständig, teilweise oder nicht getestet?
• Zeigen Sie fehlgeschlagene Testfälle gruppiert nach Anforderung an.
• Zeigt fehlgeschlagene Tests ohne verknüpfte Fehler an, die nach Anforderungen gruppiert sind.
• Zeigt die Testfallverteilung nach Beschriftung an.
• Verteilung von Anforderungen mit benutzerdefiniertem Feld „Sprint“ anzeigen.
• Welche Testsätze dauern am längsten?
• Zeigen Sie die Trends von Testfällen an, die kürzlich nicht ausgeführt wurden.
• Generieren Sie ein Kreisdiagramm mit allen offenen Problemen, die nach Schweregrad gruppiert sind.
• Generieren Sie ein Balkendiagramm mit einem Balken für jede Anforderung, die von offenen Problemen betroffen ist, wobei jeder Balken ein Stapel von Fehlern ist, die nach ihrem Schweregrad gruppiert sind und den höchsten Schweregrad haben.

Figure 10. Autopilot Charts in Autopilot Chat

KI-gestützte Anforderungsauswertung

Use the Evaluate Quality functionality to assess the clarity, completeness, and testability of requirements, ensuring higher-quality inputs before test design begins.

To invoke a requirement evaluation from Autopilot Chat, reference the requirement by name or ID. Autopilot Chat understands the context, opens the Requirement Evaluation interface, and displays a detailed analysis with improvement suggestions.

Nach Abschluss der Anforderungsbewertung überprüfen Sie das Ergebnis, überprüfen die identifizierten Probleme und optimieren die Anforderung, ohne den Chat zu verlassen.

Beispiele für Abfragen:

• Bewerten Sie die Qualität der Anforderung „Kredit einreichen“.
• Bewerten Sie die Qualität von UIB:24.

So verwenden Sie Autopilot Chat für die Anforderungsauswertung (Bearbeitungsmodus)

1. Geben Sie eine Abfrage ein, die angibt, welche Anforderung ausgewertet werden muss.

Figure 11. Autopilot Chat - Evaluate Requirement query

2. Select Configure and edit the fields: add any documents or select which documents to be included in the analysis, add or edit a prompt, select an AI model, and then either Accept or Reject the operation.

Figure 12. Autopilot Chat - Evaluate Requirement configuration

3. If you select Reject, the operation is not performed. If you select Accept, Autopilot works behind the scenes to provide the results.

Figure 13. Autopilot Chat - Evaluate Requirements result review

4. (Optional) Enter a query about the most immediate action that needs to be performed next.

KI-gestützte Testgenerierung

Use the Generate Test Cases functionality to automatically create high-quality, structured test cases based on requirement details, user documents, RAG or user prompts.

To invoke Generate Test Cases from Autopilot Chat, reference a requirement by name or ID. Autopilot Chat interprets your intent, identifies the relevant requirement, and launches the Generate Test Cases tool where you can provide more context (labels, custom fields).

Nachdem die Tests generiert wurden, überprüfen Sie die generierten Tests.

Beispiele für Abfragen:

• Generieren Sie Testfälle für die Anforderung „Submit Loan“.
• Generieren Sie Testfälle für UIB:24.

Leverage RAG vs. Attach documents

Nutzen Sie RAG nur, wenn:

• Anforderungen enthalten mehrdeutige Begriffe oder Abkürzungen
• Der mehrdeutige Kontext muss dynamisch aus mehreren Quellen abgerufen werden

Das ist ein Beispiel, wenn Sie RAG nutzen sollten: „SSO für die CR-, wissen- oder FI-Module aktivieren und mit dem BI-Dashboard synchronisieren.“ In diesem Beispielszenario sollten Dokumente für RAG hochgeladen werden, wobei auf die mehrdeutigen Abkürzungen verwiesen wird.

Dokumente anhängen in folgenden Fällen:

• Anforderungen enthalten keine mehrdeutigen Begriffe
• Die Dateien enthalten genaue Informationen über die Anforderung
• Sie können benutzerdefinierte Prompts definieren und LLMs anweisen, den Kontext zu extrahieren, der für die Anforderung relevant ist

So verwenden Sie den Autopilot Chat für die Testgenerierung (Bearbeitungsmodus)

1. Geben Sie eine Abfrage ein, die Tests für eine bestimmte Anforderung generiert.

Figure 14. Autopilot Chat - Test Generation query

2. Enter a query indicating which requirement needs to be evaluated. 3. Select Configure and edit the fields: add any documents or select which documents to be included in the analysis, add or edit a prompt, select an AI model, and then either Accept or Reject the operation. 4. If you select Reject, the operation is not performed. If you select Accept, review the results.

Figure 15. Autopilot Chat - Generate Test result review

Dokumentationssuche

Ask questions in natural-language questions to learn how to use Test Manager. Autopilot Chat retrieves the information directly from the official documentation, complete with source links for further reading.

Dies beschleunigt das Onboarding neuer Teams und macht das Wechseln zwischen Dokumentation und Produktbildschirmen überflüssig.

Beispiele für Abfragen:

• Wie erstelle ich eine Anforderung?
• Wie führe ich einen Testsatz aus?

Figure 16. Autopilot Chat - Documentation Search

Erkennung veralteter Tests

Use the Find Obsolete Tests functionality to maintain a clean, up-to-date test repository by automatically identifying the outdated or redundant test cases linked to requirements.

To invoke Find Obsolete Tests from Autopilot Chat, reference a requirement by either a name or ID. Autopilot Chat interprets your intent, identifies the relevant requirement, and launches the Find Obsolete Tests tool where you can provide more context.

Autopilot Chat analyzes the relationship between requirements and their associated test cases to detect obsolete test cases caused by:

• Aktualisierte oder veraltete Anforderungen
• Redundante Abdeckung der gleichen Funktionalität
• Veraltete Testumgebungen oder Abhängigkeiten
• Falsch ausgerichtete oder nicht unterstützte Testschritte

Durch das Auffinden veralteter Testfälle können sich Tester nur auf relevante, ausführbare Test-Assets konzentrieren, wodurch sowohl die Testgenauigkeit als auch die Wartungseffizienz verbessert werden.

Figure 17. Autopilot Chat - Find Obsolete Tests

Web-Leser und Web-Suche

When a query falls outside the scope of documentation or Autopilot Search, Autopilot Chat automatically switches to web search mode, but only within the context of Test Automation.

Autopilot Chat searches trusted public sources for topics related to testing frameworks, automation strategies, or QA methodologies, and then summarizes the most relevant insights.

Benutzer erhalten eine kontextbezogene, automatisierungsorientierte Anleitung, während sie innerhalb der Test Manager-Domäne bleiben.

Beispiele für Abfragen:

• Was sind die besten Praktiken für das Schreiben automatisierter Regressionstests?
• Wie sollte ich datengesteuerte Testfälle in der Automatisierung entwerfen?

MCP-Server und -Einstellungen

MCP stands for Model Context Protocol — a modern standard that allows AI systems (like Autopilot Chat) to securely connect to external data sources, tools, and automation workflows.

MCP works as a bridge between your AI assistant and the systems or APIs it needs to interact with. Instead of the AI just generating text responses, MCP lets it take action — such as creating requirements, assigning test cases, or running a UiPath process — all through well-defined, secure interfaces.

Ein MCP-Server hostet eine Reihe von Tools (oder „Funktionen“), die der KI-Agent aufrufen kann, wenn er eine relevante Absicht in Ihrer Chat-Eingabeaufforderung erkennt.

Jedes MCP-Tool verhält sich wie ein API-Endpunkt, ist aber KI-fähig – das bedeutet, der Chat versteht basierend auf natürlicher Sprache, wann und wie er aufgerufen werden kann.

• Sie geben eine Anforderung in natürlicher Sprache in den Chat ein, z. B.: „Importieren Sie die letzten beiden Anforderungen aus dieser Excel-Datei.“
• Der Chat interpretiert Ihre Absicht und sucht nach einem MCP-Tool, das diese Aktion ausführen kann.
• Das entsprechende MCP-Tool (z. B. Create_requirement) wird ausgelöst und übernimmt die Eingabe aus Ihrem Kontext (z. B. die Excel-Daten).
• Die Aktion wird automatisch ausgeführt – zum Beispiel das Erstellen von Anforderungen oder das Verknüpfen von Testfällen.

In addition to the built-in Test Manager MCP server, only the MCP servers created in Orchestrator are supported. To learn more about the MCP servers which can be configured via Orchestrator, refer to Orchestrator - About MCP Servers and Orchestrator - Managing MCP Servers.

Open the Autopilot Chat settings and configure the MCP servers as described in the Autopilot - User interface topic.

MCP-Servertypen

• The built-in Test Manager MCP server provides the following tools:
  • Zuweisen von Testfällen zur Anforderung
  • Weisen Sie Testfälle dem Testsatz zu
  • Weisen Sie die Objektbezeichnung zu
  • Massenhinzufügen von Beschriftungen
  • Erstellen Sie massenweise Testfälle
  • Benutzerdefinierte Feldwerte wurden in einem Massensatz festgelegt
  • Anforderung erstellen
  • Testfall erstellen
  • Testsatz erstellen
  • Alle Beschriftungen abrufen
  • Ruft alle Objektbeschriftungen nach Objekt-ID ab
  • Rufen Sie zugewiesene Testfall-IDs für die Anforderung ab
  • Rufen Sie benutzerdefinierte Feldbeschriftungswerte ab
  • Rufen Sie benutzerdefinierte Feldtextwerte ab
  • Rufanforderungen
  • Rufen Sie Testfälle ab
  • Rufen Sie Testsätze ab
  • Rufen Sie Testschritte für Testfall ab
  • Rufen Sie Testausführungen ab
  • Rufen Sie Testfallprotokolle nach Testausführung ab
  • Suchen Sie Objekte anhand des benutzerdefinierten Feldwerts
  • Heben Sie die Zuweisung von Testfällen zur Anforderung auf
  • Zuweisung von Testfällen zum Testsatz aufheben
• The custom MCP servers created via Orchestrator expose your own processes, automations, or APIs — such as a workflow that generates test data or creates accounts in a third-party app.

Stellen Sie eine Verbindung mit dem Test Manager MCP-Server her

Sie können den Test Manager MCP-Server in den Autopilot Chat-Einstellungen konfigurieren.

1. Öffnen Sie die Einstellungen für den Autopilot Chat.
2. Under MCP Servers, enter a Test Manager server URL which observes this pattern: https://{yourcloudaccount.com}/{ACCOUNT_NAME}/{TENANT_NAME}/agenthub_/mcpfps/testmanager. Add your cloud URL, account and tenant name in the relevant placeholders. Example: https://cloud.uipath.com/TestCloudAccount/DefaultTenant/agenthub_/mcpfps/testmanager
3. Select Add and Save.