Autonome Testausführung für Test Cloud

Autonome Testausführung in Test Manager zur automatischen Ausführung manueller Testfälle mit Autopilot, ohne eine skriptbasierte Automatisierung zu erstellen oder zu verwalten.

Die autonome Testausführung ist eine Funktion in Test Manager, die vorab definierte manuelle Testfälle automatisch mit Autopilot ausführt. Ein menschlicher Tester hat bereits die Testschritte geschrieben; Autopilot führt sie ohne weiteren Eingriff aus und ersetzt den Aufwand, einen manuellen Test in eine vollständig skriptgesteuerte Studio-Automatisierung zu konvertieren.

Wichtig:

Die autonome Testausführung ist nur über Test Cloud verfügbar und wird nur in Windows-Umgebungen unterstützt.

Wichtige Funktionen

• Nur unbeaufsichtigte Ausführung: Führt Testfälle ohne Ausführung im beaufsichtigten Modus aus, einschließlich einer ausstehenden Ausführung.
• Auswahl des Ausführungsziels: Auf der Registerkarte Konfigurieren können Sie einen Runtime-Typ, ein Roboterkonto und eine Maschinenvorlage für die Ausführung auswählen – mit einer optionalen Hostmaschine, sobald eine bestimmte Maschinenvorlage ausgewählt wurde – anstatt dass der Test Manager automatisch eine verfügbare Runtime auswählt. Die Auswahl wird zwischen Sitzungen nicht beibehalten.
• Webbasierter Scope: Deckt nur webbasierte Testfälle ab; Desktop-Anwendungen werden nicht unterstützt. Die Ausführung verwendet den auf der Maschine konfigurierten Standardbrowser – sowohl Chromium-basierte Browser als auch Firefox werden unterstützt und die Browserauswahl ist nicht konfigurierbar.
• Unterstützung von Anmeldeinformationen und Parametern: Testschritte verweisen auf dynamische Werte über die Syntax {{parameterName}} und Orchestrator-Anmeldeinformations-Assets über die Syntax {{credential:credentialName}}.
• Modellauswahl: Modelloptionen enthalten Modelle der künstlichen Intelligenz (KI) aus Gemini und Anthropic, die nach den Automation Ops-Richtlinien der Organisation gefiltert sind.
• Detaillierte Ausführungsergebnisse: eine vollständige Aktionsnachverfolgung, Screenshots und die Argumentation des Agents bei Fehlern anstelle eines einfachen Bestanden/Fehlgeschlagen-Indikators.Roboterprotokolle sind ebenfalls verfügbar.
• Live-Streaming, Remotesteuerung und Abbrechen: Eine laufende Ausführung kann beobachtet, bei Bedarf über die Remotesteuerung übernommen und jederzeit abgebrochen werden.

Wann die autonome Testausführung verwendet werden soll

• Regressionstests: Vorhandene manuelle Testfälle für eine stabile Funktion werden wiederholt ohne menschlichen Aufwand ausgeführt.
• Von Anmeldeinformationen abhängige Tests: Anmeldeinformationen werden sicher in Orchestrator gespeichert und zur Laufzeit eingefügt, was in Umgebungen nützlich ist, in denen Anmeldeinformationen nicht hartcodiert oder offengelegt werden dürfen.
• Einmal oder selten ausgeführte Tests: Vermeidet den Aufwand für die Erstellung einer beständigen Automatisierung für temporäre Validierungen oder seltene Überprüfungen.
• Stark veränderliche oder instabile Schnittstellen: Autopilot passt sich zur Laufzeit an, anstatt eine kontinuierliche Skriptwartung in Anwendungen zu erfordern, in denen sich die Oberfläche häufig ändert.
• Geschäftsbenutzer- oder nicht-technische Tests: Geschäftsanalysten oder Fachexperten können Tests anhand manueller Anweisungen ausführen, ohne Automatisierungstools zu lernen oder Skripte zu pflegen.

Anmeldeinformationsverwaltung

Anstelle von Klartext können Testschritte der autonomen Testausführung mithilfe der Syntax {{credential:credentialName}} auf ein Asset vom Typ Orchestrator-Credential verweisen. Zur Laufzeit ruft eine vorhandene Aktivität Get Credential den Wert ab.

Test Manager selbst sieht oder speichert den Benutzernamen oder das Kennwort nie, nur den Asset-Namen. Der Wert wird als sicherer String durch den Workflow übertragen: Das KI-Modell sieht nur einen sicheren Platzhalter, niemals den Klartext, bis er in das Zielfeld eingegeben wird.

• Anmeldeinformationen werden nur aus dem Standard-Orchestrator-Ordner des Projekts abgerufen, der in den Projekteinstellungen konfiguriert ist. Es ist keine Ordnerüberschreibung pro Ausführung verfügbar.
• Sowohl der Testfallautor als auch der Testfallausführer benötigen die Berechtigung „AssetsView“ für diesen Ordner; andernfalls schlägt die Ausführung bei der Anmeldung fehl.
• Die Credential-Auswahl erfolgt nur über die Dropdownliste, sodass kein ungültiger oder falsch geschriebener Asset-Name eingegeben werden kann. Fehlende Berechtigungen führen weiterhin zu einem Fehler.
• Die Credential-Auflösung gilt nur während der autonomen Testausführung. Eine Person, die dieselben Schritte manuell ausführt, muss die Anmeldeinformationen separat nachschlagen.
• Projekt- und Ordnereinstellungen, einschließlich des Standardordners, der für die Auflösung von Credentials verwendet wird, werden beim Exportieren oder Importieren von Testfällen zwischen Mandanten oder Projekten nicht übernommen.

Live-Streaming, Remotesteuerung und Abbruch

Ein laufender Auftrag zur autonomen Testausführung kann live beobachtet werden, und bei Bedarf kann die Sitzung ferngesteuert werden. Beide Funktionen verwenden die vorhandene Live-Streaming-Infrastruktur mit automatisierter Ausführung.

Im Gegensatz zum beständigen Seitenbereich der autonomen Exploration wird die Live-Ansicht der autonomen Testausführung pro Testfall-Durchlauf über eine Video-Spalte in der Ausführungsergebnistabelle angezeigt, was das Auslösen mehrerer Durchläufe parallel und nicht nacheinander unterstützt.

Ein laufender unbeaufsichtigter Auftrag kann außerdem jederzeit abgebrochen werden. Das Anhalten einer Ausführung wird nicht unterstützt.

Bekannte Einschränkungen

• Es gibt keine dedizierte Beschriftung für den Ausführungstyp, um autonome Testausführungen von regulären manuellen Ausführungen in der Testsatzausführung zu unterscheiden; der Ausführungstyp wird generisch als „Manuell“ angezeigt.
• Die autonome Testausführung wird immer ausgeführt und ruft Anmeldeinformationen aus dem Standard-Orchestrator-Ordner des Projekts ab. Noch ist keine Ordnerüberschreibung verfügbar, aber sie ist vor oder bei der allgemeinen Verfügbarkeit geplant.
• Um zu ändern, wie Autopilot einem Test angeht, müssen die manuellen Schritte direkt bearbeitet werden; es gibt derzeit keine Unterstützung für die Aufforderungsbibliothek.
• Es gibt keine Ausführung auf Testsatzebene und keine Möglichkeit, unbeaufsichtigte Ausführungen auf einen Pool von Robotern zu verteilen. Die autonome Testausführung wird pro Testfall ausgeführt, einschließlich einer ausstehenden Ausführung, nicht über einen ganzen Testsatz mit gemischten Ausführungstypen.
• Dynamic Test Data Management- und Data Fabric-Integration sind nicht verfügbar.
• Eine vollständige Steuerung über Human-in-the-Loop ist nicht implementiert. Wenn Autopilot ein Schnittstellenelement nicht identifizieren kann oder auf einen Blocker stößt, wird die Ausführung angehalten und das spezifische Problem angezeigt, das manuell gelöst werden muss.
• Autonome Testausführung unterstützt nur webbasierte Testfälle; Desktop-Anwendungen werden nicht unterstützt. Es wird im konfigurierten Standardbrowser ausgeführt – Chromium-basierte Browser und Firefox werden unterstützt, es gibt keine Option zur Auswahl eines anderen Browsers – und ist nur in Windows-Umgebungen verfügbar.

Schritt-für-Schritt-Anleitungen finden Sie unter Durchführen der autonomen Testausführung. Weitere Informationen zur Überprüfung der Ergebnisse einer Ausführung finden Sie unter Überprüfen der Ergebnisse der autonomen Testausführung.