- Erste Schritte
- Projektmanagement
- Dokumente
- Arbeiten mit der Analyse der Änderungsauswirkungen
- Erstellen von Testfällen
- Zuweisen von Testfällen zu Anforderungen
- Klonen von Testfällen
- Exportieren von Testfällen
- Verknüpfen von Testfällen in Studio mit dem Test Manager
- Delete test cases
- Manuelle Testfälle
- Importieren manueller Testfälle
- Dokumentieren von Testfällen mit Task Capture
- Parameter
- Aktivieren der Governance auf Projektebene
- Deaktivieren der Governance auf Projektebene
- Aktivieren der Governance auf Testfallebene
- Deaktivieren der Governance auf Testfallebene
- Verwalten von Genehmigern für strukturierte Testfälle
- Verwalten von gesteuerten Testfällen im Status In Arbeit
- Verwalten von geregelten Testfällen im Status „Wird überprüft“.
- Verwalten von gesteuerten Objekten im Status „Signiert“.
- Verwalten von Kommentaren für gesteuerte Testfälle
- Anwenden von Filtern und Ansichten
- Importieren von Orchestrator-Testsätzen
- Creating test sets
- Hinzufügen von Testfällen zu einem Testsatz
- Zuweisen von Standardbenutzern in der Testsatzausführung
- Aktivieren der Aktivitätsabdeckung
- Aktivieren von Healing Agent
- Konfigurieren von Testsätzen für bestimmte Ausführungsordner und Roboter
- Überschreiben von Parametern
- Klonen von Testsätzen
- Exportieren von Testsätzen
- Anwenden von Filtern und Ansichten
- FAQ – Funktion – Test Manager vs Orchestrator
- Ausführen von manuellen Tests
- Ausführen automatisierter Tests
- Ausführen von Testfällen ohne Testsatz
- Ausführen gemischter Tests
- Erstellen von ausstehenden Ausführungen
- Erzwingen einer Ausführungsreihenfolge
- Erneutes Ausführen von Testausführungen
- Planen von Ausführungen
- Fehlerbehebung bei automatisierten Ausführungen
- Zugänglichkeitstests für Test Cloud
- Suche mit Autopilot
- Projektvorgänge und Dienstprogramme
- Test Manager-Einstellungen
- ALM Tool-Integration
- API-Integration
- Fehlersuche und ‑behebung
Test Manager-Benutzerhandbuch
-
Melden Sie sich beim Test Manager an.
-
Öffnen Sie ein Projekt.
-
Führen Sie einen Schreibtischtest durch. Öffnen Sie ein Leistungsszenario und wählen Sie Schreibtischtest aus.
Tipp:Bei einem Leerlauf wird jede Lastgruppe mit einem einzelnen Roboter im Leerlauf ausgeführt, um die Stabilität der Automatisierung zu validieren oder Fehlkonfigurationen der Infrastruktur zu erkennen. Der Leerlauf berechnet die erforderlichen Ressourcen vor der vollständigen Ausführung.
-
Führen Sie eine vollständige Ausführung aus. Öffnen Sie ein Leistungsszenario, für das Sie bereits einen Schreibtischtest durchgeführt haben. Wählen Sie Vollständige Ausführung aus. Der Ausführungsbildschirm. wird automatisch geöffnet.
-
Überwachen Sie das Dashboard in Echtzeit und überprüfen Sie den Ausführungsstatus. Die Fortschrittsleiste zeigt vier sequenzielle Phasen an.
- Laden der Testkonfiguration – Das System validiert die Szenarioeinrichtung und lädt die Konfigurationsdetails (Testfälle, Lastgruppen, Schwellenwerte und Datenquellen).
- Bereitstellungsressourcen – Die erforderlichen Ausführungsressourcen werden zugewiesen.
- Für Cloud Robots bedeutet das das Bereitstellen serverloser Roboter und den Verbrauch von Platform Units.
- Für lokale Roboter bedeutet dies, dass die richtigen Maschinen und Runtimes verfügbar sind.
- Vorbereiten virtueller Benutzer – Virtuelle Benutzer werden basierend auf den definierten Lastgruppeneinstellungen initialisiert, darunter das Verbinden von Robotern, das Zuweisen von Testfällen und das Vorbereiten der Ausführungsumgebung.
- Vollständige Ausführung – Der eigentliche Leistungstest wird gemäß dem konfigurierten Lastprofil ausgeführt (Hochfahren, Spitze, Herunterfahren). Die Echtzeitüberwachung von Metriken (Antwortzeiten, Fehlerquoten, Infrastrukturnutzung) ist ab dieser Phase verfügbar.
-
Lesen Sie die Ausführungsübersicht. Das Dashboard zeigt die Zusammenfassung einer Leistungstestausführung.
- Lastgruppen: Aktive Lastgruppen, die derzeit parallel ausgeführt werden.
- Virtuelle Benutzer: Derzeit aktive virtuelle Benutzer für das gesamte Szenario.
- Fehler: Während der Ausführung sind bisher Fehler aufgetreten (
HTTP, Automatisierungsfehler) für alle Gruppen. - Durchschnittliche Antwortzeit: Durchschnittliche und maximal erkannte Antwortzeit für alle Gruppen.
- Diagramm: Laden Sie das Profil mit einer visuellen Darstellung des Fortschritts.
-
Lesen Sie die Metriken. Das Histogramm stellt die gesamte durchschnittliche Reaktionszeit für die aktuell ausgewählte Lastgruppe dar. Sie können den hervorgehobenen Balken in seiner Größe ändern und verschieben, um ihn in einen bestimmten Zeitbereich zu vergrößern. Mehrere Diagramme werden ebenfalls bereitgestellt.
- Der Diagrammabschnitt Lastprofil zeigt, wie viele virtuelle Benutzer zu einem bestimmten Zeitpunkt aktiv waren. Dies spiegelt die konfigurierten Hochfahren-, Spitzen- und Herunterfahren-Phasen wider.
- Der Diagrammabschnitt HTTP-Antwortzeit (ms) zeigt die durchschnittliche Antwortzeit von
HTTPAnforderungen im ausgewählten Zeitraum an. Vergleichen Sie diese mit den Schwellenwerten (z. B. 1.000 ms), um zu sehen, wo die Leistung nachlassen. - Der Diagrammabschnitt „HTTP-Fehler“ zeigt den Prozentsatz von Fehlern der Stufe
HTTPan (z. B. 404, 503). Dies hilft bei der Identifizierung, ob Server- oder Netzwerkprobleme die Ursache von Instabilität sind. - Der Diagrammabschnitt Automatisierungsschrittdauer (ms) misst, wie lange einzelne Automatisierungsschritte zur Ausführung dauern. Spitzen können auf Ineffizienzen oder Probleme im Automatisierungsdesign hinweisen.
- Der Diagrammabschnitt Automatisierungsfehler (%) zeigt den Prozentsatz der Fehler auf Automatisierungsebene (z. B. fehlgeschlagene Selektoren, Ausnahmen). Dies hilft, Systemfehler von Automatisierungsproblemen zu unterscheiden.
- Der Diagrammabschnitt Infrastruktur – Ausführen der Roboter-CPU (%) überwacht die CPU-Auslastung der Roboter, die die Last ausführen. Eine hohe oder kontinuierliche CPU-Auslastung kann auf einen Ressourcenengpass hinweisen.
- Der Diagrammabschnitt Infrastruktur – Arbeitsspeicher der ausgeführten Roboter (%) verfolgt den Speicherverbrauch der ausgeführten Roboter. Dies ist nützlich, um Speicherverluste oder eine übermäßige Nutzung im Laufe der Zeit zu erkennen.
- Verwenden Sie Perzentilmetriken wie P50, P90 oder P95, um Ihnen zu helfen, die Verteilung der Reaktionszeiten zu verstehen und Ausreißer zu identifizieren, die sich auf die Benutzererfahrung auswirken können. Diese sind für Metriken wie HTTP-Antwortzeit, HTTP-Fehler, Automatisierungsschrittdauer und Automatisierungsfehler verfügbar.
-
Überwachen Sie Probleme während der Ausführung. Überprüfen Sie das Anwendungsprotokoll und die Schweregrade rechts neben dem Ausführungsbildschirm. Für API-Leistungtests können Sie den Ausführungsfortschritt und die Ergebnisse im Diagrammformat und im Metrikformat einsehen. Die folgenden Informationen werden angezeigt: API-Stufen, Durchschnitt, Minimum, Maximum.
- Info – Allgemeine Informationen, wie Ressourcenzuweisung
- Warnung – Schwellenwertüberschreitungen oder potenzielle Risikobedingungen
- Fehler – Automatisierungs- oder
HTTP-Fehler (z. B. Anforderungs-Timeouts, Selektorfehler) - Schwerwiegend (Fatal) – Schwerwiegende Ausführungsfehler, die verhindern, dass der Test fortgesetzt wird