test-suite

latest

false

Test Suite-Benutzerhandbuch

BEREITSTELLUNG:

Automation Cloud Automation Cloud Public Sector Automation Suite Standalone

Letzte Aktualisierung 4. Dez. 2024

Ausführen von Tests

Sie können Tests manuell oder automatisiert ausführen. Manuelle Testausführungen werden über den Test Manager gestartet, während automatisierte Ausführungen über den Test Manager gestartet und über den Orchestrator ausgeführt werden. Darüber hinaus kann innerhalb einer Testsatzausführung jeder einzelne Testfall entweder manuell oder automatisiert ausgeführt werden. Dadurch wird der Ausführungstyp zu „Gemischt“ geändert.

Um Ihre Testfälle auszuführen, müssen Sie zuerst einen Testsatz erstellen, der danach ausgeführt wird. Wenn Sie Testfälle einzeln ausführen möchten, anstatt alle gleichzeitig auszuführen, können Sie eine ausstehende Ausführung aus einem Testsatz erstellen. Bei jeder Ausführung können Sie einzelne Testfälle entweder automatisiert oder manuell ausführen.

Bedingungen

Sie können die Optionen Manuell ausführen und Automatisch ausführen sowohl für im Test Manager erstellte Testsätze als auch für die im Orchestrator verknüpften Testsätze verwenden.
Es werden nur die im Testsatz enthaltenen Testfallversionen ausgeführt. Wenn Sie neue Testfälle ausführen möchten, müssen Sie Ihrem Testsatz neue Versionen zuweisen. Bei Orchestrator-Testsätzen müssen Sie sicherstellen, dass die neuesten Pakete veröffentlicht werden.
Wenn die Ausführungsreihenfolge aktiviert ist, können Sie keine einzelnen Testfälle aus einem Testsatz ausführen.

Automatisierte Ausführung

Die automatisierte Ausführung bezieht sich auf Testsätze, die vom Orchestrator her verknüpft wurden, oder auf Testsätze, die im Test Manager erstellt wurden und über Testfälle verfügen, die von Studio her verknüpft sind.

Manuelle Ausführung

Die manuelle Ausführung bezieht sich auf im Test Manager erstellte Testsätze, inklusive der Testfälle, die über manuelle Schritte verfügen. Die manuelle Ausführung kann sowohl für die im Test Manager erstellten Testsätze als auch für die im Orchestrator verknüpften Testsätze erfolgen.

Ausführen von manuellen Tests

Zuweisen von manuellen Ausführungen zu Benutzern

Sie können Ihre Arbeit innerhalb eines Testprojekts verteilen, indem Sie Benutzern manuelle Testfallausführungen zuweisen und Fälligkeitsdaten für sie festlegen. Sie können jedem Benutzer manuelle Ausführungen zuweisen, wobei zu beachten ist, dass er über Berechtigungen zum Ausführen von Tests verfügen sollte.

Voraussetzungen

Um manuelle Testfallprotokolle zuzuweisen oder die Zuweisung aufzuheben, benötigen Sie die Aufgabenberechtigung Zuweisungen von Testfallausführungen ändern in einer Ihrer Rollen. Standardmäßig ist diese Aufgabenberechtigung in die vordefinierte Rolle des Test Managers integriert.

Zuweisen von manuellen Ausführungen

Um einem Benutzer eine oder mehrere manuelle Ausführungen zuzuweisen, führen Sie die folgenden Schritte aus:

Wechseln Sie zum Abschnitt Ausführung Ihres Projekts.
Wählen Sie den Namen einer Testausführung aus und öffnen Sie diese.
Hinweis: Jede Testausführung kann unabhängig von ihrem Typ ausgewählt werden. Dies liegt daran, dass das Ziel darin besteht, die manuelle Ausführung durch den Benutzer zu vereinfachen, unabhängig von der Methode, die bei der vorherigen Ausführung verwendet wird.
Weisen Sie die manuellen Testfallausführungen auf eine der folgenden Arten zu:
- Um eine einzelne manuelle Testfallausführung zuzuweisen: Wählen Sie Weitere Optionen für den gewünschten Testfall und dann Zuweisung aus.
- Um mehrere manuelle Testfallausführungen zuzuweisen: Aktivieren Sie die Kontrollkästchen neben den gewünschten manuellen Testfallschlüsseln und wählen Sie dann Zuweisen aus.
Das Dialogfeld Zuweisung wird geöffnet.
Geben Sie im Feld Beauftragter den Benutzernamen oder die E-Mail-Adresse des Benutzers ein, dem Sie die Testfälle zuweisen möchten.
Stellen Sie sicher, dass der Benutzer, dem Sie den Testfall zuweisen, über Berechtigungen zum Ausführen von Tests verfügt.
Geben Sie im Feld Fälligkeitsdatum festlegen das Datum ein, bis zu dem der Benutzer den Testfall ausführen soll.
Das Format des Datums ist: Monat/Tag/Jahr.

Sie können für diesen Schritt auch die Datumsauswahl verwenden.
Wählen Sie Zuweisen aus, um Ihre Aktion abzuschließen.
Wenn der Benutzer diese Ereignisse abonniert hat, erhält er eine Benachrichtigung, dass ihm Testfälle zugewiesen wurden.

Tipp: Sie können auch die Zuweisung und das Fälligkeitsdatum im Header des Testfallausführungsprotokolls ändern.

Abbildung 1. Übersicht über das Dialogfeld Zuweisung

Aufheben der Zuweisung manueller Ausführungen

Führen Sie die folgenden Schritte aus, um die Zuweisung einer oder mehrerer manueller Ausführungen an einen Benutzer aufzuheben:

Wechseln Sie zum Abschnitt Ausführung Ihres Projekts.
Wählen Sie den Namen der Zieltestausführung aus und öffnen Sie diese.
Heben Sie die Zuweisung der manuellen Testfallausführungen mit einer der folgenden Methoden auf:
- So heben Sie die Zuweisung einer einzelnen manuellen Testfallausführung auf: Aktivieren Sie das Kontrollkästchen neben dem gewünschten Testfall und wählen Sie dann Zuweisung löschen aus.
- So heben Sie die Zuweisung mehrerer manueller Testfallausführungen auf: Aktivieren Sie die Kontrollkästchen neben den gewünschten manuellen Testfallschlüsseln und wählen Sie dann Zuweisung löschen aus.
Wenn der Benutzer diese Ereignisse abonniert hat, erhält der Benutzer eine Benachrichtigung, dass die Zuweisung von Testfällen aufgehoben wurde.

Planen eines Fälligkeitsdatums für manuelle Ausführungen

Sie können ein Fälligkeitsdatum für eine manuelle Testfallausführung festlegen. Wenn dieses Datum verstreicht, ohne dass das Testfallprotokoll ausgeführt wird, wird das Fälligkeitsdatum hervorgehoben.

So legen Sie ein Fälligkeitsdatum für eine manuelle Testfallausführung fest:

Wechseln Sie zum Abschnitt Ausführung Ihres Projekts.
Wählen Sie eine manuelle Testausführung aus und öffnen Sie sie.
Öffnen Sie ein Testfallprotokoll.
Geben Sie im Feld Fälligkeitsdatum im Testfallprotokollheader das Fälligkeitsdatum ein. Das Format muss Monat/Tag/Jahr sein.
Sie können das Datum auch mit der Datumsauswahl auswählen.

Hinweis: Sie können auch das Fälligkeitsdatum festlegen, wenn Sie die manuelle Testfallausführung einem Benutzer zuweisen.

Testsätze manuell ausführen

Test Manager-Testsätze sowie mit dem Orchestrator verknüpfte Testsätze können manuell ausgeführt werden, wenn für die Testfälle manuelle Schritte definiert wurden. Weitere Informationen finden Sie unter Ausführen von Tests.

Öffnen Sie Ihr Projekt im Test Manager und navigieren Sie dann zu Testsätze.
Wählen Sie Weitere Optionen für den Testsatz aus, den Sie ausführen möchten.
Wählen Sie Manuell ausführen aus.
Der Assistent für die manuelle Ausführung wird in einem neuen Fenster geöffnet. Wenn Sie einen Popup-Blocker verwenden, konfigurieren Sie ihn so, dass das Fenster geöffnet werden kann.

Weitere Informationen zu Testergebnissen finden Sie unter Analysieren von Testergebnissen.

Hinweis: Bei automatisierten Testfällen können manuelle Schritte definiert und auch manuell ausgeführt werden.

Alternativ können Sie Ihren Testsatz öffnen, Ausführen auswählen und dann Manuell aus der Dropdownliste auswählen.

Assistent für manuelle Ausführung

Mit dem Assistenten für die manuelle Ausführung können Sie eine Reihe manueller Tests nacheinander durchführen. Um zum nächsten Testfall im Testsatz zu gelangen, müssen Sie bei jedem manuellen Schritt ein Ergebnis festlegen. Mit dem Assistenten für die manuelle Ausführung können Sie die einzelnen Schritte entweder als bestanden oder als nicht bestanden markieren.

Abbildung 2. Ausführen von manuellen Tests mit dem Assistenten für die manuelle Ausführung

Um den Fortschritt jedes Schritts im Testfall zu markieren, wählen Sie Satz fehlgeschlagen oder Satz bestanden aus.
Fügen Sie Kommentare ein, insbesondere wenn Sie einen Schritt als fehlgeschlagen markieren, um spezifische Informationen über das Ergebnis bereitzustellen.
Nachdem Sie einen Schritt markiert haben, können Sie mehrere folgende Schritte als bestanden festlegen. Wählen Sie dazu die Option Bis hierher übergeben aus.
Sobald Sie einen Testfall abgeschlossen haben, indem Sie dem letzten Schritt ein Ergebnis zuweisen, wählen Sie Weiter aus.
Mit dieser Aktion können Sie zum nächsten Testfall innerhalb Ihres Testsatzes wechseln.
Wiederholen Sie die Schritte eins bis vier, bis Sie den letzten Testfall im Testsatz erreicht haben.
Wenn eine Nachbedingung für einen manuellen Test angegeben ist, überprüfen Sie diese, nachdem Sie dem letzten Schritt eines Testfalls ein Ergebnis zugewiesen haben.
1. Wenn die Nachbedingung erfüllt ist, wählen Sie Bedingung erfüllt aus.
2. Wenn die Nachbedingung nicht erfüllt ist, lassen Sie Bedingung erfüllt unausgewählt.
Wählen Sie nach Abschluss des letzten Testfalls Fertig aus, um den gesamten Ausführungsprozess abzuschließen.

Gleichzeitiges Ausführen von Testfällen

Sie können manuelle Testfälle gleichzeitig mit anderen Benutzern ausführen. Dies ermöglicht die erneute Ausführung von Testfällen, auch während eine manuelle Testsatzausführung läuft. Der Status des Testfallprotokolls wird ständig entsprechend der neuesten Benutzeraktivität aktualisiert, die sowohl den Beginn als auch das Ende eines Tests umfasst. Statusaktualisierungen erfolgen sofort, wenn ein Benutzer mit der erneuten Ausführung eines zuvor abgeschlossenen Testfallprotokolls beginnt, ohne das vorherige Ergebnis während des gesamten Prozesses der erneuten Ausführung beizubehalten. Bei der Aufzeichnung früherer Ausführungen überschreibt jedes neue Ergebnis das alte, d. h. das Testfallprotokoll spiegelt das Ergebnis der letzten Ausführung wider.

Identifizieren des letzten Testfall-Executors

Auf der Registerkarte Ergebnisse einer manuellen Ausführung wird in der Spalte ExecutedBy der Benutzername des Benutzers angezeigt, der das Testfallprotokoll zuletzt ausgeführt hat. Diese Informationen werden jedes Mal aktualisiert, wenn Sie oder andere Benutzer eine der folgenden Aktionen für einen Testfall ausführen:

Zum ersten Mal einen manuellen Testsatz ausführen;
Eine ausstehende Ausführung einer manuellen Testausführung ausführen;
Führen Sie ein Testfallprotokoll aus einer manuellen Ausführung erneut aus.

Nachverfolgen von Testfallprotokollen

Wenn Sie ein Testfallprotokoll während einer bestimmten Testausführung erneut ausführen, behält der Test Manager den Verlauf des Testfallprotokolls nicht bei und überschreibt ihn. Sie können jedoch den Ausführungsverlauf für jeden Testfall für verschiedene Testausführungen und zugehörige Benutzerdetails auf der Registerkarte Letzte Ergebnisse überprüfen.

Ausführen automatisierter Tests

Sie können alle Testsätze mit Automatisiert ausführen ausführen. Der Orchestrator wird für Testfälle aufgerufen, die mit dem Test Manager verknüpft wurden. Um Testsätze auszuführen, die mit dem Orchestrator verknüpft sind, stellen Sie sicher, dass Sie Ihre Testsätze im Orchestrator erstellen.

Sie können auch automatisierte Tests ausführen, wenn der Testsatz mit Studio verknüpfte Testfälle enthält. Weitere Informationen finden Sie unter Ausführen von Tests.

Bedingungen

Wichtig: Um die Option „ Automatisch ausführen“ zu verwenden, benötigen Sie mindestens einen automatisierten Testfall in einem Testsatz.

Automatisierte Testausführungen haben ein Standard-Timeout von vier Tagen. Jede automatisierte Textausführung, die vier Tage überschreitet, wird als Abgebrochen markiert.
Die Testausführung für Testsätze, die vom Orchestrator her verknüpft sind, enthält nur die Testfälle, die in der neuesten Paketversion im Orchestrator-Feed mit Mandantenprozessen veröffentlicht wurden. Wenn Sie neue Testfälle ausführen möchten, müssen Sie eine neue Paketversion im Orchestrator veröffentlichen und dann den Testsatz mit dem Test Manager verknüpfen.
Wenn Ihr Testsatz im Test Manager Testfälle aus mehreren Studio-Projekten enthält, wird das Projekt zur Ausführung herangezogen, das die höchste Anzahl von Testfällen aufweist. Daher werden nur die Testfälle aus diesem Projekt ausgeführt. In diesem Fall wird im Test Manager die folgende Meldung angezeigt: „Es wurden Testfälle aus mehreren Paketen ausgewählt. Einige der Testfälle werden beim Ausführen dieses Testsatzes nicht ausgeführt.“
Sie können Testsätze mit Testfällen aus mehreren Studio-Projekten nur dann ausführen, wenn Sie einen Testsatz mit vom Orchestrator her verknüpft haben.
Wenn Ihr Testsatz Testfälle enthält, die sich in mehreren Studio-Projekten wiederholen, erfolgt die Sortierung nach dem Projektnamen in absteigender Reihenfolge. Es werden nur die Testfälle aus dem Projekt ausgeführt, das in der Liste an erster Stelle steht.

Automatisierte Testsätze ausführen

Öffnen Sie Ihr Projekt im Test Manager und navigieren Sie dann zu Testsätze.
Wählen Sie einen Testsatz aus und klicken Sie auf die drei vertikalen Punkte.
Wählen Sie Automatisiert ausführen aus.
Weitere Informationen zu Testergebnissen finden Sie unter Analysieren von Testergebnissen.
Hinweis:
- Testfälle, die nicht ausgeführt werden können, werden bei der Ausführung im Orchestrator übersprungen.
- Testfälle, die nicht ausgeführt werden, generieren Testfallprotokolle ohne Ergebnis.

Alternativ können Sie Ihren Testsatz öffnen, auf Ausführen klicken und in der Dropdownliste Automatisiert auswählen.

Ausführen gemischter Tests

Sie können gemischte Tests ausführen, indem Sie sowohl manuelle als auch automatisierte Tests erneut ausführen, basierend auf einem früheren Testergebnis. Wenn Sie gemischte Tests erneut ausführen, wird immer die neueste Version eines Testfalls verwendet.

Ausführen gemischter Testsätze

Öffnen Sie Ihr Projekt im Test Manager und wechseln Sie zu Ausführung.
Wählen Sie einen Testsatz mit manuellen und automatisierten Testfällen aus.
Wählen Sie beide Testfalltypen und dann Automatisiert ausführen aus.
Sie können beobachten, dass der Ausführungstyp des Testergebnisses von Manuell oder Automatisiert zu Gemischt wechselt.

Erstellen von ausstehenden Ausführungen

Eine ausstehende Testausführung ähnelt einer regulären Testausführung während eines Testsatzlaufs, mit dem einzigen Unterschied, dass keine Tests sofort ausgeführt werden. Bei einer ausstehenden Ausführung wird jedem Testfall aus dem Testsatz das Ergebnis Ohne zugewiesen, sodass Sie Tests später starten oder sie in Blöcken oder einzeln ausführen können.

Wann Sie ausstehende Ausführungen verwenden können

Wenn Sie Tests später oder nicht alle gleichzeitig ausführen, aber dennoch den aktuellen Status des Testsatzes widerspiegeln möchten.
Wenn einige Tests manuell ausgeführt werden, während andere automatisiert ausgeführt werden sollen.
Wenn die ausgeführten Tests den aktuellen Status eines Testsatzes einschließlich der ausgewählten Testfälle widerspiegeln sollen.

Eine Testausführung ist unabhängig von ihrem ursprünglichen Testsatz, wobei alle zugewiesenen Testfälle zu statischen Mitgliedern der Ausführung werden. Um sicherzustellen, dass ein bestimmter Satz von Tests aus einem Testsatz in einer Ausführung verwendet wird, auch wenn der Testsatz aktualisiert wird, erstellen Sie eine ausstehende Ausführung.

Schritte zum Erstellen einer ausstehenden Ausführung

Öffnen Sie ein Projekt im Test Manager und navigieren Sie zu Testsätze.
Wählen Sie Aufgaben und dann Ausstehende Ausführung erstellen aus. Dadurch wird ein Replikat des Testsatzes erstellt, das für die Ausführung bereit ist. Die ausstehende Ausführung wird automatisch geöffnet und leitet Sie zur Ausführung.

Erneutes Ausführen von Testausführungen

Wenn Sie eine Testausführung erneut ausführen, werden die alten Ausführungsergebnisse gelöscht und durch die neuen Ergebnisse ersetzt. Wenn Sie ein Testausführungsergebnis nicht ersetzen möchten, führen Sie den Testsatz erneut aus. Dadurch werden neue Testausführungsergebnisse generiert, die von den vorherigen unabhängig sind.

Die vordefinierten Benutzerrollen, die erneute Ausführungen durchführen können, sind: Test Manager, Test Executor und Manual Tester.

Erneutes Ausführen von Testsatzausführungen

Gehen Sie zu Ausführung und wählen Sie eine der folgenden Optionen aus:
- Weitere Optionen auswählen für die Testausführung, die Sie wiederholen möchten.
- Öffnen Sie die Testausführung und wählen Sie Aufgabenaus.
Wählen Sie eine der folgenden Optionen aus:
- Manuell erneut ausführen (nur für manuelle Testausführungen verfügbar)
- Automatisiert erneut ausführen (nur für automatisierte Testausführungen verfügbar)
Das Dialogfeld „ Erneut ausführen “ wird angezeigt.
Wählen Sie Bestätigen aus, und führen Sie die manuellen Schritte aus, oder warten Sie, bis der automatisierte Testsatz abgeschlossen ist.

Hinweis:
Beim erneuten Ausführen von Testsatzausführungen wird die Aktivitätsabdeckung nicht mehr angezeigt.

Erneutes Ausführen von Testfallausführungen

Sie können eine oder mehrere Testfallausführungen erneut ausführen. Bei datengesteuerten Testfällen können Sie jeweils nur eine Testfallausführung erneut ausführen. Sie können datengesteuerte Testfallausführungen nicht in großen Mengen erneut ausführen.

Hinweis: Auch wenn Sie eine neuere Version des Testfalls veröffentlichen, ist die Version, die Sie erneut ausführen, dieselbe Version, die in der Testausführung aufgezeichnet wird.

Wechseln Sie zur Ausführung und öffnen Sie eine Testsatzausführung.
Aktivieren Sie die Kontrollkästchen für eine oder mehrere Testfallausführungen und wählen Sie dann Auswahl erneut ausführenaus.
Wählen Sie eine der folgenden Optionen aus:
- Manuell erneut ausführen (nur für manuelle Testausführungen verfügbar)
- Automatisiert erneut ausführen (nur für automatisierte Testausführungen verfügbar)
Das Dialogfeld „ Erneut ausführen “ wird angezeigt.
Wählen Sie Bestätigen aus, und führen Sie die manuellen Schritte aus, oder warten Sie, bis der automatisierte Testfall abgeschlossen ist.

Fehlerbehebung bei automatisierten Ausführungen

Die automatisierte Ausführung konnte nicht gestartet werden, da das Paket in Orchestrator nicht gefunden wurde. Nur Testfälle aus Paketen, die in Orchestrator veröffentlicht wurden, können ausgeführt werden.

Lösung

Sie müssen das Studio-Paket im Orchestrator veröffentlichen. Dieses Problem tritt auf, wenn ein Testfall von Studio mit dem Test Manager verknüpft wird, das Paket jedoch noch nicht im Orchestrator veröffentlicht wurde.

Testfälle konnten nicht ausgeführt werden, da keine ausführbaren Versionen gefunden werden konnten. Nur Testfälle, die mit der neuesten Paketversion in Orchestrator veröffentlicht wurden, können ausgeführt werden.

Lösung

Dieses Problem tritt auf, wenn Testfälle in einem Testsatz nicht im neuesten Studio-Paket für den Orchestrator veröffentlicht werden. Sie erhalten möglicherweise den gleichen Fehler, wenn auf Orchestrator kein Prozess/Release für das Studio-Paket gefunden wurde.

Die automatisierte Ausführung konnte nicht gestartet werden, da in diesem Testsatz keine automatisierten Testfälle gefunden wurden.

Lösung

Sie benötigen mindestens einen automatisierten Testfall, um Automatisiert ausführen verwenden zu können. Weitere Informationen finden Sie unter Bedingungen.