test-suite

latest

false

Test Suite-Benutzerhandbuch

BEREITSTELLUNG:

Automation Cloud Automation Cloud Public Sector Automation Suite Standalone

Last updated 15. Nov. 2024

Testergebnisse analysieren

To view test executions, open Execution in Test Manager. The execution of each test set is listed as a test execution entry. To understand how the test executions work behind the scenes, see Execution.

Durch die Analyse Ihrer Testausführung können Sie die folgenden Aktionen ausführen:

Suchen Sie Testergebnisse, die manuell oder automatisch über den Orchestrator ausgeführt wurden.
Überprüfen Sie den Fortschritt bei der Ausführung von Testausführungen.
Öffnen Sie den ausgeführten Testsatz.
Untersuchen Sie Protokolle und Anhänge.
Create defects in your defect management system directly from Test Manager, if you have an Application Lifecycle Management tool integration. For more information, see ALM Tool Integration.

Standardmäßig werden die Testausführungen basierend auf dem Datum sortiert, an dem die Ausführung abgeschlossen wurde. Aktuell laufende und noch nicht abgeschlossene Vorgänge werden ganz oben angezeigt.

Anhand der Farbcodes, die jeder Testausführung zugewiesen sind, können Sie den Status wie folgt erkennen:

Grün: Bestandene Testfälle.
Rot: Fehlgeschlagene Testfälle.
Grey: Testfälle ohne endgültiges Ergebnis, wie z. B. solche, die noch nicht ausgeführt wurden, aber Teil eines Testsatzes sind, der gerade ausgeführt wird.

Ergebnisse von automatisierten Tests

The results from automated test executions are imported from Orchestrator automatically. To have your automated tests imported to Test Manager, you need to meet the following conditions:

The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.
Note: If a Test Execution from Orchestrator holds results for test cases from several projects in Test Manager, the test execution is split in Test Manager. The results appear in the projects where the test cases are.

Überschreiben von Testergebnissen

Das Überschreiben der Ergebnisse eines Testfalls kann in Szenarien helfen, in denen das aktuelle Testergebnis das tatsächliche Verhalten der Anwendung nicht genau widerspiegelt und eine erneute Ausführung keine effektive Lösung darstellt. Sie können die Testergebnisse eines Testfalls überschreiben und dann den Vorgang bei Bedarf löschen.

Navigieren Sie zu Ausführung und öffnen Sie ein Testergebnis.
Öffnen Sie auf der Registerkarte Ergebnisse ein Testfallprotokoll.
Wählen Sie auf der Registerkarte Assertionen die Option Aufgaben > Ergebnis überschreiben aus.
Konfigurieren Sie im Fenster Testergebnis überschreiben die folgenden Felder:
1. Ergebnis ändern in – Auswählen, ob Sie das Ergebnis mit dem umgekehrten Status überschreiben möchten (Bestanden/Fehlgeschlagen) oder das Ergebnis auf Keines festlegen.
2. Kommentar – Geben Sie den Grund ein, warum Sie das Ergebnis überschreiben.
Wählen Sie Bestätigen aus.
Bei Testergebnissen, die Sie überschrieben haben, steht das folgende Symbol neben dem Testergebnisstatus: . Wählen Sie das Symbol aus, um die Überschreibungsdetails anzeigen.

Abbildung 1. Die Meldung „Testergebnis erfolgreich überschrieben“.
Wenn Sie den Überschreibungsvorgang löschen möchten, wählen Sie optional die Option neben dem Ergebnisstatus eines Testfallprotokolls.
1. Wählen Sie im Fenster Überschreibungsdetails die Option Überschreibung löschen aus.
  Abbildung 2. Das Menü „Details überschreiben“.
Wenn Sie den Überschreibungsvorgang bearbeiten möchten, können Sie optional die neben dem Ergebnisstatus eines Testfallprotokolls auswählen.
1. Führen Sie die Änderungen aus und klicken Sie auf Bestätigen.

Navigation & Suche

Um Ihre Testergebnisse schnell zu finden, verwenden Sie die Suchfunktion und die Filter. Navigieren Sie über die Seite durch Verwenden und Konfigurieren der Paginierung. Alternativ können Sie die Breadcrumbs verwenden, um zwischen den Seiten zu navigieren.

Filter – Sie können die Filter verwenden, um Ihre Suche einzugrenzen. Sie können zum Beispiel nach folgenden Kriterien nach Testergebnissen suchen:
1. Beschriftungen
2. Ausführungstyp
3. Ausführung abgeschlossen
4. Status
Die Filter werden automatisch gespeichert und aktiv gehalten, bis Sie sie löschen.
Suche – Verwenden Sie die Suchleiste, um Testergebnisse nach Schlüssel, Ausführungstyp oder Status zu suchen (erfordert vollständige Übereinstimmung des Suchbegriffs). Sie können die Suchleiste oben auf der Seite verwenden, um nach Testergebnissen zu suchen.

Arbeiten mit Testausführungsergebnissen

Um detaillierte Testergebnisse anzuzeigen, wechseln Sie zu Ausführung.

Wählen Sie auf der Registerkarte Ergebnisse die Option Anzeigen nach und dann Ihre bevorzugte Ansicht für Testergebnisse aus. Sie können eine der folgenden Ansichten auswählen:

Testsatz: Testergebnisse werden nach Testausführung (Testsatz) gruppiert.
Testfall: Für die ausführungsübergreifende Analyse beim Filtern der Ergebnisse basierend auf Kriterien ohne Testausführungsattribute.

Wählen Sie einen Eintrag aus, um die detaillierte Ansicht zu öffnen. Eine typische Detailansicht einer Testausführung zeigt Informationen über den Beginn der Ausführung, die Dauer und Ausführungsprotokolle.

Sie können über die Testfallansicht auf das Ausführungsprotokoll eines Testfalls zugreifen, indem Sie den relevanten Ergebnis-Chip auswählen. Wenn die Nachbedingung eines Testfalls bei einer manuellen Ausführung nicht erfüllt wurde, zeigt das Testfallprotokoll eine Ausnahme mit einem Info -Symbol an. Die Ausnahmemeldung lautet: Ausnahme während der Ausführung. Details finden Sie in den Protokollen. Wenn Sie diese Nachricht auswählen, gelangen Sie zur Registerkarte Ausführungsdetails des entsprechenden Testfallprotokolls.

Mit dem Filter Meldedatum können Sie ein einheitliches Datum für alle Testergebnisse der Testausführung festlegen. Dies ist nützlich, wenn Sie Tests über Nacht ausführen, wo einige Testfälle vor und nach Mitternacht ausgeführt werden, um zu verhindern, dass die Ergebnisse auf separate Datumsangaben aufgeteilt werden.

Auf der Registerkarte Ergebnisse können Sie alle ausgeführten Testfälle innerhalb des Testsatzes untersuchen und bei Bedarf für jeden einzeln Maßnahmen ergreifen. Weitere Informationen finden Sie im Abschnitt Ausführungsprotokoll .

Sie können den ausgeführten Testsatz auch öffnen, indem Sie mit der rechten Maustaste auf einen Eintrag auf der Seite Testsätze klicken und Testsatz öffnenauswählen, oder direkt in der Testausführung.

Ausführungsprotokoll

Ausführungsprotokolle enthalten als Teil der Testberichterstattung Informationen wie Ausführungsdetails (z. B. Datenvariationen und Screenshots), fehlgeschlagene und bestandene Assertionen sowie ein detailliertes Protokoll der Ausführungsereignisse.

Um ein Testfallprotokoll zu öffnen, wechseln Sie zu Ausführungen, öffnen Sie eine Testausführung und wählen Sie dann einen Testfallschlüssel oder ein Ergebnis aus.

Abbildung 3. Übersicht über die Ausführungsdetails eines Testfallprotokolls

In der folgenden Tabelle können Sie den Informationstyp anzeigen, der während der Testfallausführung gesammelt wird.

Testausführungsberichte	Beschreibung
Assertionen	Zeigen Sie fehlgeschlagene oder bestandene Assertionen an (z. B. „Verify Expression“-Aktivität) sowie zugehörige Screenshots, sofern während der Ausführung des Testfalls welche gemacht wurden. Um sicherzustellen, dass der Orchestrator während der Ausführung Screenshots erstellt, besuchen Sie die folgenden Ressourcen: Standardrollen im Orchestrator – Um zu überprüfen, ob den Standardrollen die Berechtigung für Artefakte der Testfallausführung zugewiesen ist. Falls die Standardrollen nicht über diese Berechtigung verfügen, können Sie eine benutzerdefinierte Rolle mit dieser Berechtigung erstellen. Verwalten von Rollen im Orchestrator – Erfahren Sie, wie Sie eine Rolle im Orchestrator erstellen, bearbeiten oder importieren.
Protokolle	Zeigen Sie Protokolle auf INFO-Ebene als Teil von `RobotLogs`an, mit Informationen zu Prozessen, Ausführungsroboter und Ereignisprotokollen, einschließlich Fehlern. Wählen Sie die Symbol, um zur Registerkarte Protokolle des ausgewählten Testfalls zu wechseln, um eine detaillierte Beschreibung des Fehlers zu erhalten.
Ausführungsdetails	Zeigen Sie Details zu den Argumenten wie Eingabe- und Ausgabewerte sowie Ausführungs- und Roboterdetails an (z. B. Projekt, Maschine, Roboter). In diesem Abschnitt wird auch angegeben, ob die Nachbedingung vom Testfall erfüllt wurde oder nicht.
Betroffene Anforderungen	Zeigen Sie die Anforderungen an, die dem ausgeführten Testfall zugewiesen sind. Mit dieser Registerkarte können Sie direkt zur betroffenen Anforderung wechseln.
Anhänge (Attachments)	Sie können Folgendes anzeigen: Anhänge, die mit der Aktivität Attach Document hochgeladen wurden. Anhänge eines Testfallergebnisses, das vom Orchestrator her verlinkt ist.

Herunterladen von Ausführungsprotokollen

So laden Sie Protokolle für alle Ihre Testausführungen herunter: Wählen Sie unter Ausführung die Option In Excel exportieren aus.
So laden Sie Testfallprotokolle für eine bestimmte Testausführung herunter: Wählen Sie unter Ausführung eine Testausführung und dann In Excel exportieren aus.

Unter Daten exportieren finden Sie weitere Informationen zum Exportieren von Protokollen in Excel-Dateien.

Ausführungsdetails

Die Registerkarte Ausführungsdetails eines Testfallprotokolls bietet Informationen zu den Vor- und Nachbedingungen eines Testfalls.

Wenn die Nachbedingung während der Testausführung nicht erfüllt wurde, zeigt die Registerkarte die Warnung Bedingung nicht erfüllt an, die Sie untersuchen können.

Abbildung 4. Die Warnung Bedingung nicht erfüllt

Aktivitätsabdeckung anzeigen

Hinweis: Die Aktivitätsabdeckung ist nur für automatisierte Testausführungen verfügbar.

Prerequisites: Enable activity coverage for the desired test sets either in Orchestrator or Test Manager.

Öffnen Sie den Testsatz, wählen Sie Weitere Optionen . aus und dann Automatisiert ausführen.
Wechseln Sie zu Ausführung und öffnen Sie den ausgeführten Testsatz.
Gehen Sie zur Registerkarte Aktivitätsabdeckung und überprüfen Sie die Informationen zu den Aktivitäten, die während der Testausführung abgedeckt wurden.
Abbildung 5. Übersicht über die Abdeckung einer Beispielaktivität

Fehler aus Testergebnissen erstellen

You can create defect reports including the execution log to your external defect management system, if you already have it integrated with Test Manager. For more information, see ALM Tool Integration.

Um einen Defekt aus einem Ausführungsprotokoll zu erstellen, müssen Sie ein Testfallprotokoll öffnen, auf Aufgaben klicken und dann Defekt erstellen auswählen. Nachdem der Defekt erstellt wurde, ist im Ausführungsprotokoll ein Link verfügbar, mit dem Sie auf das integrierte externe Tool zugreifen können.