Testergebnisse

Wenn Sie mit der Ausführung eines Testsatzes beginnen, durchläuft der Test Manager Folgendes:

1. Eine Testausführung wird im Abschnitt Testergebnisse vom Test Manager erstellt. Dieser dient als Container für die Testergebnisse.
2. Für jeden Testfall im ausgeführten Testsatz wird ein leeres Testfallprotokoll generiert. Dieses Protokoll ist an die Testausführung angehängt und enthält die zugehörigen Testergebnisse.
3. Während die Ausführung fortgesetzt wird, füllt der Test Manager jedes Testfallprotokoll mit den Ergebnissen und zugehörigen Protokollinformationen aus.

Hinweis:

Jedes Mal, wenn eine Testausführung erstellt wird, werden Testfallprotokolle für alle zugehörigen Testfälle aus dem ursprünglichen Testsatz hinzugefügt. Das bedeutet, dass vorhandene Testausführungen konsistent bleiben, unabhängig von Aktualisierungen oder Löschungen, die am ursprünglichen Testsatz vorgenommen werden.

Das folgende Diagramm zeigt den Prozess der Ausführung eines Testsatzes im Test Manager.

Dies hat zur Folge, dass nach der Ausführung eines Testsatzes Änderungen am Testsatz oder an den zugehörigen Testfällen keine Auswirkungen auf die Ergebnisse früherer Ausführungen haben. Auch wenn ein Testsatz gelöscht wird, bleiben alle Testausführungen unverändert.

Wer kann Projekte sehen?

Alle Benutzerrollen können Testergebnisse sehen.

For more information see User and Group Access Management.

Testergebnisse analysieren

To view test executions, open Test Results in Test Manager. The execution of each test is listed as a test execution entry. To understand how the test executions work behind the scenes, see Test Results.

Durch die Analyse Ihrer Testausführung können Sie die folgenden Aktionen ausführen:

• Suchen Sie Testergebnisse, die manuell oder automatisch über den Orchestrator ausgeführt wurden.
• Überprüfen Sie den Fortschritt bei der Ausführung von Testausführungen.
• Öffnen Sie den ausgeführten Testsatz.
• Untersuchen Sie Protokolle und Anhänge.
• Create defects in your defect management system directly from Test Manager, if you have an Application Lifecycle Management tool integration. For more information, see ALM Tool Integration.

Standardmäßig werden die Testausführungen basierend auf dem Datum sortiert, an dem die Ausführung abgeschlossen wurde. Aktuell laufende und noch nicht abgeschlossene Vorgänge werden ganz oben angezeigt.

Anhand der Farbcodes, die jeder Testausführung zugewiesen sind, können Sie den Status wie folgt erkennen:

• Grün: Bestandene Testfälle.
• Rot: Fehlgeschlagene Testfälle.
• Grey: Testfälle ohne endgültiges Ergebnis, wie z. B. solche, die noch nicht ausgeführt wurden, aber Teil eines Testsatzes sind, der gerade ausgeführt wird.

Ergebnisse von automatisierten Tests

The results from automated test executions are imported from Orchestrator automatically. To have your automated tests imported to Test Manager, you need to meet the following condition: The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.

Hinweis:

Enthält eine Testausführung im Orchestrator Ergebnisse für Testfälle aus mehreren Projekten im Test Manager, so wird die Testausführung im Test Manager aufgeteilt. Die Ergebnisse werden in den Projekten angezeigt, in denen sich die Testfälle befinden.

Navigation & Suche

Um Ihre Testergebnisse schnell zu finden, verwenden Sie die Suchfunktion und die Filter. Navigieren Sie über die Seite durch Verwenden und Konfigurieren der Paginierung. Alternativ können Sie die Breadcrumbs verwenden, um zwischen den Seiten zu navigieren.

1. Filter - You can use the filter to narrow your search. For example, you can search for test results by execution type, when the execution was finished or by status. The filters are automatically saved and kept active until you clear them.
2. Search - Use the search bar to find test results by their key, execution type or status (requires full search term match). You can use the search bar at the top of the page to look for test results.

Arbeiten mit Testausführungsergebnissen

To get detailed results from a test execution, go to Test Results and click an entry to open the detailed view. A typical test execution detailed view shows information on when the executions started, duration, and execution logs.

Mit dem Filter Meldedatum können Sie ein einziges Datum für alle Ergebnisse der Testausführung festlegen. Dies ist nützlich, wenn Sie Tests über Nacht ausführen, wo einige Testfälle vor und nach Mitternacht ausgeführt werden. Andernfalls werden die Ergebnisse in den Berichten auf verschiedene Daten verteilt.

In the Results section you can examine all the test cases that were executed within the test set. You can take actions for each test case. For more info, see Execution log.

You can also open the executed test set by right-clicking an entry in the Test Sets page and selecting Open Test Set, or directly within the test execution.

Ausführungsprotokoll

Ausführungsprotokolle enthalten als Teil der Testberichterstattung Informationen wie Ausführungsdetails (z. B. Datenvariationen und Screenshots), fehlgeschlagene und bestandene Assertionen sowie ein detailliertes Protokoll der Ausführungsereignisse.

Um ein Testfallprotokoll zu öffnen, wechseln Sie zu Testergebnisse, öffnen Sie eine Testausführung und klicken Sie dann auf einen Testfallschlüssel.

In der folgenden Tabelle können Sie den Informationstyp anzeigen, der während der Testfallausführung gesammelt wird.

Testausführungsberichte	Beschreibung
Assertionen	View failed or passed assertions (e.g.,Verify expression activity), and associated screenshots if any were taken during test case execution. Um sicherzustellen, dass der Orchestrator während der Ausführung Screenshots erstellt, besuchen Sie die folgenden Ressourcen: Default roles in Orchestrator - to check if the default roles have the Test Case Execution Artifacts permission assigned. In case the default roles don't have this permission, then you can create a custom role with this permission. Managing roles in Orchestrator - to learn how to create, edit, or import a role in Orchestrator.
Protokolle	Zeigen Sie Protokolle der INFO-Ebene als Teil der RobotLogs mit Informationen über Prozesse, Ausführungsroboter und Ereignisprotokolle an.
Ausführungsdetails	Zeigen Sie Details zu den Argumenten wie Eingabe- und Ausgabewerte sowie Ausführungs- und Roboterdetails an (z. B. Projekt, Maschine, Roboter).
Betroffene Anforderungen	Zeigen Sie die Anforderungen an, die dem ausgeführten Testfall zugewiesen sind. Mit dieser Registerkarte können Sie direkt zur betroffenen Anforderung wechseln.

Fehler aus Testergebnissen erstellen

You can create defect reports including the execution log to your external defect management system, if you already have it integrated with Test Manager. For more information, see ALM Tool Integration.

To create a defect out of an execution log, you need to open a test case log, click Tasks, and then select Create Defect. After the defect has been created, a link is available in the execution log, so you can access the integrated external tool.

Ähnliche Artikel

• Massenvorgänge
• Daten exportieren

Synchronisierung von Defekten

You can synchronize execution results with external tools, as part of the Application Lifecycle Management tool integration. Information that is gathered during execution, such as results, logs, timestamps, and other details is synchronized with the tool that you have integrated with Test Manager.

Bitte beachten Sie, dass derzeit pro Projekt insgesamt nur eine Verbindung für die Defektsynchronisation aktiviert sein kann.

Hinweis:

• To synchronize defects, you need to configure a connector in Test Manager. See available connections in Test Manager.
• You need to have executed a test set first.

Wer kann Fehler synchronisieren?

Alle Benutzerrollen außer schreibgeschützt können Fehler synchronisieren.

For more information see User and Group Access Management.

Defekt erstellen

Sie können Defekte erstellen, wenn Sie auf die Testfallprotokolle auf der Seite Testergebnisse zugreifen.

1. Zu den Testergebnissen navigieren

2. Öffnen Sie ein Testergebnis und klicken Sie auf den Testfallschlüssel, um die Protokolle zu öffnen.

3. Klicken Sie auf Aufgaben und wählen Sie Defekt erstellen aus.

   

Der Defekt wird erstellt und mit Ihrem externen Tool synchronisiert. Sie können den Defekt direkt im Tool öffnen (z. B. Atlassian Jira), indem Sie zum Ergebnis der Testausführung navigieren, das einen synchronisierten Defekt hat.

Verknüpfung mit Defekt aufheben

Wenn Sie die Verknüpfung von Fehlern mit einem externen Tool aufheben, bleibt der im Tool erstellte Eintrag unverändert. Im Test Manager wird das Ergebnis der Testausführung nicht mit einem externen Tool verknüpft.

1. Zu den Testergebnissen navigieren
2. Öffnen Sie ein Testergebnis und klicken Sie dann auf Aufgaben.
3. Wählen Sie Verknüpfung mit Defekt aufheben aus.