Testergebnisse

Es ist sehr wichtig zu verstehen, wie Testergebnisse im Test Manager organisiert sind, um mit Dashboards und Berichten umgehen zu können.

Ein grundlegendes Konzept im Test Manager besteht darin, dass die Ergebnisse den Test so darstellen müssen, wie er bei der Ausführung entworfen wurde. Dies muss auch dann gelten, wenn ein Testfall nach seiner Ausführung aktualisiert oder sogar gelöscht wurde.

Das gleiche gilt für Testsätze. Ausführungsergebnisse müssen den gesamten Satz darstellen, auch wenn Falltests nach der ersten Ausführung aus dem Satz entfernt wurden.

Wenn Sie mit der Ausführung eines Testsatzes beginnen, durchläuft der Test Manager Folgendes:

1. Eine Testausführung wird im Abschnitt Testergebnisse vom Test Manager erstellt. Dieser dient als Container für die Testergebnisse.
2. Für jeden Testfall im ausgeführten Testsatz wird ein leeres Testfallprotokoll generiert. Dieses Protokoll ist an die Testausführung angehängt und enthält die zugehörigen Testergebnisse.
3. Während die Ausführung fortgesetzt wird, füllt der Test Manager jedes Testfallprotokoll mit den Ergebnissen und zugehörigen Protokollinformationen aus.

Hinweis: Jedes Mal, wenn eine Testausführung erstellt wird, werden Testfallprotokolle für alle zugehörigen Testfälle aus dem ursprünglichen Testsatz hinzugefügt. Das bedeutet, dass vorhandene Testausführungen konsistent bleiben, unabhängig von Aktualisierungen oder Löschungen, die am ursprünglichen Testsatz vorgenommen werden.

Das folgende Diagramm zeigt den Prozess der Ausführung eines Testsatzes im Test Manager.

Dies hat zur Folge, dass nach der Ausführung eines Testsatzes Änderungen am Testsatz oder an den zugehörigen Testfällen keine Auswirkungen auf die Ergebnisse früherer Ausführungen haben. Auch wenn ein Testsatz gelöscht wird, bleiben alle Testausführungen unverändert.

Um Testausführungen anzuzeigen, wählen Sie Testergebnisse in der Projektnavigation aus. Sie sehen eine Liste von Testausführungen, die jeweils die Ausführung eines Testsatzes darstellen.

Analysieren von Testergebnissen

Wenn Sie Testergebnisse in der Projektnavigation auswählen, können Sie Testergebnisse anzeigen. Dies ist Ihre Anlaufstelle für:

• Finden Ihrer Testergebnisse, auch wenn sie aus manuellen Ausführungen oder automatischen Ausführungen vom Orchestrator stammen
• Fortschritt bei ausgeführten Ausführungen anzeigen
• Analysieren von Details aus Ergebnissen wie Protokollen und Screenshots
• Erstellen von Fehlern in Ihrem Fehlermanagementsystem direkt aus dem Test Manager

Die Übersichtsliste

Die Übersicht zeigt alle verfügbaren Testausführungen an, sortiert nach dem Datum, an dem die Ausführung beendet wurde. Es zeigt auch Ausführungen an, die noch ausgeführt werden, abgebrochen wurden oder ausstehen. Laufende und ausstehende Ausführungen stehen immer ganz oben auf der Liste.

Die Ergebnisspalte zeigt die Ergebniszusammenfassung jeder Ausführung an. Darüber hinaus ist die Ergebnisspalte farbcodiert, damit Sie leicht herausfinden können, was bei einer bestimmten Testsatzausführung passiert ist:

• Grün – bestandene Testfälle;
• Rot – fehlgeschlagene Testfälle;
• Grey – Testfälle ohne endgültiges Ergebnis, wie z. B. solche, die noch nicht ausgeführt wurden, aber Teil eines Testsatzes sind, der gerade ausgeführt wird.

Ergebnisse von automatisierten Tests

Ergebnisse aus automatisierten Tests werden immer automatisch aus UiPath Orchestrator importiert. Damit ein bestimmtes Ergebnis aus einer Testfallausführung importiert wird, müssen die folgenden Anforderungen erfüllt sein:

• Die Orchestrator-Instanz muss dieser Test Manager-Instanz zugewiesen werden, wie hierbeschrieben.
• Der Testfall muss in dieser Test Manager-Instanz (in einem beliebigen Projekt) vorhanden sein, wie hierbeschrieben.

Ergebnisse aus automatisierten Tests werden in die Projekte importiert, in denen sich die entsprechenden Testfälle befinden.

Hinweis: Wenn eine Testausführung vom Orchestrator Ergebnisse für Testfälle aus mehreren Projekten in Test Manager enthält, wird die Testausführung in Test Manager aufgeteilt. Die Ergebnisse werden dann in den Projekten angezeigt, in denen sich die Testfälle befinden.

Drilling in Testausführungsergebnisse

Um detaillierte Ergebnisse einer Testausführung zu erhalten, klicken Sie auf deren Namen auf der Seite Testergebnisse . Dadurch wird die Detailansicht der Testausführung geöffnet.

Auf der Registerkarte Übersicht finden Sie einige grundlegende Informationen zur Ausführung, z. B. wann sie gestartet wurde, die Dauer und die kumulierten Ergebnisse.

Mit dem Berichtsdatum können Sie ein Datum auswählen, an dem die Ergebnisse dieser Testausführung zugewiesen werden. Dies ist beispielsweise nützlich, wenn es um Ergebnisse aus nächtlichen Ausführungen geht, bei denen einige Testfälle vor Mitternacht und andere nach Mitternacht ausgeführt werden. In diesem Fall erhalten Sie eine zufällige Aufteilung zwischen den Daten in Berichten. Mit dem Berichtsdatum können Sie alle Ergebnisse einem bestimmten Tag zuordnen, unabhängig davon, wann die Ausführung technisch stattgefunden hat.

Unten wird eine Liste aller fehlgeschlagenen Testfälle innerhalb dieser Testausführung zusammen mit zusätzlichen Informationen angezeigt.

Auf der Registerkarte Ergebnisse wird die Liste der Ergebnisse aller Testfälle innerhalb dieser Testausführung angezeigt.

Jedes Element in der Liste stellt die Ausführung eines Testfalls dar. Wenn Sie auf die Taste eines Testfalls klicken, wird zum Testfall navigiert. Wenn Sie auf die Ergebnisbezeichnung klicken, wird das Testfallprotokoll angezeigt, das alle Protokollinformationen zusammen mit Screenshots enthält, die während der Ausführung dieses bestimmten Testfalls gesammelt wurden.

Testfallprotokolle

Wenn Sie auf eine Ergebnisbezeichnung klicken, wird das Testfallprotokoll dieses bestimmten Ergebnisses geöffnet. Dieses Protokoll enthält alle Daten, die während der Ausführung gesammelt wurden. Es enthält eine detaillierte Beschreibung aller während der Ausführung ausgeführten Schritte sowie aufgetretener Ereignisse, z. B. Fehlermeldungen. Darüber hinaus befinden sich alle Screenshots, die während der Ausführung erstellt wurden, als Teil des Testfallprotokolls.

Auf der Registerkarte Screenshots können Sie alle Screenshots anzeigen, die während der Ausführung eines fehlgeschlagenen Testfalls erstellt wurden. Klicken Sie auf die Vorschau, um eine größere Ansicht eines Screenshots zu erhalten.

Hinweis: Bitte beachten Sie, dass die Registerkarte Screenshots nicht angezeigt wird, wenn während der Ausführung eines Testfalls keine Screenshots erstellt wurden.

Fehler aus Testergebnissen erstellen

Einer der Hauptzwecke von Tests besteht darin, eine detaillierte Beschreibung der Probleme zu erstellen, die während der Testausführung gefunden wurden. Die Qualität der Informationen über Fehler, die Entwicklern zur Verfügung gestellt werden, ist für einen schnelllebigen Entwicklungszyklus entscheidend. Bei entsprechender Konfigurationkönnen Sie detaillierte Fehlerberichte direkt vom Test Manager in Ihrem externen Fehlerverwaltungssystem erstellen.

Um einen Fehler in Ihrem Fehlermanagementsystem zu erstellen, öffnen Sie ein beliebiges Testfallprotokoll und wählen Sie Fehler erstellen aus dem Menü Aufgaben aus. Wenn der Fehler erstellt wurde, wird eine Meldung angezeigt. Darüber hinaus wird ein Link zum erstellten Fehler im Testfallprotokoll im Abschnitt Fehler angezeigt.

Der Fehler enthält alle Informationen aus dem Testfallprotokoll zusammen mit den Screenshots vom Orchestrator.