- Erste Schritte mit der Test Suite
- Studio
- Test Suite – Studio
- Überblick
- Testaktivitäten und APIs
- Orchestrator
- Testing Robots
- Test Manager
- Analyse der Auswirkungen von Änderungen
- Anforderungen
- Assigning test cases to requirements
- Linking test cases in Studio to Test Manager
- Unlink automation
- Delete test cases
- Dokumentieren von Testfällen mit Task Capture
- Erstellen von Testfällen
- Importing manual test cases
- Generate tests for requirements
- Klonen von Testfällen
- Exportieren von Testfällen
- Testfälle automatisieren
- Manuelle Testfälle
- Anwenden von Filtern und Ansichten
- Testsätze
- Ausführen von Tests
- Testergebnisse analysieren
- Synchronisierung von Defekten
- Generate test insights report
- Dokumente
- Berichte
- Daten exportieren
- Massenvorgänge
- Searching with Autopilot
- Fehlersuche und ‑behebung
Testergebnisse analysieren
To view test executions, open Execution in Test Manager. The execution of each test set is listed as a test execution entry. To understand how the test executions work behind the scenes, see Execution.
Durch die Analyse Ihrer Testausführung können Sie die folgenden Aktionen ausführen:
- Suchen Sie Testergebnisse, die manuell oder automatisch über den Orchestrator ausgeführt wurden.
- Überprüfen Sie den Fortschritt bei der Ausführung von Testausführungen.
- Öffnen Sie den ausgeführten Testsatz.
- Untersuchen Sie Protokolle und Anhänge.
- Create defects in your defect management system directly from Test Manager, if you have an Application Lifecycle Management tool integration. For more information, see ALM Tool Integration.
Standardmäßig werden die Testausführungen basierend auf dem Datum sortiert, an dem die Ausführung abgeschlossen wurde. Aktuell laufende und noch nicht abgeschlossene Vorgänge werden ganz oben angezeigt.
Anhand der Farbcodes, die jeder Testausführung zugewiesen sind, können Sie den Status wie folgt erkennen:
- Grün: Bestandene Testfälle.
- Rot: Fehlgeschlagene Testfälle.
- Grey: Testfälle ohne endgültiges Ergebnis, wie z. B. solche, die noch nicht ausgeführt wurden, aber Teil eines Testsatzes sind, der gerade ausgeführt wird.
The results from automated test executions are imported from Orchestrator automatically. To have your automated tests imported to Test Manager, you need to meet the following conditions:
- The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.
Note: If a Test Execution from Orchestrator holds results for test cases from several projects in Test Manager, the test execution is split in Test Manager. The results appear in the projects where the test cases are.
Das Überschreiben der Ergebnisse eines Testfalls kann in Szenarien helfen, in denen das aktuelle Testergebnis das tatsächliche Verhalten der Anwendung nicht genau widerspiegelt und eine erneute Ausführung keine effektive Lösung darstellt. Sie können die Testergebnisse eines Testfalls überschreiben und dann den Vorgang bei Bedarf löschen.
- Navigieren Sie zu Ausführung und öffnen Sie ein Testergebnis.
- Öffnen Sie auf der Registerkarte Ergebnisse ein Testfallprotokoll.
- Wählen Sie auf der Registerkarte Assertionen die Option Aufgaben > Ergebnis überschreiben aus.
- Konfigurieren Sie im Fenster Testergebnis überschreiben die folgenden Felder:
- Ergebnis ändern in – Auswählen, ob Sie das Ergebnis mit dem umgekehrten Status überschreiben möchten (Bestanden/Fehlgeschlagen) oder das Ergebnis auf Keines festlegen.
- Kommentar – Geben Sie den Grund ein, warum Sie das Ergebnis überschreiben.
- Wählen Sie Bestätigen aus.
Bei Testergebnissen, die Sie überschrieben haben, steht das folgende Symbol neben dem Testergebnisstatus:
. Wählen Sie das Symbol aus, um die Überschreibungsdetails anzeigen.
Abbildung 1. Die Meldung „Testergebnis erfolgreich überschrieben“.
- Wenn Sie den Überschreibungsvorgang löschen möchten, wählen Sie optional die Option
- Wählen Sie im Fenster Überschreibungsdetails die Option Überschreibung löschen aus.
Abbildung 2. Das Menü „Details überschreiben“.
- Wählen Sie im Fenster Überschreibungsdetails die Option Überschreibung löschen aus.
- Wenn Sie den Überschreibungsvorgang bearbeiten möchten, können Sie optional die
- Führen Sie die Änderungen aus und klicken Sie auf Bestätigen.
Um Ihre Testergebnisse schnell zu finden, verwenden Sie die Suchfunktion und die Filter. Navigieren Sie über die Seite durch Verwenden und Konfigurieren der Paginierung. Alternativ können Sie die Breadcrumbs verwenden, um zwischen den Seiten zu navigieren.
- Filter – Sie können die Filter verwenden, um Ihre Suche einzugrenzen. Sie können zum Beispiel nach folgenden Kriterien nach Testergebnissen suchen:
- Beschriftungen
- Ausführungstyp
- Ausführung abgeschlossen
- Status
Die Filter werden automatisch gespeichert und aktiv gehalten, bis Sie sie löschen.
- Suche – Verwenden Sie die Suchleiste, um Testergebnisse nach Schlüssel, Ausführungstyp oder Status zu suchen (erfordert vollständige Übereinstimmung des Suchbegriffs). Sie können die Suchleiste oben auf der Seite verwenden, um nach Testergebnissen zu suchen.
Um detaillierte Testergebnisse anzuzeigen, wechseln Sie zu Ausführung.
- Testsatz: Testergebnisse werden nach Testausführung (Testsatz) gruppiert.
- Testfall: Für die ausführungsübergreifende Analyse beim Filtern der Ergebnisse basierend auf Kriterien ohne Testausführungsattribute.
Sie können über die Testfallansicht auf das Ausführungsprotokoll eines Testfalls zugreifen, indem Sie den relevanten Ergebnis-Chip auswählen. Wenn die Nachbedingung eines Testfalls bei einer manuellen Ausführung nicht erfüllt wurde, zeigt das Testfallprotokoll eine Ausnahme mit einem Info -Symbol an. Die Ausnahmemeldung lautet: Ausnahme während der Ausführung. Details finden Sie in den Protokollen. Wenn Sie diese Nachricht auswählen, gelangen Sie zur Registerkarte Ausführungsdetails des entsprechenden Testfallprotokolls.
Mit dem Filter Meldedatum können Sie ein einheitliches Datum für alle Testergebnisse der Testausführung festlegen. Dies ist nützlich, wenn Sie Tests über Nacht ausführen, wo einige Testfälle vor und nach Mitternacht ausgeführt werden, um zu verhindern, dass die Ergebnisse auf separate Datumsangaben aufgeteilt werden.
Auf der Registerkarte Ergebnisse können Sie alle ausgeführten Testfälle innerhalb des Testsatzes untersuchen und bei Bedarf für jeden einzeln Maßnahmen ergreifen. Weitere Informationen finden Sie im Abschnitt Ausführungsprotokoll .
Sie können den ausgeführten Testsatz auch öffnen, indem Sie mit der rechten Maustaste auf einen Eintrag auf der Seite Testsätze klicken und Testsatz öffnenauswählen, oder direkt in der Testausführung.
Ausführungsprotokolle enthalten als Teil der Testberichterstattung Informationen wie Ausführungsdetails (z. B. Datenvariationen und Screenshots), fehlgeschlagene und bestandene Assertionen sowie ein detailliertes Protokoll der Ausführungsereignisse.
Um ein Testfallprotokoll zu öffnen, wechseln Sie zu Ausführungen, öffnen Sie eine Testausführung und wählen Sie dann einen Testfallschlüssel oder ein Ergebnis aus.
In der folgenden Tabelle können Sie den Informationstyp anzeigen, der während der Testfallausführung gesammelt wird.
|
Testausführungsberichte |
Beschreibung |
|---|---|
|
Assertionen | Zeigen Sie fehlgeschlagene oder bestandene Assertionen an (z. B. „Verify Expression“-Aktivität) sowie zugehörige Screenshots, sofern während der Ausführung des Testfalls welche gemacht wurden.
Um sicherzustellen, dass der Orchestrator während der Ausführung Screenshots erstellt, besuchen Sie die folgenden Ressourcen:
|
|
Protokolle | Zeigen Sie Protokolle auf INFO-Ebene als Teil von RobotLogsan, mit Informationen zu Prozessen, Ausführungsroboter und Ereignisprotokollen, einschließlich Fehlern.
Wählen Sie die |
|
Ausführungsdetails | Zeigen Sie Details zu den Argumenten wie Eingabe- und Ausgabewerte sowie Ausführungs- und Roboterdetails an (z. B. Projekt, Maschine, Roboter). In diesem Abschnitt wird auch angegeben, ob die Nachbedingung vom Testfall erfüllt wurde oder nicht. |
|
Betroffene Anforderungen | Zeigen Sie die Anforderungen an, die dem ausgeführten Testfall zugewiesen sind. Mit dieser Registerkarte können Sie direkt zur betroffenen Anforderung wechseln. |
| Anhänge (Attachments) | Sie können Folgendes anzeigen:
|
Symbol, um zur Registerkarte Protokolle des ausgewählten Testfalls zu wechseln, um eine detaillierte Beschreibung des Fehlers zu erhalten.
- So laden Sie Protokolle für alle Ihre Testausführungen herunter: Wählen Sie unter Ausführung die Option In Excel exportieren aus.
- So laden Sie Testfallprotokolle für eine bestimmte Testausführung herunter: Wählen Sie unter Ausführung eine Testausführung und dann In Excel exportieren aus.
Unter Daten exportieren finden Sie weitere Informationen zum Exportieren von Protokollen in Excel-Dateien.
Die Registerkarte Ausführungsdetails eines Testfallprotokolls bietet Informationen zu den Vor- und Nachbedingungen eines Testfalls.
Wenn die Nachbedingung während der Testausführung nicht erfüllt wurde, zeigt die Registerkarte die Warnung Bedingung nicht erfüllt an, die Sie untersuchen können.
Prerequisites: Enable activity coverage for the desired test sets either in Orchestrator or Test Manager.
- Öffnen Sie den Testsatz, wählen Sie Weitere Optionen . aus
und dann Automatisiert ausführen.
- Wechseln Sie zu Ausführung und öffnen Sie den ausgeführten Testsatz.
- Gehen Sie zur Registerkarte Aktivitätsabdeckung und überprüfen Sie die Informationen zu den Aktivitäten, die während der Testausführung abgedeckt wurden.
Abbildung 5. Übersicht über die Abdeckung einer Beispielaktivität
You can create defect reports including the execution log to your external defect management system, if you already have it integrated with Test Manager. For more information, see ALM Tool Integration.
Um einen Defekt aus einem Ausführungsprotokoll zu erstellen, müssen Sie ein Testfallprotokoll öffnen, auf Aufgaben klicken und dann Defekt erstellen auswählen. Nachdem der Defekt erstellt wurde, ist im Ausführungsprotokoll ein Link verfügbar, mit dem Sie auf das integrierte externe Tool zugreifen können.
