test-manager

2024.10

true

Test Manager-Benutzerhandbuch

BEREITSTELLUNG:

Letzte Aktualisierung 25. Aug. 2025

Testergebnisse analysieren

To view test executions, open Test Results in Test Manager. The execution of each test set is listed as a test execution entry. To understand how the test executions work behind the scenes, see Test Results.

Durch die Analyse Ihrer Testausführung können Sie die folgenden Aktionen ausführen:

Suchen Sie Testergebnisse, die manuell oder automatisch über den Orchestrator ausgeführt wurden.
Überprüfen Sie den Fortschritt bei der Ausführung von Testausführungen.
Öffnen Sie den ausgeführten Testsatz.
Untersuchen Sie Protokolle und Anhänge.
Erstellen Sie Fehler in Ihrem Fehlerverwaltungssystem direkt über Test Manager, wenn Sie ein Application Lifecycle Management-Tool integriert haben. Weitere Informationen finden Sie unter ALM Tool-Integration.

Standardmäßig werden die Testausführungen basierend auf dem Datum sortiert, an dem die Ausführung abgeschlossen wurde. Aktuell laufende und noch nicht abgeschlossene Vorgänge werden ganz oben angezeigt.

Anhand der Farbcodes, die jeder Testausführung zugewiesen sind, können Sie den Status wie folgt erkennen:

Grün: Bestandene Testfälle.
Rot: Fehlgeschlagene Testfälle.
Grey: Testfälle ohne endgültiges Ergebnis, wie z. B. solche, die noch nicht ausgeführt wurden, aber Teil eines Testsatzes sind, der gerade ausgeführt wird.

Ergebnisse von automatisierten Tests

The results from automated test executions are imported from Orchestrator automatically. To have your automated tests imported to Test Manager, you need to meet the following condition: The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.

Hinweis: Wenn eine Testausführung vom Orchestrator Ergebnisse für Testfälle aus mehreren Projekten in Test Manager enthält, wird die Testausführung in Test Manager aufgeteilt. Die Ergebnisse werden in den Projekten angezeigt, in denen sich die Testfälle befinden.

Überschreiben von Testergebnissen

Das Überschreiben der Ergebnisse eines Testfalls kann in Szenarien helfen, in denen das aktuelle Testergebnis das tatsächliche Verhalten der Anwendung nicht genau widerspiegelt und eine erneute Ausführung keine effektive Lösung darstellt. Sie können die Testergebnisse eines Testfalls überschreiben und dann den Vorgang bei Bedarf löschen.

Navigieren Sie zu Testergebnisse und öffnen Sie ein Testergebnis.
Öffnen Sie auf der Registerkarte Ergebnisse ein Testfallprotokoll.
Wählen Sie auf der Registerkarte Assertionen die Option Aufgaben > Ergebnis überschreiben aus.
Konfigurieren Sie im Fenster Testergebnis überschreiben die folgenden Felder:
1. Ergebnis ändern in – Auswählen, ob Sie das Ergebnis mit dem umgekehrten Status überschreiben möchten (Bestanden/Fehlgeschlagen) oder das Ergebnis auf Keines festlegen.
2. Kommentar – Geben Sie den Grund ein, warum Sie das Ergebnis überschreiben.
Wählen Sie Bestätigen aus.
Bei Testergebnissen, die Sie überschrieben haben, steht das folgende Symbol neben dem Testergebnisstatus: . Wählen Sie das Symbol aus, um die Überschreibungsdetails anzeigen.
Wenn Sie den Überschreibungsvorgang löschen möchten, wählen Sie optional die Option neben dem Ergebnisstatus eines Testfallprotokolls.
1. Wählen Sie im Fenster Überschreibungsdetails die Option Überschreibung löschen aus.
Wenn Sie den Überschreibungsvorgang bearbeiten möchten, können Sie optional die neben dem Ergebnisstatus eines Testfallprotokolls auswählen.
1. Führen Sie die Änderungen aus und klicken Sie auf Bestätigen.

Navigation & Suche

Um Ihre Testergebnisse schnell zu finden, verwenden Sie die Suchfunktion und die Filter. Navigieren Sie über die Seite durch Verwenden und Konfigurieren der Paginierung. Alternativ können Sie die Breadcrumbs verwenden, um zwischen den Seiten zu navigieren.

Filter – Sie können den Filter verwenden, um Ihre Suche einzugrenzen. Sie können beispielsweise nach Testergebnissen nach Ausführungstyp, Zeitpunkt der Ausführung oder Status suchen. Die Filter werden automatisch gespeichert und aktiv gehalten, bis Sie sie löschen.
Suche – Verwenden Sie die Suchleiste, um Testergebnisse nach Schlüssel, Ausführungstyp oder Status zu suchen (erfordert vollständige Übereinstimmung des Suchbegriffs). Sie können die Suchleiste oben auf der Seite verwenden, um nach Testergebnissen zu suchen.

Arbeiten mit Testausführungsergebnissen

Um detaillierte Ergebnisse aus einer Testausführung abzurufen, wechseln Sie zu Testergebnisse und klicken Sie auf einen Eintrag, um die detaillierte Ansicht zu öffnen. Eine typische Detailansicht einer Testausführung zeigt Informationen über den Beginn der Ausführung, die Dauer und Ausführungsprotokolle.

Mit dem Filter Meldedatum können Sie ein einziges Datum für alle Ergebnisse der Testausführung festlegen. Dies ist nützlich, wenn Sie Tests über Nacht ausführen, wo einige Testfälle vor und nach Mitternacht ausgeführt werden. Andernfalls werden die Ergebnisse in den Berichten auf verschiedene Daten verteilt.

Im Abschnitt „Ergebnisse“ können Sie alle Testfälle untersuchen, die innerhalb des Testsatzes ausgeführt wurden. Sie können für jeden Testfall Aktionen ausführen. Weitere Informationen finden Sie im Ausführungsprotokoll.

Sie können den ausgeführten Testsatz auch öffnen, indem Sie mit der rechten Maustaste auf einen Eintrag auf der Seite Testsätze klicken und Testsatz öffnenauswählen, oder direkt in der Testausführung.

Ausführungsprotokoll

Ausführungsprotokolle enthalten als Teil der Testberichterstattung Informationen wie Ausführungsdetails (z. B. Datenvariationen und Screenshots), fehlgeschlagene und bestandene Assertionen sowie ein detailliertes Protokoll der Ausführungsereignisse.

Um ein Testfallprotokoll zu öffnen, wechseln Sie zu Testergebnisse, öffnen Sie eine Testausführung und klicken Sie dann auf einen Testfallschlüssel.

In der folgenden Tabelle können Sie den Informationstyp anzeigen, der während der Testfallausführung gesammelt wird.

Testausführungsberichte	Beschreibung
Assertionen	Zeigen Sie fehlgeschlagene oder bestandene Assertionen an (z. B. „Verify Expression“-Aktivität) sowie zugehörige Screenshots, sofern während der Ausführung des Testfalls welche gemacht wurden. Um sicherzustellen, dass der Orchestrator während der Ausführung Screenshots erstellt, besuchen Sie die folgenden Ressourcen: Standardrollen im Orchestrator – Um zu überprüfen, ob den Standardrollen die Berechtigung für Artefakte der Testfallausführung zugewiesen ist. Falls die Standardrollen nicht über diese Berechtigung verfügen, können Sie eine benutzerdefinierte Rolle mit dieser Berechtigung erstellen. Verwalten von Rollen im Orchestrator – Erfahren Sie, wie Sie eine Rolle im Orchestrator erstellen, bearbeiten oder importieren.
Protokolle	Zeigen Sie Protokolle auf INFO-Ebene als Teil von `RobotLogs`an, mit Informationen zu Prozessen, Ausführungsroboter und Ereignisprotokollen, einschließlich Fehlern. Wählen Sie die Symbol, um zur Registerkarte Protokolle des ausgewählten Testfalls zu wechseln, um eine detaillierte Beschreibung des Fehlers zu erhalten.
Ausführungsdetails	Zeigen Sie Details zu den Argumenten wie Eingabe- und Ausgabewerte sowie Ausführungs- und Roboterdetails an (z. B. Projekt, Maschine, Roboter).
Betroffene Anforderungen	Zeigen Sie die Anforderungen an, die dem ausgeführten Testfall zugewiesen sind. Mit dieser Registerkarte können Sie direkt zur betroffenen Anforderung wechseln.
Anhänge (Attachments)	Ansicht: die mit der Aktivität „Attach Document“ hochgeladenen Anhänge. die Anhänge eines Testfallergebnisses, das über den Orchestrator verknüpft ist.

Aktivitätsabdeckung anzeigen

Hinweis: Die Aktivitätsabdeckung ist nur für automatisierte Testausführungen verfügbar.

Voraussetzungen: Aktivieren Sie die Aktivitätsabdeckung für die gewünschten Testsätze entweder im Orchestrator oder im Test Manager.

Öffnen Sie den Testsatz, wählen Sie Weitere Optionen . aus und dann Automatisiert ausführen.
Wechseln Sie zu Testergebnisse und öffnen Sie den ausgeführten Testsatz.
Gehen Sie zur Registerkarte Aktivitätsabdeckung und überprüfen Sie die Informationen zu den Aktivitäten, die während der Testausführung abgedeckt wurden.

Fehler aus Testergebnissen erstellen

Sie können Fehlerberichte inklusive des Ausführungsprotokolls für Ihr externes Fehlerverwaltungssystem erstellen, wenn Sie es bereits in Test Manager integriert haben. Weitere Informationen finden Sie unter ALM Tool-Integration.

Um einen Fehler aus einem Ausführungsprotokoll zu erstellen, müssen Sie ein Testfallprotokoll öffnen, auf Aufgabenklicken und dann Fehler erstellenauswählen. Nachdem der Fehler erstellt wurde, ist im Ausführungsprotokoll ein Link verfügbar, über den Sie auf das integrierte externe Tool zugreifen können.

Ergebnisse von automatisierten Tests

Die Ergebnisse der automatisierten Testausführungen werden automatisch aus dem Orchestrator importiert. Damit Ihre automatisierten Tests in den Test Manager importiert werden können, müssen Sie die folgenden Bedingungen erfüllen:

.
The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.
Hinweis: Wenn eine Testausführung vom Orchestrator Ergebnisse für Testfälle aus mehreren Projekten im Test Manager enthält, wird die Testausführung im Test Manager aufgeteilt. Die Ergebnisse werden in den Projekten angezeigt, in denen sich die Testfälle befinden.

Überschreiben von Testergebnissen

Navigieren Sie zu Ausführung und öffnen Sie ein Testergebnis.
Öffnen Sie auf der Registerkarte Ergebnisse ein Testfallprotokoll.
Wählen Sie auf der Registerkarte Assertionen die Option Aufgaben > Ergebnis überschreiben aus.
Konfigurieren Sie im Fenster Testergebnis überschreiben die folgenden Felder:
1. Ergebnis ändern in – Auswählen, ob Sie das Ergebnis mit dem umgekehrten Status überschreiben möchten (Bestanden/Fehlgeschlagen) oder das Ergebnis auf Keines festlegen.
2. Kommentar – Geben Sie den Grund ein, warum Sie das Ergebnis überschreiben.
Wählen Sie Bestätigen aus.
Bei Testergebnissen, die Sie überschrieben haben, steht das folgende Symbol neben dem Testergebnisstatus: . Wählen Sie das Symbol aus, um die Überschreibungsdetails anzeigen.

Abbildung 1. Die Meldung „Testergebnis erfolgreich überschrieben“.
Wenn Sie den Überschreibungsvorgang löschen möchten, wählen Sie optional die Option neben dem Ergebnisstatus eines Testfallprotokolls.
1. Wählen Sie im Fenster Überschreibungsdetails die Option Überschreibung löschen aus.
  Abbildung 2. Das Menü „Details überschreiben“.
Wenn Sie den Überschreibungsvorgang bearbeiten möchten, können Sie optional die neben dem Ergebnisstatus eines Testfallprotokolls auswählen.
1. Führen Sie die Änderungen aus und klicken Sie auf Bestätigen.

Navigation & Suche

Filter – Sie können die Filter verwenden, um Ihre Suche einzugrenzen. Sie können zum Beispiel nach folgenden Kriterien nach Testergebnissen suchen:
1. Beschriftungen
2. Ausführungstyp
3. Ausführung abgeschlossen
4. Status
Die Filter werden automatisch gespeichert und aktiv gehalten, bis Sie sie löschen.
Suche – Verwenden Sie die Suchleiste, um Testergebnisse nach Schlüssel, Ausführungstyp oder Status zu suchen (erfordert vollständige Übereinstimmung des Suchbegriffs). Sie können die Suchleiste oben auf der Seite verwenden, um nach Testergebnissen zu suchen.

Arbeiten mit Testausführungsergebnissen

Um detaillierte Testergebnisse anzuzeigen, wechseln Sie zu Ausführung.

Wählen Sie auf der Registerkarte Ergebnisse die Option Anzeigen nach und dann Ihre bevorzugte Ansicht für Testergebnisse aus. Sie können eine der folgenden Ansichten auswählen:

Testsatz: Testergebnisse werden nach Testausführung (Testsatz) gruppiert.
Testfall: Für die ausführungsübergreifende Analyse beim Filtern der Ergebnisse basierend auf Kriterien ohne Testausführungsattribute.

Select an entry to open the detailed view. A typical test execution detailed view shows information on when the executions started, duration, and execution logs.

Mit dem Filter Meldedatum können Sie ein einheitliches Datum für alle Testergebnisse der Testausführung festlegen. Dies ist nützlich, wenn Sie Tests über Nacht ausführen, wo einige Testfälle vor und nach Mitternacht ausgeführt werden, um zu verhindern, dass die Ergebnisse auf separate Datumsangaben aufgeteilt werden.

Auf der Registerkarte Ergebnisse können Sie alle ausgeführten Testfälle innerhalb des Testsatzes untersuchen und bei Bedarf für jeden einzeln Maßnahmen ergreifen. Weitere Informationen finden Sie im Abschnitt Ausführungsprotokoll .

Ausführungsprotokoll

Um ein Testfallprotokoll zu öffnen, wechseln Sie zu Ausführungen, öffnen Sie eine Testausführung und klicken Sie dann auf einen Testfallschlüssel.

Abbildung 3. Übersicht über die Ausführungsdetails eines Testfallprotokolls

In der folgenden Tabelle können Sie den Informationstyp anzeigen, der während der Testfallausführung gesammelt wird.

Testausführungsberichte	Beschreibung
Assertionen	Zeigen Sie fehlgeschlagene oder bestandene Assertionen an (z. B. „Verify Expression“-Aktivität) sowie zugehörige Screenshots, sofern während der Ausführung des Testfalls welche gemacht wurden. Um sicherzustellen, dass der Orchestrator während der Ausführung Screenshots erstellt, besuchen Sie die folgenden Ressourcen: Standardrollen im Orchestrator – Um zu überprüfen, ob den Standardrollen die Berechtigung für Artefakte der Testfallausführung zugewiesen ist. Falls die Standardrollen nicht über diese Berechtigung verfügen, können Sie eine benutzerdefinierte Rolle mit dieser Berechtigung erstellen. Verwalten von Rollen im Orchestrator – Erfahren Sie, wie Sie eine Rolle im Orchestrator erstellen, bearbeiten oder importieren.
Protokolle	Zeigen Sie Protokolle auf INFO-Ebene als Teil von `RobotLogs`an, mit Informationen zu Prozessen, Ausführungsroboter und Ereignisprotokollen, einschließlich Fehlern. Wählen Sie die Symbol, um zur Registerkarte Protokolle des ausgewählten Testfalls zu wechseln, um eine detaillierte Beschreibung des Fehlers zu erhalten.
Ausführungsdetails	Zeigen Sie Details zu den Argumenten wie Eingabe- und Ausgabewerte sowie Ausführungs- und Roboterdetails an (z. B. Projekt, Maschine, Roboter).
Betroffene Anforderungen	Zeigen Sie die Anforderungen an, die dem ausgeführten Testfall zugewiesen sind. Mit dieser Registerkarte können Sie direkt zur betroffenen Anforderung wechseln.
Anhänge (Attachments)	Ansicht: die mit der Aktivität „Attach Document“ hochgeladenen Anhänge. die Anhänge eines Testfallergebnisses, das über den Orchestrator verknüpft ist.

Herunterladen von Ausführungsprotokollen

So laden Sie Protokolle für alle Ihre Testausführungen herunter: Wählen Sie unter Ausführung die Option In Excel exportieren aus.
So laden Sie Testfallprotokolle für eine bestimmte Testausführung herunter: Wählen Sie unter Ausführung eine Testausführung und dann In Excel exportieren aus.

Visit Export data to check more details about exporting logs to excel files.

Aktivitätsabdeckung anzeigen

Hinweis: Die Aktivitätsabdeckung ist nur für automatisierte Testausführungen verfügbar.

Voraussetzungen: Aktivieren Sie die Aktivitätsabdeckung für die gewünschten Testsätze entweder im Orchestrator oder im Test Manager.

Öffnen Sie den Testsatz, wählen Sie Weitere Optionen . aus und dann Automatisiert ausführen.
Wechseln Sie zu Ausführung und öffnen Sie den ausgeführten Testsatz.
Gehen Sie zur Registerkarte Aktivitätsabdeckung und überprüfen Sie die Informationen zu den Aktivitäten, die während der Testausführung abgedeckt wurden.
Abbildung 4. Übersicht über die Abdeckung einer Beispielaktivität

Fehler aus Testergebnissen erstellen

You can create defect reports including the execution log to your external defect management system, if you already have it integrated with Test Manager. For more information, see ALM Tool Integration.

Um einen Defekt aus einem Ausführungsprotokoll zu erstellen, müssen Sie ein Testfallprotokoll öffnen, auf Aufgaben klicken und dann Defekt erstellen auswählen. Nachdem der Defekt erstellt wurde, ist im Ausführungsprotokoll ein Link verfügbar, mit dem Sie auf das integrierte externe Tool zugreifen können.