- Erste Schritte
- Projektmanagement
- Dokumente
- Anforderungen
- Assigning test cases to requirements
- Verknüpfen von Testfällen in Studio mit dem Test Manager
- Verknüpfung der Automatisierung wird aufgehoben
- Delete test cases
- Dokumentieren von Testfällen mit Task Capture
- Erstellen von Testfällen
- Klonen von Testfällen
- Exportieren von Testfällen
- Testfälle automatisieren
- Manuelle Testfälle
- Anwenden von Filtern und Ansichten
- Testsätze
- Ausführen von Tests
- Testergebnisse analysieren
- Synchronisierung von Defekten
- Projektvorgänge und Dienstprogramme
- Test Manager-Einstellungen
- ALM Tool-Integration
- API-Integration

Test Manager-Benutzerhandbuch
Testergebnisse analysieren
Um Testausführungen anzuzeigen, öffnen Sie Testergebnisse in Test Manager. Die Ausführung jedes Testsatzes wird als Testausführungseintrag aufgelistet. Wie die Testausführung hinter den Kulissen funktioniert, können Sie unter Testergebnisse nachlesen.

Durch die Analyse Ihrer Testausführung können Sie die folgenden Aktionen ausführen:
- Suchen Sie Testergebnisse, die manuell oder automatisch über den Orchestrator ausgeführt wurden.
- Überprüfen Sie den Fortschritt bei der Ausführung von Testausführungen.
- Öffnen Sie den ausgeführten Testsatz.
- Untersuchen Sie Protokolle und Anhänge.
- Erstellen Sie Fehler in Ihrem Fehlerverwaltungssystem direkt über Test Manager, wenn Sie ein Application Lifecycle Management-Tool integriert haben. Weitere Informationen finden Sie unter ALM Tool-Integration.
Standardmäßig werden die Testausführungen basierend auf dem Datum sortiert, an dem die Ausführung abgeschlossen wurde. Aktuell laufende und noch nicht abgeschlossene Vorgänge werden ganz oben angezeigt.
Anhand der Farbcodes, die jeder Testausführung zugewiesen sind, können Sie den Status wie folgt erkennen:
- Grün: Bestandene Testfälle.
- Rot: Fehlgeschlagene Testfälle.
- Grey: Testfälle ohne endgültiges Ergebnis, wie z. B. solche, die noch nicht ausgeführt wurden, aber Teil eines Testsatzes sind, der gerade ausgeführt wird.
Ergebnisse von automatisierten Tests
Die Ergebnisse der automatisierten Testausführungen werden automatisch aus dem Orchestrator importiert. Damit Ihre automatisierten Tests in den Test Manager importiert werden können, müssen Sie die folgende Bedingung erfüllen:
- Der automatisierte Test muss Teil eines Testsatzes in Ihrem Test Manager-Projekt sein. Weitere Informationen finden Sie unter Automatisierte Tests.
Enthält eine Testausführung im Orchestrator Ergebnisse für Testfälle aus mehreren Projekten im Test Manager, so wird die Testausführung im Test Manager aufgeteilt. Die Ergebnisse werden in den Projekten angezeigt, in denen sich die Testfälle befinden.
Überschreiben von Testergebnissen
Das Überschreiben der Ergebnisse eines Testfalls kann in Szenarien helfen, in denen das aktuelle Testergebnis das tatsächliche Verhalten der Anwendung nicht genau widerspiegelt und eine erneute Ausführung keine effektive Lösung darstellt. Sie können die Testergebnisse eines Testfalls überschreiben und dann den Vorgang bei Bedarf löschen.
-
Navigieren Sie zu Testergebnisse und öffnen Sie ein Testergebnis.
-
Öffnen Sie auf der Registerkarte Ergebnisse ein Testfallprotokoll.
-
Wählen Sie auf der Registerkarte Assertionen die Option Aufgaben > Ergebnis überschreiben aus.
-
Konfigurieren Sie im Fenster Testergebnis überschreiben die folgenden Felder:
- Ergebnis ändern in – Auswählen, ob Sie das Ergebnis mit dem umgekehrten Status überschreiben möchten (Bestanden/Fehlgeschlagen) oder das Ergebnis auf Keines festlegen.
- Kommentar – Geben Sie den Grund ein, warum Sie das Ergebnis überschreiben.
-
Wählen Sie Bestätigen aus. Bei Testergebnissen, die Sie überschrieben haben, steht das folgende Symbol neben dem Testergebnisstatus:
. Wählen Sie das Symbol aus, um die Überschreibungsdetails anzeigen.
-
Wenn Sie den Überschreibungsvorgang löschen möchten, wählen Sie optional die Option
neben dem Ergebnisstatus eines Testfallprotokolls.-
Wählen Sie im Fenster Überschreibungsdetails die Option Überschreibung löschen aus.

-
-
Wenn Sie den Überschreibungsvorgang bearbeiten möchten, können Sie optional die
neben dem Ergebnisstatus eines Testfallprotokolls auswählen.- Nehmen Sie Änderungen vor und klicken Sie auf Bestätigen.
Navigation & Suche
Um Ihre Testergebnisse schnell zu finden, verwenden Sie die Suchfunktion und die Filter. Navigieren Sie über die Seite durch Verwenden und Konfigurieren der Paginierung. Alternativ können Sie die Breadcrumbs verwenden, um zwischen den Seiten zu navigieren.
- Filter - You can use the filter to narrow your search. For example, you can search for test results by execution type, when the execution was finished or by status. The filters are automatically saved and kept active until you clear them.
- Search - Use the search bar to find test results by their key, execution type or status (requires full search term match). You can use the search bar at the top of the page to look for test results.
Arbeiten mit Testausführungsergebnissen
Um detaillierte Ergebnisse aus einer Testausführung abzurufen, wechseln Sie zu Testergebnisse und klicken Sie auf einen Eintrag, um die detaillierte Ansicht zu öffnen. Eine typische Detailansicht einer Testausführung zeigt Informationen über den Beginn der Ausführung, die Dauer und Ausführungsprotokolle.
Mit dem Filter Meldedatum können Sie ein einziges Datum für alle Ergebnisse der Testausführung festlegen. Dies ist nützlich, wenn Sie Tests über Nacht ausführen, wo einige Testfälle vor und nach Mitternacht ausgeführt werden. Andernfalls werden die Ergebnisse in den Berichten auf verschiedene Daten verteilt.
Im Abschnitt „Ergebnisse“ können Sie alle Testfälle untersuchen, die innerhalb des Testsatzes ausgeführt wurden. Sie können für jeden Testfall Aktionen ausführen. Weitere Informationen finden Sie im Ausführungsprotokoll.
You can also open the executed test set by right-clicking an entry in the Test Sets page and selecting Open Test Set, or directly within the test execution.

Ausführungsprotokoll
Ausführungsprotokolle enthalten als Teil der Testberichterstattung Informationen wie Ausführungsdetails (z. B. Datenvariationen und Screenshots), fehlgeschlagene und bestandene Assertionen sowie ein detailliertes Protokoll der Ausführungsereignisse.
Um ein Testfallprotokoll zu öffnen, wechseln Sie zu Testergebnisse, öffnen Sie eine Testausführung und klicken Sie dann auf einen Testfallschlüssel.

In der folgenden Tabelle können Sie den Informationstyp anzeigen, der während der Testfallausführung gesammelt wird.
| Testausführungsberichte | Beschreibung |
|---|---|
| Assertionen | Zeigen Sie fehlgeschlagene oder bestandene Assertionen (z. B. die Aktivität Verify Expression ) sowie zugehörige Screenshots an, wenn während der Ausführung des Testfalls welche gemacht wurden. Um sicherzustellen, dass der Orchestrator während der Ausführung Screenshots erstellt, besuchen Sie die folgenden Ressourcen:
|
| Protokolle | Zeigen Sie Protokolle der INFO-Ebene als Teil der RobotLogs mit Informationen über Prozesse, Ausführungsroboter und Ereignisprotokolle, einschließlich Fehler, an. Wählen Sie das Symbol |
| Ausführungsdetails | Zeigen Sie Details zu den Argumenten wie Eingabe- und Ausgabewerte sowie Ausführungs- und Roboterdetails an (z. B. Projekt, Maschine, Roboter). |
| Betroffene Anforderungen | Zeigen Sie die Anforderungen an, die dem ausgeführten Testfall zugewiesen sind. Mit dieser Registerkarte können Sie direkt zur betroffenen Anforderung wechseln. |
| Anhänge (Attachments) | Ansicht:
|
Aktivitätsabdeckung anzeigen
Die Aktivitätsabdeckung ist nur für automatisierte Testausführungen verfügbar.
Voraussetzungen: Aktivieren Sie die Aktivitätsabdeckung für die gewünschten Testsätze entweder im Orchestrator oder im Test Manager.
-
Öffnen Sie den Testsatz und wählen Sie Weitere Optionen
und dann Automatisiert ausführen aus. -
Wechseln Sie zu Testergebnisse und öffnen Sie den ausgeführten Testsatz.
-
Gehen Sie zur Registerkarte Aktivitätsabdeckung und überprüfen Sie die Informationen zu den Aktivitäten, die während der Testausführung abgedeckt wurden.

Fehler aus Testergebnissen erstellen
Sie können Fehlerberichte inklusive des Ausführungsprotokolls für Ihr externes Fehlerverwaltungssystem erstellen, wenn Sie es bereits in Test Manager integriert haben. Weitere Informationen finden Sie unter ALM Tool-Integration.
Um einen Defekt aus einem Ausführungsprotokoll zu erstellen, müssen Sie ein Testfallprotokoll öffnen, auf Aufgaben klicken und dann Defekt erstellen auswählen. Nachdem der Defekt erstellt wurde, ist im Ausführungsprotokoll ein Link verfügbar, mit dem Sie auf das integrierte externe Tool zugreifen können.
Ähnliche Artikel
Ergebnisse von automatisierten Tests
Die Ergebnisse der automatisierten Testausführungen werden automatisch aus dem Orchestrator importiert. Damit Ihre automatisierten Tests in den Test Manager importiert werden können, müssen Sie die folgenden Bedingungen erfüllen:
- .
- Der automatisierte Test muss Teil eines Testsatzes in Ihrem Test Manager-Projekt sein. Weitere Informationen finden Sie unter Automatisierte Tests.
Hinweis:
Enthält eine Testausführung im Orchestrator Ergebnisse für Testfälle aus mehreren Projekten im Test Manager, so wird die Testausführung im Test Manager aufgeteilt. Die Ergebnisse werden in den Projekten angezeigt, in denen sich die Testfälle befinden.
Überschreiben von Testergebnissen
Das Überschreiben der Ergebnisse eines Testfalls kann in Szenarien helfen, in denen das aktuelle Testergebnis das tatsächliche Verhalten der Anwendung nicht genau widerspiegelt und eine erneute Ausführung keine effektive Lösung darstellt. Sie können die Testergebnisse eines Testfalls überschreiben und dann den Vorgang bei Bedarf löschen.
-
Navigieren Sie zu Ausführung und öffnen Sie ein Testergebnis.
-
Öffnen Sie auf der Registerkarte Ergebnisse ein Testfallprotokoll.
-
Wählen Sie auf der Registerkarte Assertionen die Option Aufgaben > Ergebnis überschreiben aus.
-
Konfigurieren Sie im Fenster Testergebnis überschreiben die folgenden Felder:
- Ergebnis ändern in – Auswählen, ob Sie das Ergebnis mit dem umgekehrten Status überschreiben möchten (Bestanden/Fehlgeschlagen) oder das Ergebnis auf Keines festlegen.
- Kommentar – Geben Sie den Grund ein, warum Sie das Ergebnis überschreiben.
-
Wählen Sie Bestätigen aus. Bei Testergebnissen, die Sie überschrieben haben, steht das folgende Symbol neben dem Testergebnisstatus:
. Wählen Sie das Symbol aus, um die Überschreibungsdetails anzeigen.Abbildung 1. Die Meldung „Testergebnis erfolgreich überschrieben“.

-
Wenn Sie den Überschreibungsvorgang löschen möchten, wählen Sie optional die Option
neben dem Ergebnisstatus eines Testfallprotokolls.-
Wählen Sie im Fenster Überschreibungsdetails die Option Überschreibung löschen aus.
Abbildung 2. Das Menü Überschreibungsdetails

-
-
Wenn Sie den Überschreibungsvorgang bearbeiten möchten, können Sie optional die
neben dem Ergebnisstatus eines Testfallprotokolls auswählen.- Nehmen Sie Änderungen vor und klicken Sie auf Bestätigen.
Navigation & Suche
Um Ihre Testergebnisse schnell zu finden, verwenden Sie die Suchfunktion und die Filter. Navigieren Sie über die Seite durch Verwenden und Konfigurieren der Paginierung. Alternativ können Sie die Breadcrumbs verwenden, um zwischen den Seiten zu navigieren.
- Filter – Sie können die Filter verwenden, um Ihre Suche einzugrenzen. Sie können zum Beispiel nach folgenden Kriterien nach Testergebnissen suchen:
- Beschriftungen
- Ausführungstyp
- Ausführung abgeschlossen
- Status Die Filter werden automatisch gespeichert und aktiv gehalten, bis Sie sie löschen.
- Search - Use the search bar to find test results by their key, execution type or status (requires full search term match). You can use the search bar at the top of the page to look for test results.
Arbeiten mit Testausführungsergebnissen
Um detaillierte Testergebnisse anzuzeigen, wechseln Sie zu Ausführung.
Wählen Sie auf der Registerkarte Ergebnisse die Option Anzeigen nach und dann Ihre bevorzugte Ansicht für Testergebnisse aus. Sie können eine der folgenden Ansichten auswählen:
-
Testsatz: Testergebnisse werden nach Testausführung (Testsatz) gruppiert.
-
Testfall: Für die ausführungsübergreifende Analyse beim Filtern der Ergebnisse basierend auf Kriterien, ohne dass Testausführungsattribute vorhanden sind.

Wählen Sie einen Eintrag aus, um die detaillierte Ansicht zu öffnen. Eine typische Detailansicht einer Testausführung zeigt Informationen über den Beginn der Ausführung, die Dauer und Ausführungsprotokolle.
Mit dem Filter Meldedatum können Sie ein einheitliches Datum für alle Testergebnisse der Testausführung festlegen. Dies ist nützlich, wenn Sie Tests über Nacht ausführen, wo einige Testfälle vor und nach Mitternacht ausgeführt werden, um zu verhindern, dass die Ergebnisse auf separate Datumsangaben aufgeteilt werden.
Auf der Registerkarte Ergebnisse können Sie alle ausgeführten Testfälle innerhalb des Testsatzes untersuchen und bei Bedarf für jeden einzeln Maßnahmen ergreifen. Weitere Informationen finden Sie im Abschnitt Ausführungsprotokoll .
You can also open the executed test set by right-clicking an entry in the Test Sets page and selecting Open Test Set, or directly within the test execution.
Ausführungsprotokoll
Ausführungsprotokolle enthalten als Teil der Testberichterstattung Informationen wie Ausführungsdetails (z. B. Datenvariationen und Screenshots), fehlgeschlagene und bestandene Assertionen sowie ein detailliertes Protokoll der Ausführungsereignisse.
Um ein Testfallprotokoll zu öffnen, wechseln Sie zu Ausführungen, öffnen Sie eine Testausführung und klicken Sie dann auf einen Testfallschlüssel.
Abbildung 3. Übersicht über die Ausführungsdetails eines Testfallprotokolls

In der folgenden Tabelle können Sie den Informationstyp anzeigen, der während der Testfallausführung gesammelt wird.
| Testausführungsberichte | Beschreibung |
|---|---|
| Assertionen | Zeigen Sie fehlgeschlagene oder bestandene Assertionen (z. B. die Aktivität Verify Expression ) sowie zugehörige Screenshots an, wenn während der Ausführung des Testfalls welche gemacht wurden. Um sicherzustellen, dass der Orchestrator während der Ausführung Screenshots erstellt, besuchen Sie die folgenden Ressourcen:
|
| Protokolle | Zeigen Sie Protokolle der INFO-Ebene als Teil der RobotLogs mit Informationen über Prozesse, Ausführungsroboter und Ereignisprotokolle, einschließlich Fehler, an. Wählen Sie das Symbol |
| Ausführungsdetails | Zeigen Sie Details zu den Argumenten wie Eingabe- und Ausgabewerte sowie Ausführungs- und Roboterdetails an (z. B. Projekt, Maschine, Roboter). |
| Betroffene Anforderungen | Zeigen Sie die Anforderungen an, die dem ausgeführten Testfall zugewiesen sind. Mit dieser Registerkarte können Sie direkt zur betroffenen Anforderung wechseln. |
| Anhänge (Attachments) | Ansicht:
|
Herunterladen von Ausführungsprotokollen
- So laden Sie Protokolle für alle Ihre Testausführungen herunter: Wählen Sie unter Ausführung die Option In Excel exportieren aus.
- So laden Sie Testfallprotokolle für eine bestimmte Testausführung herunter: Wählen Sie unter Ausführung eine Testausführung und dann In Excel exportieren aus .
Unter Daten exportieren finden Sie weitere Informationen zum Exportieren von Protokollen in Excel-Dateien.
Aktivitätsabdeckung anzeigen
Die Aktivitätsabdeckung ist nur für automatisierte Testausführungen verfügbar.
Voraussetzungen: Aktivieren Sie die Aktivitätsabdeckung für die gewünschten Testsätze entweder im Orchestrator oder im Test Manager.
-
Öffnen Sie den Testsatz und wählen Sie Weitere Optionen
und dann Automatisiert ausführen aus. -
Wechseln Sie zu Ausführung und öffnen Sie den ausgeführten Testsatz.
-
Gehen Sie zur Registerkarte Aktivitätsabdeckung und überprüfen Sie die Informationen zu den Aktivitäten, die während der Testausführung abgedeckt wurden.
Abbildung 4. Übersicht über eine Beispielaktivitätsabdeckung

Fehler aus Testergebnissen erstellen
Sie können Fehlerberichte inklusive des Ausführungsprotokolls für Ihr externes Fehlerverwaltungssystem erstellen, wenn Sie es bereits in Test Manager integriert haben. Weitere Informationen finden Sie unter ALM Tool-Integration.
Um einen Defekt aus einem Ausführungsprotokoll zu erstellen, müssen Sie ein Testfallprotokoll öffnen, auf Aufgaben klicken und dann Defekt erstellen auswählen. Nachdem der Defekt erstellt wurde, ist im Ausführungsprotokoll ein Link verfügbar, mit dem Sie auf das integrierte externe Tool zugreifen können.
Ähnliche Artikel
- Ergebnisse von automatisierten Tests
- Überschreiben von Testergebnissen
- Navigation & Suche
- Arbeiten mit Testausführungsergebnissen
- Ausführungsprotokoll
- Aktivitätsabdeckung anzeigen
- Fehler aus Testergebnissen erstellen
- Ähnliche Artikel
- Ergebnisse von automatisierten Tests
- Überschreiben von Testergebnissen
- Navigation & Suche
- Arbeiten mit Testausführungsergebnissen
- Ausführungsprotokoll
- Herunterladen von Ausführungsprotokollen
- Aktivitätsabdeckung anzeigen
- Fehler aus Testergebnissen erstellen
- Ähnliche Artikel