Test Suite

Neuestes

False

Test Suite-Benutzerhandbuch

Letzte Aktualisierung 30. Apr. 2024

Testergebnisse

Wenn Sie mit der Ausführung eines Testsatzes beginnen, durchläuft der Test Manager den folgenden Prozess:

Eine Testausführung wird im Abschnitt Testergebnisse vom Test Manager erstellt. Dieser dient als Container für die Testergebnisse.
Für jeden Testfall im ausgeführten Testsatz wird ein leeres Testfallprotokoll generiert. Dieses Protokoll ist an die Testausführung angehängt und enthält die zugehörigen Testergebnisse.
Während die Ausführung fortgesetzt wird, füllt der Test Manager jedes Testfallprotokoll mit den Ergebnissen und zugehörigen Protokollinformationen aus.

Hinweis: Jedes Mal, wenn eine Testausführung erstellt wird, werden Testfallprotokolle für alle zugehörigen Testfälle aus dem ursprünglichen Testsatz hinzugefügt. Außerdem werden in dieser Phase dynamische Zuordnungen aufgelöst. Das bedeutet, dass vorhandene Testausführungen konsistent bleiben, unabhängig von Aktualisierungen oder Löschungen, die am ursprünglichen Testsatz vorgenommen werden.

Das folgende Diagramm zeigt den Prozess der Ausführung eines Testsatzes im Test Manager.

Dies hat zur Folge, dass nach der Ausführung eines Testsatzes Änderungen am Testsatz oder an den zugehörigen Testfällen keine Auswirkungen auf die Ergebnisse früherer Ausführungen haben. Auch wenn ein Testsatz gelöscht wird, bleiben alle Testausführungen unverändert.

Wer kann Projekte sehen?

Alle Benutzerrollen können Testergebnisse sehen.

Weitere Informationen finden Sie unter Benutzer- und Gruppenzugriffsverwaltung.

Testergebnisse analysieren

Um Testausführungen anzuzeigen, öffnen Sie Testergebnisse im Test Manager. Die Ausführung jedes Testsatzes wird als Testausführungseintrag aufgelistet. Wie die Testausführung hinter den Kulissen funktioniert, können Sie unter Testergebnisse nachlesen.

Durch die Analyse Ihrer Testausführung können Sie die folgenden Aktionen ausführen:

Suchen Sie Testergebnisse, die manuell oder automatisch über den Orchestrator ausgeführt wurden.
Überprüfen Sie den Fortschritt bei der Ausführung von Testausführungen.
Öffnen Sie den ausgeführten Testsatz.
Untersuchen Sie Protokolle und Anhänge.
Erstellen Sie Defekte in Ihrem Defektverwaltungssystem direkt über den Test Manager, wenn Sie ein Application Lifecycle Management-Tool integriert haben. Weitere Informationen finden Sie unter ALM Tool-Integration.

Standardmäßig werden die Testausführungen basierend auf dem Datum sortiert, an dem die Ausführung abgeschlossen wurde. Aktuell laufende und noch nicht abgeschlossene Vorgänge werden ganz oben angezeigt.

Anhand der Farbcodes, die jeder Testausführung zugewiesen sind, können Sie den Status wie folgt erkennen:

Grün: Bestandene Testfälle.
Rot: Fehlgeschlagene Testfälle.
Grey: Testfälle ohne endgültiges Ergebnis, wie z. B. solche, die noch nicht ausgeführt wurden, aber Teil eines Testsatzes sind, der gerade ausgeführt wird.

Ergebnisse von automatisierten Tests

Die Ergebnisse der automatisierten Testausführungen werden automatisch aus dem Orchestrator importiert. Damit Ihre automatisierten Tests in den Test Manager importiert werden können, müssen Sie die folgenden Bedingungen erfüllen:

Der automatisierte Test muss Teil eines Testsatzes in Ihrem Test Manager-Projekt sein. Weitere Informationen finden Sie unter Automatisierte Tests.
Hinweis: Wenn eine Testausführung vom Orchestrator Ergebnisse für Testfälle aus mehreren Projekten im Test Manager enthält, wird die Testausführung im Test Manager aufgeteilt. Die Ergebnisse werden in den Projekten angezeigt, in denen sich die Testfälle befinden.

Überschreiben von Testergebnissen

Das Überschreiben der Ergebnisse eines Testfalls kann in Szenarien helfen, in denen das aktuelle Testergebnis das tatsächliche Verhalten der Anwendung nicht genau widerspiegelt und eine erneute Ausführung keine effektive Lösung darstellt. Sie können die Testergebnisse eines Testfalls überschreiben und dann den Vorgang bei Bedarf löschen.

Navigieren Sie zu Testergebnisse und öffnen Sie ein Testergebnis.
Öffnen Sie auf der Registerkarte Ergebnisse ein Testfallprotokoll.
Wählen Sie auf der Registerkarte Assertionen die Option Aufgaben > Ergebnis überschreiben aus.
Konfigurieren Sie im Fenster Testergebnis überschreiben die folgenden Felder:
1. Ergebnis ändern in – Auswählen, ob Sie das Ergebnis mit dem umgekehrten Status überschreiben möchten (Bestanden/Fehlgeschlagen) oder das Ergebnis auf Keines festlegen.
2. Kommentar – Geben Sie den Grund ein, warum Sie das Ergebnis überschreiben.
Wählen Sie Bestätigen aus.
Bei Testergebnissen, die Sie überschrieben haben, steht das folgende Symbol neben dem Testergebnisstatus: . Wählen Sie das Symbol aus, um die Überschreibungsdetails anzeigen.
Wenn Sie den Überschreibungsvorgang löschen möchten, wählen Sie optional die Option neben dem Ergebnisstatus eines Testfallprotokolls.
1. Wählen Sie im Fenster Überschreibungsdetails die Option Überschreibung löschen aus.
Wenn Sie den Überschreibungsvorgang bearbeiten möchten, können Sie optional die neben dem Ergebnisstatus eines Testfallprotokolls auswählen.
1. Führen Sie die Änderungen aus und klicken Sie auf Bestätigen.

Navigation & Suche

Um Ihre Testergebnisse schnell zu finden, verwenden Sie die Suchfunktion und die Filter. Navigieren Sie über die Seite durch Verwenden und Konfigurieren der Paginierung. Alternativ können Sie die Breadcrumbs verwenden, um zwischen den Seiten zu navigieren.

Filter – Sie können den Filter verwenden, um Ihre Suche einzugrenzen. Sie können beispielsweise nach Testergebnissen nach Ausführungstyp, Zeitpunkt der Ausführung oder Status suchen. Die Filter werden automatisch gespeichert und aktiv gehalten, bis Sie sie löschen.
Suche – Verwenden Sie die Suchleiste, um Testergebnisse nach Schlüssel, Ausführungstyp oder Status zu suchen (erfordert vollständige Übereinstimmung des Suchbegriffs). Sie können die Suchleiste oben auf der Seite verwenden, um nach Testergebnissen zu suchen.

Arbeiten mit Testausführungsergebnissen

Um detaillierte Testergebnisse anzuzeigen, wechseln Sie zu Testergebnisse.

Wählen Sie auf der Registerkarte Ergebnisse die Option Anzeigen nach und dann Ihre bevorzugte Ansicht für Testergebnisse aus. Sie können eine der folgenden Ansichten auswählen:

Testsatz: Für die Nachverfolgung von Standardergebnissen in Testausführungen.
Testfall: Für die ausführungsübergreifende Analyse beim Filtern der Ergebnisse basierend auf Kriterien ohne Testausführungsattribute.

Wählen Sie einen Eintrag aus, um die detaillierte Ansicht zu öffnen. Eine typische Detailansicht einer Testausführung zeigt Informationen über den Beginn der Ausführung, die Dauer und Ausführungsprotokolle.

Mit dem Filter Meldedatum können Sie ein einheitliches Datum für alle Testergebnisse der Testausführung festlegen. Dies ist nützlich, wenn Sie Tests über Nacht ausführen, wo einige Testfälle vor und nach Mitternacht ausgeführt werden, um zu verhindern, dass die Ergebnisse auf separate Datumsangaben aufgeteilt werden.

Im Abschnitt Ergebnisse können Sie alle ausgeführten Testfälle innerhalb des Testsatzes untersuchen und bei Bedarf für jeden einzeln Maßnahmen ergreifen. Weitere Informationen finden Sie im Abschnitt Ausführungsprotokoll.

Sie können den ausgeführten Testsatz auch öffnen, indem Sie mit der rechten Maustaste auf einen Eintrag auf der Seite Testsätze klicken und Testsatz öffnenauswählen, oder direkt in der Testausführung.

Ausführungsprotokoll

Ausführungsprotokolle enthalten als Teil der Testberichterstattung Informationen wie Ausführungsdetails (z. B. Datenvariationen und Screenshots), fehlgeschlagene und bestandene Assertionen sowie ein detailliertes Protokoll der Ausführungsereignisse.

Um ein Testfallprotokoll zu öffnen, wechseln Sie zu Testergebnisse, öffnen Sie eine Testausführung und klicken Sie dann auf einen Testfallschlüssel.

In der folgenden Tabelle können Sie den Informationstyp anzeigen, der während der Testfallausführung gesammelt wird.

Testausführungsberichte	Beschreibung
Assertionen	Zeigen Sie fehlgeschlagene oder bestandene Assertionen an (z. B. „Verify Expression“-Aktivität) sowie zugehörige Screenshots, sofern während der Ausführung des Testfalls welche gemacht wurden. Um sicherzustellen, dass der Orchestrator während der Ausführung Screenshots erstellt, besuchen Sie die folgenden Ressourcen: Standardrollen im Orchestrator – Um zu überprüfen, ob den Standardrollen die Berechtigung für Artefakte der Testfallausführung zugewiesen ist. Falls die Standardrollen nicht über diese Berechtigung verfügen, können Sie eine benutzerdefinierte Rolle mit dieser Berechtigung erstellen. Verwalten von Rollen im Orchestrator – Erfahren Sie, wie Sie eine Rolle im Orchestrator erstellen, bearbeiten oder importieren.
Protokolle	Zeigen Sie Protokolle auf INFO-Ebene als Teil von `RobotLogs`an, mit Informationen zu Prozessen, Ausführungsroboter und Ereignisprotokollen, einschließlich Fehlern. Wählen Sie die Symbol, um zur Registerkarte Protokolle des ausgewählten Testfalls zu wechseln, um eine detaillierte Beschreibung des Fehlers zu erhalten.
Ausführungsdetails	Zeigen Sie Details zu den Argumenten wie Eingabe- und Ausgabewerte sowie Ausführungs- und Roboterdetails an (z. B. Projekt, Maschine, Roboter).
Betroffene Anforderungen	Zeigen Sie die Anforderungen an, die dem ausgeführten Testfall zugewiesen sind. Mit dieser Registerkarte können Sie direkt zur betroffenen Anforderung wechseln.
Anhänge (Attachments)	Ansicht: die Anhänge, die mit der Aktivität Attach Document hochgeladen wurden. die Anhänge eines Testfallergebnisses, das über den Orchestrator verknüpft ist.

Aktivitätsabdeckung anzeigen

Hinweis: Die Aktivitätsabdeckung ist nur für automatisierte Testausführungen verfügbar.

Voraussetzungen: Aktivieren Sie die Aktivitätsabdeckung für die gewünschten Testsätze entweder im Orchestrator oder im Test Manager.

Öffnen Sie den Testsatz und wählen Sie Weitere Optionen und dann Automatisiert ausführen aus.
Wechseln Sie zu Testergebnisse und öffnen Sie den ausgeführten Testsatz.
Gehen Sie zur Registerkarte Aktivitätsabdeckung und überprüfen Sie die Informationen zu den Aktivitäten, die während der Testausführung abgedeckt wurden.

Fehler aus Testergebnissen erstellen

Sie können Defektberichte inklusive des Ausführungsprotokolls für Ihr externes Defektverwaltungssystem erstellen, wenn Sie es bereits im Test Manager integriert haben. Weitere Informationen finden Sie unter ALM Tool-Integration.

Um einen Defekt aus einem Ausführungsprotokoll zu erstellen, müssen Sie ein Testfallprotokoll öffnen, auf Aufgaben klicken und dann Defekt erstellen auswählen. Nachdem der Defekt erstellt wurde, ist im Ausführungsprotokoll ein Link verfügbar, mit dem Sie auf das integrierte externe Tool zugreifen können.

Synchronisierung von Defekten

Sie können Ausführungsergebnisse im Rahmen der Integration von Application Lifecycle Management-Tools mit externen Tools synchronisieren. Informationen, die während der Ausführung gesammelt werden, z. B. Ergebnisse, Protokolle, Zeitstempel und andere Details, werden mit dem Tool synchronisiert, das Sie im Test Manager integriert haben.

Bitte beachten Sie, dass derzeit pro Projekt insgesamt nur eine Verbindung für die Defektsynchronisation aktiviert sein kann.

Hinweis:

Um Defekte zu synchronisieren, müssen Sie einen Connector in Test Manager konfigurieren. Sie können verfügbare Verbindungen im Test Manager anzeigen.
Sie müssen zuerst einen Testsatz ausgeführt haben.

Wer kann Fehler synchronisieren?

Alle Benutzerrollen außer schreibgeschützt können Fehler synchronisieren.

Weitere Informationen finden Sie unter Benutzer- und Gruppenzugriffsverwaltung.

Defekt erstellen

Sie können Defekte erstellen, wenn Sie auf die Testfallprotokolle auf der Seite Testergebnisse zugreifen.

Zu den Testergebnissen navigieren
Öffnen Sie ein Testergebnis und klicken Sie auf den Testfallschlüssel, um die Protokolle zu öffnen.
Klicken Sie auf Aufgaben und wählen Sie Defekt erstellen aus.

Der Defekt wird erstellt und mit Ihrem externen Tool synchronisiert. Sie können den Defekt direkt im Tool öffnen (z. B. Atlassian Jira), indem Sie zum Ergebnis der Testausführung navigieren, das einen synchronisierten Defekt hat.

Verknüpfung mit Defekt aufheben

Wenn Sie die Verknüpfung von Fehlern mit einem externen Tool aufheben, bleibt der im Tool erstellte Eintrag unverändert. Im Test Manager wird das Ergebnis der Testausführung nicht mit einem externen Tool verknüpft.

Zu den Testergebnissen navigieren
Öffnen Sie ein Testergebnis und klicken Sie dann auf Aufgaben.
Wählen Sie Verknüpfung mit Defekt aufheben aus.

KI-gestützte Testerkenntnisse – Vorschau

Der Bericht zu fehlgeschlagenen Tests verschafft Ihnen eine tatsächliche Zusammenfassung Ihrer Testergebnisse mit KI-Unterstützung (Künstliche Intelligenz). Sie generieren diesen Bericht, indem Sie einen bestimmten Satz von Testergebnissen auswählen. Jeder Bericht, den Sie erstellen, wird gespeichert und kann jederzeit über die Registerkarte Insights unter Testergebnisse aufgerufen werden.

Der Bericht kann bis zu fünf Abschnitte enthalten, von denen jeder die Probleme aufzeigt, die bei automatisierten Tests auftreten. Wählen Sie Anzeigen aus, um die betroffenen Testfälle anzuzeigen und zu durchsuchen.

Beachten Sie die Informationen in den einzelnen Abschnitten der folgenden Tabelle:

Name	Beschreibung
Überblick	Eine Übersicht über die Testergebnisse, die Sie für den Bericht ausgewählt haben, mit Informationen über die durchschnittliche Fehlerquote, die Testsatz-Fehlerquote und den Prozentsatz der Fehler nach Schweregrad.
Häufigste fehlgeschlagene Tests	Zeigt die am häufigsten fehlgeschlagenen Testfälle an und bietet Ihnen direkten Zugriff darauf.
Häufige Fehler	Hebt die häufigsten Fehler bei Testausführungen hervor.
Fehlermuster	Kategorisiert Fehler und ermöglicht es Ihnen, Fehlermuster darauf basierend zu identifizieren. Das erleichtert die Fehlerbehebung und Lösung.
Empfehlungen	Bietet Best Practices zum Vermeiden von Fehlern bei den ausgewählten Testausführungen.

Generieren des Berichts zu fehlgeschlagenen Tests

Voraussetzungen: Um einen KI-basierten Test Insights-Bericht zu erstellen, muss Ihre Test Manager-Rolle über die folgenden Berechtigungen verfügen: Testausführung – Lesen.

Öffnen Sie ein Projekt im Test Manager.
Wechseln Sie zu Testergebnisse und wählen Sie Insights generieren aus.
Wählen Sie in der Tabelle Ergebnisse die Testergebnisse aus, die in den Bericht aufgenommen werden sollen.
Optional können Sie die Testergebnisse filtern nach:
1. Stichwörter – Verwenden Sie die Suchleiste.
2. Ausführungstyp – Der Typ der Ausführung.
3. Ausführung abgeschlossen – Die Zeit für den Abschluss der Ausführung.
4. Status – Der Ausführungsstatus.
Wählen Sie Bericht generieren aus.
Wenn der Generierungsprozess abgeschlossen ist, erhalten Sie eine In-App-Benachrichtigung und eine E-Mail mit dem Berichtsstatus: Bereit oder Fehlgeschlagen.
Wenn der Bericht bereit ist, wählen Sie die Benachrichtigung Insights-Bericht ist bereit oder Bericht öffnen in der E-Mail-Benachrichtigung aus, um auf den Bericht zuzugreifen. Wenn der Bericht fehlgeschlagen ist, können Sie ihn neu generieren.
Wählen Sie Anzeigen für jeden Abschnitt des Berichts aus, um die Testfälle anzuzeigen, die von einem bestimmten Fehler oder einer bestimmten Empfehlung betroffen sind.

Herunterladen des Berichts zu fehlgeschlagenen Tests

Navigieren Sie zur Registerkarte Insights in den Testergebnissen.
1. Um den Insights-Bericht umzubenennen, wählen Sie optional Weitere Optionen aus und dann Umbenennen.
Wählen Sie die Schaltfläche Herunterladen aus.
Der Bericht zu fehlgeschlagenen Tests wird als DOCX-Datei heruntergeladen.

Benutzerzugriffsverwaltung für KI-basierte Tests

Mit der AI Trust Layer-Governance-Richtlinie können Sie die Verwendung von KI-gestützten Funktionen in Ihrer Organisation verwalten. Obwohl alle Mitglieder standardmäßig Zugriff auf diese Funktionen haben, können Sie diese Richtlinie verwenden, um den Zugriff nach Bedarf einzuschränken. Mit der AI Trust Layer-Governance-Richtlinie können Sie den Zugriff eines Benutzers auf bestimmte KI-gestützte Funktionen, oder alle von ihnen, auf Benutzer-, Gruppen- oder Mandantenebene beschränken. Zudem können Sie entscheiden, auf welche KI-Produkte Benutzer zugreifen können. Sie können diese Governance-Richtlinie in AutomationOps erstellen, ändern und implementieren.

Wenn Sie eine AI Trust Layer-Governance-Richtlinie bereitstellen und dennoch die KI-gestützten Testfunktionen verwenden möchten, achten Sie darauf, dass Sie beim Funktionsumschalter der Richtlinie Ja für Aktivieren der Test Manager-Funktionen auswählen.

In den folgenden Ressourcen erfahren Sie, wie Sie eine Governance-Richtlinie für Ihre Organisation erstellen, konfigurieren und bereitstellen.

Auf dieser Seite