- Erste Schritte
- Projektmanagement
- Dokumente
- Arbeiten mit der Analyse der Änderungsauswirkungen
- Erstellen von Testfällen
- Zuweisen von Testfällen zu Anforderungen
- Klonen von Testfällen
- Exportieren von Testfällen
- Verknüpfen von Testfällen in Studio mit dem Test Manager
- Delete test cases
- Manuelle Testfälle
- Importieren manueller Testfälle
- Dokumentieren von Testfällen mit Task Capture
- Parameter
- Aktivieren der Governance auf Projektebene
- Deaktivieren der Governance auf Projektebene
- Aktivieren der Governance auf Testfallebene
- Deaktivieren der Governance auf Testfallebene
- Verwalten von Genehmigern für strukturierte Testfälle
- Verwalten von gesteuerten Testfällen im Status In Arbeit
- Verwalten von geregelten Testfällen im Status „Wird überprüft“.
- Verwalten von gesteuerten Objekten im Status „Signiert“.
- Verwalten von Kommentaren für gesteuerte Testfälle
- Anwenden von Filtern und Ansichten
- Importieren von Orchestrator-Testsätzen
- Creating test sets
- Hinzufügen von Testfällen zu einem Testsatz
- Zuweisen von Standardbenutzern in der Testsatzausführung
- Aktivieren der Aktivitätsabdeckung
- Aktivieren von Healing Agent
- Konfigurieren von Testsätzen für bestimmte Ausführungsordner und Roboter
- Überschreiben von Parametern
- Klonen von Testsätzen
- Exportieren von Testsätzen
- Anwenden von Filtern und Ansichten
- FAQ – Funktion – Test Manager vs Orchestrator
- Ausführen von manuellen Tests
- Ausführen automatisierter Tests
- Ausführen von Testfällen ohne Testsatz
- Ausführen gemischter Tests
- Erstellen von ausstehenden Ausführungen
- Erzwingen einer Ausführungsreihenfolge
- Erneutes Ausführen von Testausführungen
- Planen von Ausführungen
- Fehlerbehebung bei automatisierten Ausführungen
- Zugänglichkeitstests für Test Cloud
- Suche mit Autopilot
- Projektvorgänge und Dienstprogramme
- Projekt importieren
- Projekt exportieren
- Daten exportieren
- Spezifikation des TMH-Dateiformats
- Massenvorgänge
- Berichterstellung mit Insights
- Dashboard-Berichte Test Manager
- Verwenden externer Berichtstools
- Migrieren von Test Manager-Artefakten zu anderen Bereitstellungsoptionen
- Testen der Datenaufbewahrungsrichtlinie
- Test Manager-Einstellungen
- ALM Tool-Integration
- API-Integration
- Fehlersuche und ‑behebung
Test Manager-Benutzerhandbuch
Voraussetzungen
Die Funktionsverfügbarkeit hängt von der Cloud-Plattform ab, die Sie verwenden. Weitere Informationen finden Sie auf der Seite zur Verfügbarkeit der Test Manager-Funktion.
Führen Sie die folgenden Schritte aus, um die Berichterstellung mit Insights zu aktivieren:
- Aktivieren Sie den Insights-Dienst auf dem gleichen Mandanten wie Ihre Test Manager-Instanz. Sie benötigen eine Rolle als Automation Cloud-Organisationsadministrator, um einen Dienst zu aktivieren.
- Aktivieren Sie im Test Manager die Einstellung Berichterstellung mit Insights -Mandantenebene aktivieren. Sie benötigen eine Mandantenrolle für Test Manager-Administrators , um die Integration mit Insights zu aktivieren. Weitere Informationen zur Aktivierung der Einstellung finden Sie unter Einstellungen auf Mandantenebene.
Überblick
Sobald Sie die Insights-Integration in Ihrem Test Manager-Mandanten aktivieren, können Sie auf Analysen für alle Ihre Testprojekte innerhalb dieses Mandanten zugreifen. Insights ruft Daten basierend auf einem bestimmten Datenmodell aus dem Test Manager ab und präsentiert sie über das vordefinierte Dashboard Test Manager-Ausführungsbericht . Dieses Dashboard bietet einen Überblick über alle Ihre Testausführungen innerhalb Ihres Mandanten.
Abbildung 1. Dashboard „Test Manager-Ausführungsbericht“.
Wenn Sie die Berichterstellung mit Insights aktivieren, werden Daten aus allen Test Manager-Projekten in Insights hochgeladen. Daher können alle Benutzer mit Zugriff auf Insights Berichte zu diesen Projekten erstellen, unabhängig von ihren Berechtigungen in Test Manager.
Datenmodell
Insights verwendet Testfallprotokolle aus dem Test Manager, um die anpassbaren Dashboards zu generieren. Weitere Informationen zu dem von Insights zum Generieren der Dashboards verwendeten Datenmodell finden Sie im Abschnitt Test Manager-Datenmodell .
Im Test Manager-Datenmodell enthalten Testfallprotokolle zwei Arten von Ergebnissen: technische und funktionale. In der Regel sind diese Ergebnisse identisch, es sei denn, während der Ausführung tritt ein technischer Fehler auf. Technische Fehler können Infrastrukturunterbrechungen, Automatisierungsfehler oder andere nicht funktionale Trigger sein. In jedem dieser Szenarien wird der Test als fehlgeschlagen gekennzeichnet. Funktionale Ergebnisse sollen nur das Ergebnis von Geschäftsüberprüfungen widerspiegeln. Daher zeigen sie bei Fehlern kein Ergebnis an, da ein zuverlässiges Ergebnis fehlt.
Erstellen von Insights-Dashboards basierend auf benutzerdefinierten Feldern
Sie können Insights-Dashboards für Anforderungen und Testsätze basierend auf den benutzerdefinierten Feldern erstellen, die diesen Datenobjekten zugeordnet sind.
Sie können maximal 5 Selektoren für benutzerdefinierte Felder und 5 Dimensionen arbeiten.
- Melden Sie sich bei Ihrer Plattform an und navigieren Sie zu Insights.
- Wechseln Sie zu Dashboards und fügen Sie ein Dashboard hinzu.
- Öffnen Sie das Dashboard und wählen Sie Dashboard bearbeiten aus.
- Zeigen Sie mit der Maus auf die Symbolleiste und wählen Sie Hinzufügen aus.
Abbildung 2. Hinzufügen des Insights-Dashboards
-
Wählen Sie Visualisierung aus.
-
Wählen Sie unter Test Manager das Datenobjekt aus, für das Sie ein Dashboard erstellen möchten. Wählen wir zum Beispiel Anforderungen aus.
-
Erweitern Sie die Datenobjektkategorie. Erweitern Sie für unser Beispiel die Anforderungen. Beachten Sie, dass Sie maximal 5 benutzerdefinierte Feldselektoren (aufgelistet als benutzerdefinierter Feldselektor 1 usw., unter Nur-Filter-Felder) und 5 Dimensionen (aufgelistet als benutzerdefiniertes Feld 1 usw. unter Dimensionen) haben können. Es gibt eine 1:1-Entsprechung zwischen den fünf benutzerdefinierten Feldselektoren und den 5 benutzerdefinierten Felddimensionen. Beispielsweise entspricht der benutzerdefinierte Feldselektor 1 dem benutzerdefinierten Feld 1.
-
Wählen Sie unter Nur-Filter-Felder einen oder mehrere benutzerdefinierte Feldselektoren aus.
Abbildung 3. Auswahl benutzerdefinierter Felder
- Erweitern Sie die Dropdownliste, um alle benutzerdefinierten Felder anzuzeigen, die im Mandanten für Ihr Datenobjekt verfügbar sind. Das folgende Beispiel zeigt die benutzerdefinierten Felder, die im Beispielmandanten für Anforderungen verfügbar sind.
Abbildung 4. Benutzerdefinierte Feldwerte
-
Wählen Sie die benutzerdefinierten Feldwerte für Ihre benutzerdefinierten Feldselektoren aus.
-
Wählen Sie unter Dimensionen die benutzerdefinierten Felder aus. Wählen Sie beispielsweise Benutzerdefiniertes Feld 1, Benutzerdefiniertes Feld 2 und Benutzerdefiniertes Feld 3 aus.
-
Wählen Sie unter Benutzerdefinierte Feldfilter die benötigten Werte aus. Wählen Sie beispielsweise Name und Projektname aus.
-
Wählen Sie unter Messungen die benötigten Werte aus. Wählen Sie für dieses Beispiel Gesamtanzahl der Testfälle aus.
-
Die von Ihnen ausgewählten Werte werden auf der rechten Seite im Arbeitsbereich-Editor angezeigt.
Abbildung 5. Maßnahmen


15. Wählen Sie oben rechts im Arbeitsbereich Ausführen aus.
Abbildung 6. Führen Sie das Dashboard aus


16. Warten Sie, bis die Daten geladen sind. Die Daten können in verschiedenen Formaten visualisiert werden: Tabelle, Diagramme oder Diagramme.
-
(Optional) Sortieren Sie Ihre Daten nach Spalten. Sortieren Sie Ihre Daten zum Beispiel nach Priorität.
-
Wählen Sie oben rechts im Arbeitsbereichs-Editor die Option Speichern aus.
-
Wählen Sie das Bleistiftsymbol aus oder klicken Sie innerhalb des Tabellennamens, um Ihrem Dashboard einen offiziellen Namen zu geben. In unserem Beispiel haben wir das Dashboard „Benutzerdefiniertes Feld für Anforderung“ benannt.
-
Passen Sie die Größe der Tabelle durch Ziehen der Kanten an.
-
Fügen Sie im Symbolleistenmenü einen Filter für Ihr Dashboard hinzu.
-
Wählen Sie Filter > Filter hinzufügen aus.
-
Fügen Sie Filter für Ihr Datenobjekt hinzu, in unserem Fall Anforderungen. Erweitern Sie das Datenobjekt (Anforderungen), erweitern Sie benutzerdefinierte Feldfilter und wählen Sie einen Selektor aus (z. B. Benutzerdefinierter Feldfilterselektor 1).
Abbildung 7. Filter


24. Fahren Sie im Dialogfeld Filter hinzufügen mit der Konfiguration Ihres Filters (Titel, Steuerelement, Standardwert) fort und wählen Sie dann Hinzufügen aus. Für dieses Beispiel haben wir ein Optionsfeld ausgewählt.
Abbildung 8. Filter hinzufügen


25. Erweitern Sie das Datenobjekt (Anforderungen) erneut und wählen Sie den Selektorwert aus. In diesem Beispiel haben wir Benutzerdefinierte Feldfilter > Benutzerdefinierter Feldfilter 1 ausgewählt.
Abbildung 9. Benutzerdefinierter Feldfilter


26. Setzen Sie im Dialogfeld Filter hinzufügen die Konfiguration (Titel, Steuerelement, Filteroptionen) fort und wählen Sie Hinzufügen aus. In unserem Beispiel haben wir aus dem Feld „Steuerelement“ die Option „Erweitert“ ausgewählt und sind ein beliebiger Wert aus dem Feld „Standardwert konfigurieren“ .
Abbildung 10. Filterkonfiguration


27. Überprüfen Sie in Ihrem Dashboard den von Ihnen hinzugefügten Filter. In diesem Beispiel haben wir den benutzerdefinierten Feldfilter-Selektor 1 und den benutzerdefinierten Feldfilter 1 hinzugefügt. Erweitern Sie unter dem ersten Filter das Menü ist , wählen Sie einen Wert (Priorität) und dann Anwenden aus. Erweitern Sie unter dem zweiten Filter das Menü ist ein beliebiger Wert , wählen Sie einen Operator und einen Wert (enthält Hoch oder Mittel) aus und wählen Sie Anwenden aus.
Abbildung 11. Filterwerte


28. Wählen Sie die Schaltfläche Aktualisieren in der oberen rechten Ecke des Arbeitsbereichs-Editors aus.
Test Manager-Datenmodell
Begriffe und Konzepte
Die Struktur des Test Manager-Datenmodells basiert auf den folgenden Konzepten:
| Konzept | Beschreibung |
|---|---|
| Erkunden | Der Ausgangspunkt für die Erkundung. Die Daten werden über Analysefenster angezeigt, die als allgemeine Entität entsprechend den darin enthaltenen Felder betrachtet werden können. |
| Ansicht | Eine Ansicht stellt eine Tabelle mit Daten dar, unabhängig davon, ob diese Tabelle in Ihrer Datenbank enthalten ist oder mit der abgeleiteten Tabellenfunktion von Looker erstellt wurde. In jeder Ansicht befinden sich Felddefinitionen, von denen jede normalerweise einer Spalte in der zugrunde liegenden Tabelle oder einer Berechnung in Looker entspricht. |
| Dimension | Als Teil einer Ansicht innerhalb von Explore ist die Dimension ein gruppierbares Feld und kann zum Filtern von Abfrageergebnissen verwendet werden. Dies kann einer der folgenden sein:
|
| Messung | Als Teil einer Ansicht innerhalb von Explore deklariert der Measure-Parameter eine neue Kennzahl (Aggregation) und gibt einen Namen für diese Kennzahl an. integer , string . |
Dimensionen und Messungen
Die Funktionsverfügbarkeit hängt von der Cloud-Plattform ab, die Sie verwenden. Weitere Informationen finden Sie auf der Seite zur Verfügbarkeit der Test Manager-Funktion.
Die Dimensionen und Maßnahmen für Anforderungen, Testsätze und Testausführungen sind im Test Manager nur verfügbar, wenn sie über Test Cloud bereitgestellt werden.
Testfallprotokolle
In den folgenden Tabellen werden die verfügbaren Dimensionen und Messungen für Testfallprotokolle beschrieben.
| Dimension | Typ | Beschreibung |
|---|---|---|
| E-Mail-Adresse des Beauftragten | string | Die E-Mail-Adresse des Benutzers, dem ein Testfall zugewiesen wurde. |
| Name des Automatisierungsprojekts | string | Der Name der Automatisierung, die mit dem Testfall verknüpft ist. |
| Fälligkeitsdatum | Datum | Das Datum, an dem die Ausführung eines manuellen Testfalls geplant war. |
| Ausführungsstart | Datum | Das Datum, an dem die Testausführung gestartet wurde. |
| Ausgeführt von | string | Der Benutzername oder Robotername, der den Test ausgeführt hat. |
| Ausführung beendet | Datum | Das Datum, an dem die Testausführung beendet wurde. |
| Ausführungstyp | string | Der Typ der Ausführung:
|
| Name der Hostmaschine | string | Der Name des Computers. |
| Projektname | string | Der Name des Test Manager-Projekts. |
| Projektpräfix | string | Das Präfix des Test Manager-Projekts. |
| Meldedatum | Datum | Das Datum, an dem der Test ausgeführt wurde. Dies ist ein Datum ohne Uhrzeit und auch ohne Zeitzone. |
| Ergebnis | string | Das Testfallergebnis: Bestanden, Fehlgeschlagen oder Keines. |
| Robotername | string | Der Name des Roboters, der den Test ausgeführt hat. |
| Name der Testausführung | string | Der Name der Testausführung. |
Tabelle 2. Kennzahlen für Testfallprotokolle
| Messungen | Typ | Beschreibung |
|---|---|---|
| Gesamtanzahl | Integer | Die Gesamtanzahl der Testfallprotokolle. |
| Anzahl bestanden | string | Die Anzahl der bestandenen Testfallprotokolle. |
| Anzahl fehlgeschlagen (technisch) | Integer | Technische Ergebnisse zeigen Ergebnisse als fehlgeschlagen an , wenn während der Ausführung eine Ausnahme auftritt. |
| Anzahl ohne Ergebnis (technisch) | Integer | Technische Ergebnisse zeigen keine Ergebnisse an, wenn während der Ausführung eine Ausnahme auftritt. |
| DurationInSeconds | Integer | Gesamtlaufzeit in Sekunden. |
Anforderungen
In den folgenden Tabellen werden die verfügbaren Dimensionen und Messungen für Anforderungen beschrieben.
Tabelle 3. Anforderungsdimensionen
| Dimension | Typ | Beschreibung |
|---|---|---|
| Projektname | string | Eine Kombination aus dem Projektnamen und dem Projektpräfix sollte ihn eindeutig machen und die Lesbarkeit erhöhen. |
| Name | string | Eine Kombination aus dem Anforderungsschlüssel und seinem Namen, um ihn eindeutig zu machen und die Lesbarkeit zu erhöhen. |
Tabelle 4. Anforderungsmaßnahmen
| Messung | Typ | Beschreibung |
|---|---|---|
| Gesamtanzahl der Testfälle | Integer | Die Anzahl der Testfälle, die einer Anforderung zugewiesen sind. |
| Anzahl der automatisierten Testfälle | Integer | Die Anzahl der automatisierten Testfälle, die einer Anforderung zugewiesen sind. |
| Anzahl der manuellen Testfälle | Integer | Die Anzahl der manuellen Testfälle, die einer Anforderung zugewiesen sind. |
| Anzahl der bestandenen Testfälle | Integer | Die Anzahl der Testfälle, die einer Anforderung zugewiesen sind und im letzten Testlauf bestanden wurden. |
| Anzahl der fehlgeschlagenen Testfälle | Integer | Die Anzahl der Testfälle, die einer Anforderung zugewiesen sind und im letzten Testlauf fehlgeschlagen sind. |
| Keine Testfallanzahl | Integer | Die Anzahl der Testfälle, die einer Anforderung zugewiesen sind, ohne Ergebnis im letzten Testlauf. |
| Gesamtanzahl der Anforderungen | Integer | Die Gesamtzahl der Anforderungen. |
Testsätze
In den folgenden Tabellen werden die verfügbaren Dimensionen und Messungen für Testsätze beschrieben.
Für zugewiesene Testfälle enthält die Testsatzansicht Informationen über statische Testzuweisungen.
Tabelle 5. Testsatzdimensionen
| Dimension | Typ | Beschreibung |
|---|---|---|
| Projektname | string | Eine Kombination aus dem Projektnamen und dem Projektpräfix sollte ihn eindeutig machen und die Lesbarkeit erhöhen. |
| Name | string | Eine Kombination aus dem Projektnamen und dem Projektpräfix sollte ihn eindeutig machen und die Lesbarkeit erhöhen. |
| Robotername | string | Der Name des Roboters, der den Testsatz ausgeführt hat. |
| Quelle | string | Die Quelle des Testsatzes: Orchestrator oder Test Manager. |
Tabelle 6 Maßnahmen des Testsatzes
| Messung | Typ | Beschreibung |
|---|---|---|
| Gesamtanzahl der Testsätze | Integer | Die Anzahl der Testsätze. |
| Anzahl der automatisierten Testfälle | string | Die Anzahl der automatisierten Testfälle im Testsatz. |
| Anzahl der manuellen Testfälle | Integer | Anzahl der manuellen Testfälle im Testsatz. |
Testausführung
In den folgenden Tabellen werden die verfügbaren Dimensionen und Messungen für Testausführungen beschrieben.
Tabelle 7. Dimensionen von Testausführungen
| Dimension | Typ | Beschreibung |
|---|---|---|
| Projektname | string | Eine Kombination aus Projektpräfix und Name, um sie eindeutig zu machen und die Lesbarkeit zu erhöhen. |
| Name | string | Eine Kombination aus Ausführungs-ID und Name, um sie eindeutig zu machen und die Lesbarkeit zu erhöhen. |
| Testsatzname | string | Eine Kombination aus Testsatzschlüssel und -name, um ihn eindeutig zu machen und die Lesbarkeit zu erhöhen. |
| Ausführungstyp | string | Der Ausführungstyp: Manuell, Automatisiert, Keine oder Gemischt. |
| Quelle | string | Die Quelle der Ausführung: TestManager, Orchestrator oder Studio. |
Tabelle 8. Maßnahmen zur Testausführung
| Messung | Typ |
|---|---|
| Gesamtanzahl der Testausführungen | Integer |
| Anzahl der manuellen Ausführungstypen | Integer |
| Anzahl der automatisierten Ausführungstypen | Integer |
| Anzahl der gemischten Ausführungstypen | Integer |
| Dauer der Testausführung in Sekunden | Integer |