Generieren Sie Tests für Anforderungen

This page lists guidelines and best practices to effectively generate test cases using Autopilot in Test Manager.

Anforderungsbeschreibung

In diesem Abschnitt werden die wichtigsten Eigenschaften einer Anforderung im Test Manager beschrieben.

Die Anforderungen beinhalten oft spezifische Fähigkeiten, die mit Qualitätsaspekten verbunden sind, wie zum Beispiel funktionale Aspekte (was die Software tun sollte), Leistungsaspekte (wie schnell sie arbeiten sollte), Benutzerfreundlichkeit (wie einfach sie zu bedienen ist) und Sicherheit (wie sicher sie arbeiten sollte), neben vielen anderen.

1. Der Zweck der Anforderung

AI models, such as Autopilot, rely on specificity for correctly interpreting requirements. Broad or vague descriptions might lead to irrelevant, or incorrect test cases. To mitigate this, start with a concise, yet precise user-focused statement that outlines the requirement's purpose. Focus on enforcing the ultimate benefit to the user.

Beispiel: Bei einem Antrag auf eine Lebensversicherung könnten Sie damit beginnen:

„Als potenzieller Versicherungsnehmer möchte ich meine Versicherungsprämien berechnen, damit ich meine möglichen Kosten einschätzen kann.“

Dies verdeutlicht den erwarteten Nutzen für den Benutzer und setzt ein definitives Ziel für das Testen dieser Anforderung.

2. Anwendungslogik

The efficiency of Autopilot in generating accurate and detailed test steps largely depends on its understanding of the user journey and application sequence. So, it's crucial to detail the specific interactions that the user will have with the application and the subsequent application responses (from the start of the application up to the final test action). This helps Autopilot understand the chronological order of operations, leading to more accurate and detailed test steps.

Beispiel: Für die Funktion zur Berechnung der Versicherungsprämie beschreiben Sie den Workflow wie folgt:

„Die Benutzer starten auf dem Hauptbildschirm und navigieren über das Hauptmenü zum Bildschirm „Angebot abrufen“. Sie tragen dann ihre persönlichen Daten, einschließlich Alter und Geschlecht, in die dafür vorgesehenen Formularfelder ein. Sie wählen den gewünschten Versicherungsschutz und die Laufzeit aus den verfügbaren Optionen aus. Wenn die Benutzer auf „Prämie berechnen“ klicken, berechnet die Anwendung die Prämie und zeigt sie auf dem nächsten Bildschirm an.

3. Akzeptanzkriterien

Clear, measurable acceptance criteria are vital for setting application expectations and guiding Autopilot to verify specific outcomes. They should encompass both positive and negative scenarios, including situations where users may not follow prescribed usage, may input invalid data, or when the application may reach an error state. Criteria should also consider non-functional factors like security, usability, and scalability. Without well-defined acceptance criteria, Autopilot might generate inadequate test cases.

Beispiel: Geben Sie für die Prämienberechnungsfunktion unseres Lebensversicherungsantrags konkrete Annahmekriterien wie in einem der folgenden Beispiele an:

• „Das System muss die Prämie unter Berücksichtigung des Alters des Benutzers berechnen.“Für jedes Jahr über 25 Jahren muss ein Zuschlag von 5 US-Dollar zur Grundprämie von 100 US-Dollar hinzugefügt werden.
• „Das System muss die Prämie für Raucher um 50 Dollar erhöhen, da dies mit höheren Gesundheitsrisiken verbunden ist.“
• „Wenn der Benutzer ein Alter unter 18 Jahren eingibt, sollte das System eine Fehlermeldung anzeigen.“
• „Der Prozess zur Berechnung der Prämie sollte nicht länger als 3 Sekunden dauern, wenn die Anzahl der gleichzeitigen Benutzer nicht größer als 1000 ist.“

Zusätzliche Anweisungen

This section provides guidelines so you can allow Autopilot to focus on aspects that should be considered when generating test cases.

Guide Autopilot by providing additional instructions in the Provide Additional Guidance screen. Use the out-of-the-box prompts from the Prompt Library, which help generate end-to-end test cases from flow diagrams, generate tests for valid end-to-end scenarios, generate tests to find elusive issues and generate end-to-end tests from flow diagrams. You can also add your own custom prompts to the Prompt Library, especially those you frequently use for manual test case generation.

To generate a specific number of test cases, instruct Autopilot with commands like "Generate the top 20 test cases for this requirement." By default, Autopilot0 generates expected results only for the final test step in each test case. To generate expected results for each test step, use "Generate expected results for each test step". Additionally, Autopilot1 can generate preconditions and/or postconditions for manual test cases upon request. Specify what to include or exclude, as the preconditions and postconditions are not generated by default.

Begleitdokumente

This section lists supporting documents you can provide to Autopilot2. These documents are additional information that complement the description of a requirement in Test Manager. These documents are intended to enhance the understanding of Autopilot about a requirement, enabling it to generate more accurate and useful test cases for a requirement.

Prozessdiagramme

Um die einzelnen Schritte innerhalb der Anwendung zu veranschaulichen, sollten Sie Anwendungsfalldiagramme, Flowcharts oder Prozessdiagramme als Bilder oder BPMN-Dateien hinzufügen. Prozessdiagramme helfen Autopilot, den sequentiellen und logischen Ablauf der Benutzeraktivitäten zu erfassen, die für die jeweilige Anforderung wichtig sind. Dank dieser Prozessdarstellungen kann Autopilot präzisere Testfälle erstellen, die sich eng an den tatsächlichen Workflows der Anwendung ausrichten.

Mockups und grafische Darstellungen

Um Autopilot das Verständnis zu erleichtern, sollten Sie visuelle Diagramme hinzufügen, in denen Ihre UI/UX-Anforderungen dargestellt werden. Dies ist vor allem beim Testen neuer Front-End-Funktionen nützlich und hilft, das Layout, die Interaktionen mit dem Benutzer und die zu testenden Elemente zu klären.

Compliance-Dokumente

In regulierten Branchen wie dem Gesundheitswesen, dem Finanzwesen oder der Telekommunikation sollten Sie auch Dokumente zur Einhaltung von Vorschriften und Bestimmungen einbeziehen. Diese Richtlinien gelten oft universell für verschiedene Anforderungen (z. B. Benutzerstorys oder Anwendungsfälle) im Test Manager. Durch das Hochladen dieser Dokumente ermöglichen Sie Autopilot die Integration von Compliance-Standards in die Testfälle, die es für jede Anforderung generiert, nicht nur in die Testfälle, die direkt mit bestimmten Compliance-Knoten verknüpft sind. Dieser Ansatz stellt sicher, dass alle Testfälle den Branchenvorschriften entsprechen und dass die Compliance bei allen von Autopilot getesteten Anforderungen konsistent behandelt wird.

Transkripte der Diskussionen

Sie sollten in Erwägung ziehen, ein Transkript von Diskussionen über bestimmte Anforderungen beizufügen. Dabei kann es sich um eine Besprechung oder eine virtuelle Sitzung über Online-Plattformen handeln, an der Entwickler, Produktinhaber und Testpersonen teilnehmen. Transkripte liefern Autopilot Einblicke in die Interpretationen oder Pläne der Teammitglieder zur Umsetzung einer Anforderung und bieten einen Kontext, der die Präzision der generierten Testfälle erheblich verbessern kann.

Funktionseinschränkungen

This section outlines the current limitations of Autopilot3.

Unterstützte Dateitypen

Autopilot kann verschiedene Dateitypen verarbeiten. Je nach Dateityp kann Autopilot bestimmte Inhalte daraus verarbeiten. In der folgenden Liste sind die Dateitypen aufgeführt, die Sie Autopilot anbieten können, zusammen mit Details zum Inhaltstyp, den Autopilot von jedem Typ verarbeiten kann:

• Verarbeitet nur Textinhalt – Autopilot verarbeitet nur den Textinhalt aus diesen Dateitypen:
  • TXT
  • BPMN
  • CSV
• Verarbeitet sowohl Text- als auch Bildinhalte – Autopilot verarbeitet sowohl den Text als auch die Bilder dieser Dateitypen:
  • DOCX
  • XLSX
  • PNG
  • JPG
  • PDF

Kapazität des Eingabetokens

Die maximale Eingabetokenkapazität von Autopilot beträgt 128.000, was ungefähr 96.000 Wörtern oder 512.000 Zeichen entspricht.

Stellen Sie sicher, dass Ihre Anforderungsbeschreibung und die unterstützenden Dokumente diese Grenzwerte nicht überschreiten.

Tipp:

Nach unseren Beobachtungen entsprechen 100 Token ungefähr 75 Wörtern oder 400 Zeichen.

Um die ungefähre Anzahl der Token in Ihren Dokumenten zu überprüfen, öffnen Sie das Dokument als TXT-Datei und kopieren Sie den Inhalt in das Open AI Tokenizer-Tool. Die angegebene Anzahl der Token ist ein Näherungswert. Die tatsächliche Tokenanzahl kann höher sein.

Generierung von Testfällen

Autopilot ist derzeit darauf beschränkt, maximal 50 Testfälle gleichzeitig zu generieren. Wenn die Anzahl der zu generierenden Testfälle nicht angegeben ist, generiert der Autopilot 10 Testfälle.