Generate tests for requirements

Wichtig:

Diese Funktion ist derzeit Teil eines Prüfungsprozesses und gilt erst nach Abschluss der Überprüfung als Teil der FedRAMP-Autorisierung. Hier finden Sie die vollständige Liste der Funktionen, die derzeit überprüft werden.

This page lists guidelines and best practices to effectively generate test cases using Autopilot^TM in Test Manager.

Anforderungsbeschreibung

In diesem Abschnitt werden die wichtigsten Eigenschaften einer Anforderung im Test Manager beschrieben.

Die Anforderungen beinhalten oft spezifische Fähigkeiten, die mit Qualitätsaspekten verbunden sind, wie zum Beispiel funktionale Aspekte (was die Software tun sollte), Leistungsaspekte (wie schnell sie arbeiten sollte), Benutzerfreundlichkeit (wie einfach sie zu bedienen ist) und Sicherheit (wie sicher sie arbeiten sollte), neben vielen anderen.

1. Der Zweck der Anforderung

AI models, such as Autopilot^TM, rely on specificity for correctly interpreting requirements. Broad or vague descriptions might lead to irrelevant, or incorrect test cases. To mitigate this, start with a concise, yet precise user-focused statement that outlines the requirement's purpose. Focus on enforcing the ultimate benefit to the user.

Beispiel: Bei einem Antrag auf eine Lebensversicherung könnten Sie damit beginnen:

„Als potenzieller Versicherungsnehmer möchte ich meine Versicherungsprämien berechnen, damit ich meine möglichen Kosten einschätzen kann.“

Dies verdeutlicht den erwarteten Nutzen für den Benutzer und setzt ein definitives Ziel für das Testen dieser Anforderung.

2. Anwendungslogik

The efficiency of Autopilot^TM in generating accurate and detailed test steps largely depends on its understanding of the user journey and application sequence. So, it's crucial to detail the specific interactions that the user will have with the application and the subsequent application responses (from the start of the application up to the final test action) is key. This helps Autopilot^TM understand the chronological order of operations, leading to more accurate and detailed test steps.

Beispiel: Für die Funktion zur Berechnung der Versicherungsprämie beschreiben Sie den Workflow wie folgt:

„Die Benutzer starten auf dem Hauptbildschirm und navigieren über das Hauptmenü zum Bildschirm „Angebot abrufen“. Sie tragen dann ihre persönlichen Daten, einschließlich Alter und Geschlecht, in die dafür vorgesehenen Formularfelder ein. Sie wählen den gewünschten Versicherungsschutz und die Laufzeit aus den verfügbaren Optionen aus. Wenn die Benutzer auf „Prämie berechnen“ klicken, berechnet die Anwendung die Prämie und zeigt sie auf dem nächsten Bildschirm an.

3. Akzeptanzkriterien

Clear, measurable acceptance criteria are vital for setting application expectations and guiding Autopilot^TM to verify specific outcomes. They should encompass both positive and negative scenarios, including situations where users may not follow prescribed usage, may input invalid data, or when the application may reach an error state. Criteria should also consider non-functional factors like security, usability, and scalability. Without well-defined acceptance criteria, Autopilot^TM might generate inadequate test cases.

Beispiel: Geben Sie für die Prämienberechnungsfunktion unseres Lebensversicherungsantrags konkrete Annahmekriterien wie in einem der folgenden Beispiele an:

• „Das System muss die Prämie unter Berücksichtigung des Alters des Benutzers berechnen. Für jedes Jahr über 25 muss die Grundprämie von 100 € um einen Zuschlag von 5 € hinzugefügt werden.
• „Das System muss die Prämie für Raucher aufgrund der damit verbundenen höheren Gesundheitsgefahren um 50 € erhöhen.“
• „Wenn der Benutzer ein Alter unter 18 Jahren eingibt, sollte das System eine Fehlermeldung anzeigen.“
• „Der Prozess der Prämienberechnung sollte nicht länger als 3 Sekunden dauern, wenn die Anzahl der Concurrent User kleiner oder gleich 1000 ist.“

Zusätzliche Anweisungen

This section provides guidelines so you can allow Autopilot^TM to focus on aspects that should be considered when generating test cases.

Guide Autopilot^TM by providing additional instructions in the Provide Additional Guidance screen. Use the out-of-the-box prompts from the Prompt Library, which help generate end-to-end test cases from flow diagrams, generate tests for valid end-to-end scenarios, generate tests to find elusive issues, generate end-to-end tests from flow diagrams, and generate tests to find elusive issues. You can also add your own custom prompts to the Prompt Library, especially those you frequently use for manual test case generation.

To generate a specific number of test cases, instruct Autopilot^TM with commands like "Generate the top 20 test cases for this requirement." By default, Autopilot^TM generates expected results only for the final test step in each test case. To generate expected results for each test step, use "Generate expected results for each test step". Additionally, Autopilot^TM can generate preconditions and/or postconditions for manual test cases upon request. Specify what to include or exclude, as the preconditions and postconditions are not generated by default.

Begleitdokumente

This section lists supporting documents you can provide to Autopilot^TM. These documents are additional information that complement the description of a requirement in Test Manager. These documents are intended to enhance the understanding of Autopilot about a requirement, enabling it to generate more accurate and useful test cases for a requirement.

Prozessdiagramme

Um die einzelnen Schritte innerhalb der Anwendung zu veranschaulichen, sollten Sie Anwendungsfalldiagramme, Flowcharts oder Prozessdiagramme als Bilder oder BPMN-Dateien hinzufügen. Prozessdiagramme helfen Autopilot, den sequentiellen und logischen Ablauf der Benutzeraktivitäten zu erfassen, die für die jeweilige Anforderung wichtig sind. Dank dieser Prozessdarstellungen kann Autopilot präzisere Testfälle erstellen, die sich eng an den tatsächlichen Workflows der Anwendung ausrichten.

Mockups und grafische Darstellungen

Um Autopilot das Verständnis zu erleichtern, sollten Sie visuelle Diagramme hinzufügen, in denen Ihre UI/UX-Anforderungen dargestellt werden. Dies ist vor allem beim Testen neuer Front-End-Funktionen nützlich und hilft, das Layout, die Interaktionen mit dem Benutzer und die zu testenden Elemente zu klären.

Compliance-Dokumente

In regulated industries such as healthcare, finance, or telecommunications, consider including compliance and regulatory documents. These guidelines often apply universally across various requirements (for example: user stories or use cases) in Test Manager. By uploading these documents, you enable Autopilot to integrate compliance standards into the test cases it generates for each requirement, not just those directly linked to specific compliance criteria. This approach ensures that all test cases adhere to industry regulations and that compliance is consistently addressed across all requirements tested by Autopilot.

Transkripte der Diskussionen

Sie sollten in Erwägung ziehen, ein Transkript von Diskussionen über bestimmte Anforderungen beizufügen. Dabei kann es sich um eine Besprechung oder eine virtuelle Sitzung über Online-Plattformen handeln, an der Entwickler, Produktinhaber und Testpersonen teilnehmen. Transkripte liefern Autopilot Einblicke in die Interpretationen oder Pläne der Teammitglieder zur Umsetzung einer Anforderung und bieten einen Kontext, der die Präzision der generierten Testfälle erheblich verbessern kann.

Funktionseinschränkungen

This section outlines the current limitations of Autopilot^TM.

Unterstützte Dateitypen

Sie können nur die folgenden Dateierweiterungen hochladen, von denen Autopilot nur den Textinhalt verarbeitet:

• DOCX
• XLSX
• TXT
• CSV
• PNG
• JPG
• PDF
• BPMN

Hinweis: Der Autopilot verarbeitet nur den Textinhalt in den Dateien. Bilder in den Dateien werden nicht verarbeitet.

Kapazität des Eingabetokens

Die maximale Eingabetokenkapazität von Autopilot beträgt 128.000, was ungefähr 96.000 Wörtern oder 512.000 Zeichen entspricht.

Stellen Sie sicher, dass Ihre Anforderungsbeschreibung und die unterstützenden Dokumente diese Grenzwerte nicht überschreiten.

Tipp: Nach unseren Beobachtungen entsprechen 100 Token ungefähr 75 Wörtern oder 400 Zeichen.

Um die ungefähre Anzahl der Token in Ihren Dokumenten zu überprüfen, öffnen Sie das Dokument als TXT-Datei und kopieren Sie den Inhalt in das Open AI Tokenizer-Tool. Die angegebene Anzahl der Token ist ein Näherungswert. Die tatsächliche Tokenanzahl kann höher sein.

Generierung von Testfällen

Autopilot ist derzeit darauf beschränkt, maximal 50 Testfälle gleichzeitig zu generieren. Wenn die Anzahl der zu generierenden Testfälle nicht angegeben ist, generiert der Autopilot 10 Testfälle.