Generate tests for requirements

Important :

Cette fonctionnalité fait actuellement partie d'un processus d'audit et ne doit pas être considérée comme faisant partie de l'autorisation FedRAMP tant que la révision n'est pas finalisée. Consultez ici la liste complète des fonctionnalités en cours de révision.

This page lists guidelines and best practices to effectively generate test cases using Autopilot^TM in Test Manager.

Description des exigences

Cette section décrit les principales caractéristiques d’une exigence dans Test Manager.

Les exigences impliquent souvent des capacités spécifiques liées à des aspects qualitatifs tels que les aspects fonctionnels (ce que le logiciel doit faire), les performances (la vitesse de fonctionnement), l’utilisabilité (la facilité d’utilisation), la protection (la sécurité de l’exécution), etc.

1. L’objectif de l’exigence

AI models, such as Autopilot^TM, rely on specificity for correctly interpreting requirements. Broad or vague descriptions might lead to irrelevant, or incorrect test cases. To mitigate this, start with a concise, yet precise user-focused statement that outlines the requirement's purpose. Focus on enforcing the ultimate benefit to the user.

Exemple : pour une demande d’assurance vie, vous pouvez commencer par :

« En tant qu’assuré potentiel, je souhaite calculer mes primes d’assurance afin de calculer mes dépenses potentielles ».

Cela permet de préciser l’avantage attendu par l’utilisateur et d’identifier un objectif précis pour tester cette exigence.

2. Logique d’application

The efficiency of Autopilot^TM in generating accurate and detailed test steps largely depends on its understanding of the user journey and application sequence. So, it's crucial to detail the specific interactions that the user will have with the application and the subsequent application responses (from the start of the application up to the final test action) is key. This helps Autopilot^TM understand the chronological order of operations, leading to more accurate and detailed test steps.

Exemple : pour la fonctionnalité de calcul des primes d’assurance, décrivez le workflow comme suit :

« L’utilisateur commence par l’écran principal, puis accède à l’écran ’Obtenir un devis’ via le menu principal. Il saisit ensuite ses données personnelles, notamment son âge et son sexe, dans les champs correspondants du formulaire. Il sélectionne une couverture d’assurance et une durée de contrat parmi les options disponibles. Lorsque l’utilisateur clique sur ’Calculer la prime’, l’application calcule et affiche la prime sur l’écran suivant. »

3. Critères d’acceptation

Clear, measurable acceptance criteria are vital for setting application expectations and guiding Autopilot^TM to verify specific outcomes. They should encompass both positive and negative scenarios, including situations where users may not follow prescribed usage, may input invalid data, or when the application may reach an error state. Criteria should also consider non-functional factors like security, usability, and scalability. Without well-defined acceptance criteria, Autopilot^TM might generate inadequate test cases.

Exemple : pour la fonction de calcul de la prime dans notre demande d’assurance vie, spécifiez des critères d’acceptation concrets, comme dans l’un des exemples suivants :

• « Le système doit calculer la prime en tenant compte de l’âge de l’utilisateur. Pour chaque année après 25 ans, un incrément de 5 $ doit être ajouté à la prime de base de 100 $ »
• « Le système doit augmenter la prime de 50 $ pour les fumeurs en raison des risques de santé plus élevés qui leur sont associés »
• « Si l’utilisateur saisit un âge inférieur à 18 ans, le système doit afficher un message d’erreur »
• « Le processus de calcul de la prime ne doit pas prendre plus de 3 secondes lorsque le nombre d’utilisateurs simultanés est inférieur ou égal à 1000 »

Instructions supplémentaires

This section provides guidelines so you can allow Autopilot^TM to focus on aspects that should be considered when generating test cases.

Guide Autopilot^TM by providing additional instructions in the Provide Additional Guidance screen. Use the out-of-the-box prompts from the Prompt Library, which help generate end-to-end test cases from flow diagrams, generate tests for valid end-to-end scenarios, generate tests to find elusive issues, generate end-to-end tests from flow diagrams, and generate tests to find elusive issues. You can also add your own custom prompts to the Prompt Library, especially those you frequently use for manual test case generation.

To generate a specific number of test cases, instruct Autopilot^TM with commands like "Generate the top 20 test cases for this requirement." By default, Autopilot^TM generates expected results only for the final test step in each test case. To generate expected results for each test step, use "Generate expected results for each test step". Additionally, Autopilot^TM can generate preconditions and/or postconditions for manual test cases upon request. Specify what to include or exclude, as the preconditions and postconditions are not generated by default.

Documents d’assistance

This section lists supporting documents you can provide to Autopilot^TM. These documents are additional information that complement the description of a requirement in Test Manager. These documents are intended to enhance the understanding of Autopilot about a requirement, enabling it to generate more accurate and useful test cases for a requirement.

Diagrammes de processus

Pour illustrer les opérations étape par étape dans l’application, vous pouvez inclure des diagrammes de cas d’utilisation, des organigrammes ou des diagrammes de processus sous forme d’images ou de fichiers BPMN. Les diagrammes de processus permettent à Autopilot de comprendre le flux séquentiel et logique des activités utilisateur les plus importantes pour l’exigence concernée. Grâce à ces représentations de processus, Autopilot peut générer des cas de test plus précis, qui s’aligneront sur les workflows réels de l’application.

Maquettes et wireframes

Pour faciliter la compréhension de Autopilot, vous pouvez ajouter des diagrammes visuels représentatifs de vos exigences en matière d’interface utilisateur/d’expérience utilisateur. Ceci est particulièrement utile lorsque vous testez de nouvelles fonctionnalités front-end et vous permettra de clarifier la mise en page, les interactions utilisateur et les éléments à tester.

Documents de conformité

In regulated industries such as healthcare, finance, or telecommunications, consider including compliance and regulatory documents. These guidelines often apply universally across various requirements (for example: user stories or use cases) in Test Manager. By uploading these documents, you enable Autopilot to integrate compliance standards into the test cases it generates for each requirement, not just those directly linked to specific compliance criteria. This approach ensures that all test cases adhere to industry regulations and that compliance is consistently addressed across all requirements tested by Autopilot.

Transcriptions de discussions

Vous pouvez également inclure une transcription de discussions relatives à des exigences spécifiques. Ces discussions peuvent provenir d’une réunion ou d’une session virtuelle via une plate-forme en ligne et impliquer des développeurs, des propriétaires de produits et des testeurs. Les transcriptions fourniront à Autopilot des informations sur la façon dont les membres de l’équipe interprètent ou prévoient de mettre en œuvre une exigence, fournissant ainsi des éléments de contexte qui peuvent considérablement améliorer la précision des cas de test générés.

Limites fonctionnelles

This section outlines the current limitations of Autopilot^TM.

Types de fichiers pris en charge

Vous pouvez uniquement charger des fichiers avec les extensions suivantes, dans lesquels Autopilot traitera uniquement le contenu textuel :

• DOCX
• XLSX
• TXT
• CSV
• PNG
• JPG
• PDF
• BPMN

Remarque : Autopilot traite uniquement le contenu textuel des fichiers. Les images des fichiers ne sont pas traitées.

Capacité de jetons d’entrée

La capacité maximale du jeton d’entrée sur Autopilot est de 128 000, ce qui équivaut à environ 96 000 mots ou 512 000 caractères.

Veillez à ce que la description de vos exigences et les documents d’assistance ne dépassent pas les limites suivantes.

Astuce : d’après nos observations, 100 jetons correspondent environ à 75 mots ou 400 caractères.

Pour vérifier le nombre approximatif de jetons de vos documents, ouvrez le document sous forme de fichier TXT et copiez le contenu dans l’outil Open AI de générateur de jetons. Le nombre de jetons indiqué est approximatif. Il est possible que le nombre réel soit plus élevé.

Générateur de cas de test

Autopilot peut actuellement générer un maximum de 50 cas de test à la fois. Si le nombre de cas de test à générer n’a pas été spécifié, Autopilot génèrera 10 cas de test.