Generate tests for requirements

Importante:

Esta característica forma parte actualmente de un proceso de auditoría y no debe considerarse parte de la autorización de FedRAMP hasta que finalice la revisión. Consulta aquí la lista completa de características actualmente en revisión.

This page lists guidelines and best practices to effectively generate test cases using Autopilot^TM in Test Manager.

Descripción del requisito

Esta sección describe las características clave de un requisito en Test Manager.

Los requisitos a menudo implican capacidades específicas vinculadas a aspectos de calidad como aspectos funcionales (lo que debe hacer el software), aspectos de rendimiento (qué tan rápido debe operar), usabilidad (qué tan fácil es utilizar) y seguridad (qué tan seguro debe operar), entre muchos otros.

1. El propósito del requisito

AI models, such as Autopilot^TM, rely on specificity for correctly interpreting requirements. Broad or vague descriptions might lead to irrelevant, or incorrect test cases. To mitigate this, start with a concise, yet precise user-focused statement that outlines the requirement's purpose. Focus on enforcing the ultimate benefit to the user.

Ejemplo: para una aplicación de seguro de vida, puedes empezar con:

"Como titular potencial de la póliza, quiero calcular mis primas de seguro para poder comprender mis costes potenciales".

Esto aclara el beneficio esperado para el usuario y establece un objetivo definitivo para probar ese requisito.

2. Lógica de la aplicación

The efficiency of Autopilot^TM in generating accurate and detailed test steps largely depends on its understanding of the user journey and application sequence. So, it's crucial to detail the specific interactions that the user will have with the application and the subsequent application responses (from the start of the application up to the final test action) is key. This helps Autopilot^TM understand the chronological order of operations, leading to more accurate and detailed test steps.

Ejemplo: para la característica de cálculo de la prima del seguro, describe el flujo de trabajo de la siguiente manera:

"El usuario comienza en la pantalla principal, navega a la pantalla 'Obtener un presupuesto' a través del menú principal. A continuación, rellenan sus datos personales, incluidos la edad y el género, en los campos del formulario designados. Seleccionan la cobertura de seguro y el término de la política deseados de las opciones disponibles. Cuando el usuario hace clic en "Calcular premium", la aplicación calcula y muestra la prima en la pantalla siguiente".

3. Criterios de aceptación

Clear, measurable acceptance criteria are vital for setting application expectations and guiding Autopilot^TM to verify specific outcomes. They should encompass both positive and negative scenarios, including situations where users may not follow prescribed usage, may input invalid data, or when the application may reach an error state. Criteria should also consider non-functional factors like security, usability, and scalability. Without well-defined acceptance criteria, Autopilot^TM might generate inadequate test cases.

Ejemplo: para la característica de cálculo de prima de nuestra aplicación de seguro de vida, especifica criterios de aceptación concretos como en uno de los siguientes ejemplos:

• "El sistema debe calcular la prima teniendo en cuenta la edad del usuario. Por cada año por encima de 25, se debe añadir un incremento de 5 $ a la prima base de 100"
• "El sistema debe aumentar la prima en 50 $ para los fumadores debido a los mayores riesgos de salud asociados"
• "Si el usuario introduce una edad inferior a 18, el sistema debe mostrar un mensaje de error"
• "El proceso de cálculo premium no debe tardar más de 3 segundos cuando el número de usuarios simultáneos es menor o igual a 1000"

Instrucciones adicionales

This section provides guidelines so you can allow Autopilot^TM to focus on aspects that should be considered when generating test cases.

Guide Autopilot^TM by providing additional instructions in the Provide Additional Guidance screen. Use the out-of-the-box prompts from the Prompt Library, which help generate end-to-end test cases from flow diagrams, generate tests for valid end-to-end scenarios, generate tests to find elusive issues, generate end-to-end tests from flow diagrams, and generate tests to find elusive issues. You can also add your own custom prompts to the Prompt Library, especially those you frequently use for manual test case generation.

To generate a specific number of test cases, instruct Autopilot^TM with commands like "Generate the top 20 test cases for this requirement." By default, Autopilot^TM generates expected results only for the final test step in each test case. To generate expected results for each test step, use "Generate expected results for each test step". Additionally, Autopilot^TM can generate preconditions and/or postconditions for manual test cases upon request. Specify what to include or exclude, as the preconditions and postconditions are not generated by default.

Documentos compatibles

This section lists supporting documents you can provide to Autopilot^TM. These documents are additional information that complement the description of a requirement in Test Manager. These documents are intended to enhance the understanding of Autopilot about a requirement, enabling it to generate more accurate and useful test cases for a requirement.

Diagramas de proceso

Para ilustrar las operaciones paso a paso dentro de la aplicación, considera incluir diagramas de casos de uso, diagramas de flujo o diagramas de proceso como imágenes o archivos BPMN. Los diagramas de proceso ayudan a Autopilot a comprender el flujo secuencial y lógico de las actividades del usuario que son importantes para el requisito específico. Con la ayuda de estas representaciones del proceso, Autopilot puede generar casos de prueba más precisos que se alinean estrechamente con los flujos de trabajo reales de la aplicación.

Maquetas y nombres alámbricos

Para facilitar la comprensión por Autopilot, considera añadir diagramas visuales que representen tus requisitos de UI/UX. Esto es particularmente útil al probar nuevas funcionalidades de front-end y ayuda a aclarar el diseño, las interacciones del usuario y los elementos que se probarán.

Documentos de cumplimiento

In regulated industries such as healthcare, finance, or telecommunications, consider including compliance and regulatory documents. These guidelines often apply universally across various requirements (for example: user stories or use cases) in Test Manager. By uploading these documents, you enable Autopilot to integrate compliance standards into the test cases it generates for each requirement, not just those directly linked to specific compliance criteria. This approach ensures that all test cases adhere to industry regulations and that compliance is consistently addressed across all requirements tested by Autopilot.

Transcripciones de discusión

Considera incluir una transcripción de discusiones sobre requisitos específicos. Esto podría ser a partir de una reunión o una sesión virtual a través de plataformas en línea, que involucra desarrolladores, propietarios de productos y probadores. Las transcripciones proporcionan a Autopilot información sobre cómo interpretan los miembros del equipo, o planean implementar un requisito, ofreciendo contexto que puede mejorar significativamente la precisión de los casos de prueba generados.

Limitaciones funcionales

This section outlines the current limitations of Autopilot^TM.

Tipos de archivo compatibles

Solo puedes cargar las siguientes extensiones de archivo, desde las que Autopilot procesa solo el contenido de texto:

• DOCX
• XLSX
• TXT
• CSV
• PNG
• JPG
• PDF
• BPMN

Nota: Autopilot procesa solo el contenido de texto en los archivos . Las imágenes dentro de los archivos no se procesan.

Capacidad del token de entrada

La capacidad máxima del token de entrada de Autopilot es de 128 000, lo que equivale a aproximadamente 96 000 palabras, o 512 000 caracteres.

Asegúrate de que la descripción de tu requisito y los documentos de apoyo no superen estos límites.

Consejo: de nuestras observaciones, 100 tokens se traducen aproximadamente en 75 palabras o 400 caracteres.

Para comprobar el recuento de token aproximado de tus documentos, abre el documento como archivo TXT y copia el contenido en la herramienta Abrir token de IA El recuento de token proporcionado es un aproximado. El recuento de token real puede ser mayor.

Generación de casos de prueba

Autopilot actualmente está limitado a generar un máximo de 50 casos de prueba a la vez. Si no se especifica el número de casos de prueba a generar, Autopilot genera 10 casos de prueba.