Generate tests for requirements

Importante:

Essa funcionalidade faz parte atualmente de um processo de auditoria e não deve ser considerada parte da Autorização do FedRAMP até que a revisão seja finalizada. Veja aqui a lista completa das funcionalidades atualmente em revisão.

This page lists guidelines and best practices to effectively generate test cases using Autopilot^TM in Test Manager.

Descrição do requisito

Esta seção descreve características-chave de um requisito no Test Manager.

Os requisitos geralmente envolvem recursos específicos associados a aspectos de qualidade, como aspectos funcionais (o que o software deve fazer), aspectos de desempenho (o quão rápido deve operar), usabilidade (o quão fácil é usar) e segurança (o quão segura deve operar), entre muitos outros.

1. O objetivo do requisito

AI models, such as Autopilot^TM, rely on specificity for correctly interpreting requirements. Broad or vague descriptions might lead to irrelevant, or incorrect test cases. To mitigate this, start with a concise, yet precise user-focused statement that outlines the requirement's purpose. Focus on enforcing the ultimate benefit to the user.

Exemplo: para um aplicativo de seguro de vida, você pode começar com:

"Como potencial segurado, quero calcular meus prêmios de seguro para que eu possa entender meus possíveis custos".

Isso esclarece o benefício esperado para o usuário e estabelece uma meta definitiva para testar esse requisito.

2. Lógica do aplicativo

The efficiency of Autopilot^TM in generating accurate and detailed test steps largely depends on its understanding of the user journey and application sequence. So, it's crucial to detail the specific interactions that the user will have with the application and the subsequent application responses (from the start of the application up to the final test action) is key. This helps Autopilot^TM understand the chronological order of operations, leading to more accurate and detailed test steps.

Exemplo: para a funcionalidade de cálculo do prêmio do seguro, descreva o fluxo de trabalho da seguinte forma:

"O usuário começa na tela principal, navega até a tela "Obter uma cotação" por meio do menu principal. Em seguida, preenche seus dados pessoais, incluindo idade e gênero, nos campos de formulário designados. Seleciona a cobertura de seguro desejada e o termo da política entre as opções disponíveis. Quando o usuário clica em "Calcular Prêmio", o aplicativo calcula e exibe o prêmio na próxima tela".

3. Critérios de aceitação

Clear, measurable acceptance criteria are vital for setting application expectations and guiding Autopilot^TM to verify specific outcomes. They should encompass both positive and negative scenarios, including situations where users may not follow prescribed usage, may input invalid data, or when the application may reach an error state. Criteria should also consider non-functional factors like security, usability, and scalability. Without well-defined acceptance criteria, Autopilot^TM might generate inadequate test cases.

Exemplo: para a funcionalidade de cálculo do prêmio do nosso aplicativo de seguro de vida, especifique critérios de aceitação concretos, como em um dos seguintes exemplos:

• "O sistema deve calcular o prêmio considerando a idade do usuário. Para cada ano acima de 25, um incremento de $5 deve ser adicionado ao prêmio base de $100"
• "O sistema deve aumentar o prêmio em 50 dólares para fumantes devido aos riscos mais altos de saúde associados"
• "Se o usuário inserir uma idade abaixo dos 18, o sistema deve exibir uma mensagem de erro"
• "O processo de cálculo do prêmio não deve levar mais de 3 segundos quando o número de usuários simultâneos é menor ou igual a 1000"

Instruções adicionais

This section provides guidelines so you can allow Autopilot^TM to focus on aspects that should be considered when generating test cases.

Guide Autopilot^TM by providing additional instructions in the Provide Additional Guidance screen. Use the out-of-the-box prompts from the Prompt Library, which help generate end-to-end test cases from flow diagrams, generate tests for valid end-to-end scenarios, generate tests to find elusive issues, generate end-to-end tests from flow diagrams, and generate tests to find elusive issues. You can also add your own custom prompts to the Prompt Library, especially those you frequently use for manual test case generation.

To generate a specific number of test cases, instruct Autopilot^TM with commands like "Generate the top 20 test cases for this requirement." By default, Autopilot^TM generates expected results only for the final test step in each test case. To generate expected results for each test step, use "Generate expected results for each test step". Additionally, Autopilot^TM can generate preconditions and/or postconditions for manual test cases upon request. Specify what to include or exclude, as the preconditions and postconditions are not generated by default.

Documentos de suporte

This section lists supporting documents you can provide to Autopilot^TM. These documents are additional information that complement the description of a requirement in Test Manager. These documents are intended to enhance the understanding of Autopilot about a requirement, enabling it to generate more accurate and useful test cases for a requirement.

Diagramas de processos

Para ilustrar as operações passo a passo dentro do aplicativo, considere incluir diagramas de casos de uso, fluxogramas ou diagramas de processos como imagens ou arquivos BPMN. Os diagramas de processos ajudam o Autopilot a compreender o fluxo sequencial e lógico de atividades do usuário que são importantes para o requisito específico. Com a ajuda dessas representações de processos, o Autopilot pode gerar casos de teste mais precisos que se alinham aos fluxos de trabalho reais do aplicativo.

Simulações e wireframes

Para facilitar a compreensão do Autopilot, considere adicionar diagramas visuais que retratam seus requisitos de UI/UX. Isso é especialmente útil ao testar novas funcionalidades de front-end e ajuda a esclarecer o layout, as interações do usuário e os elementos a serem testados.

Documentos de conformidade

In regulated industries such as healthcare, finance, or telecommunications, consider including compliance and regulatory documents. These guidelines often apply universally across various requirements (for example: user stories or use cases) in Test Manager. By uploading these documents, you enable Autopilot to integrate compliance standards into the test cases it generates for each requirement, not just those directly linked to specific compliance criteria. This approach ensures that all test cases adhere to industry regulations and that compliance is consistently addressed across all requirements tested by Autopilot.

Transcrições de debates

Considere incluir uma transcrição de debates sobre requisitos específicos. Isso pode ser a partir de uma reunião ou uma sessão virtual por meio de plataformas online, envolvendo desenvolvedores, proprietários de produtos e testadores. As transcrições fornecem ao Autopilot insights sobre como os membros da equipe interpretam ou planejam implementar um requisito, oferecendo contexto que pode aprimorar significativamente a precisão dos casos de teste gerados.

Limitações funcionais

This section outlines the current limitations of Autopilot^TM.

Tipos de arquivos compatíveis

Você pode carregar apenas as seguintes extensões de arquivo, das quais o Autopilot processa apenas o conteúdo de texto:

• DOCX
• XLSX
• TXT
• CSV
• PNG
• JPG
• PDF
• BPMN

Observação: o Autopilot processa apenas o conteúdo de texto nos arquivos. As imagens dentro dos arquivos não são processadas.

Capacidade de token de entrada

A capacidade máxima do token de entrada do Autopilot é de 128.000, o que é equivalente a aproximadamente 96.000 palavras ou 512.000 caracteres.

Certifique-se de que sua descrição de requisitos e documentos de suporte não excedam esses limites.

Dica: a partir de nossas observações, 100 tokens se traduzem aproximadamente em 75 palavras ou 400 caracteres.

Para verificar a contagem aproximada de token de seus documentos, abra o documento como um arquivo TXT e copie o conteúdo para a ferramenta Abrir token de IA A contagem de token fornecida é uma aproximação. A contagem de token real pode ser maior.

Geração de caso de teste

O Autopilot está atualmente limitado a gerar no máximo 50 casos de teste de cada vez. Se o número de casos de teste a serem gerados não for especificado, o Autopilot gera 10 casos de teste.