Gerar testes para requisitos

Importante:

Essa funcionalidade faz parte atualmente de um processo de auditoria e não deve ser considerada parte da Autorização do FedRAMP até que a revisão seja finalizada. Veja aqui a lista completa das funcionalidades atualmente em revisão.

Esta página lista diretrizes e práticas recomendadas para gerar casos de teste com eficiência usando Autopilot^TM no Test Manager.

Descrição do requisito

Esta seção descreve características-chave de um requisito no Test Manager.

Os requisitos geralmente envolvem recursos específicos associados a aspectos de qualidade, como aspectos funcionais (o que o software deve fazer), aspectos de desempenho (o quão rápido deve operar), usabilidade (o quão fácil é usar) e segurança (o quão segura deve operar), entre muitos outros.

1. O objetivo do requisito

Modelos de IA, como Autopilot^TM, dependem da especificidade para interpretar corretamente os requisitos. Descrições amplas ou vagas podem levar a casos de teste irrelevantes ou incorretos. Para mitigar o problema, comece com uma instrução concisa, porém precisa, focada no usuário, que descreva a finalidade do requisito. Concentre-se em impor o benefício final para o usuário.

Exemplo: para um aplicativo de seguro de vida, você pode começar com:

"Como potencial segurado, quero calcular meus prêmios de seguro para que eu possa entender meus possíveis custos".

Isso esclarece o benefício esperado para o usuário e estabelece uma meta definitiva para testar esse requisito.

2. Lógica do aplicativo

A eficiência do Autopilot^TM na geração de etapas de testes precisas e detalhadas depende em grande parte de sua compreensão da jornada do usuário e da sequência do aplicativo. Portanto, é crucial detalhar as interações específicas que o usuário terá com o aplicativo e as respostas subsequentes do aplicativo (desde o início do aplicativo até a ação de teste final). Isso ajuda o Autopilot^TM a entender a ordem cronológica das operações, levando a etapas de teste mais precisas e detalhadas.

Exemplo: para a funcionalidade de cálculo do prêmio do seguro, descreva o fluxo de trabalho da seguinte forma:

"O usuário começa na tela principal, navega até a tela "Obter uma cotação" por meio do menu principal. Em seguida, preenche seus dados pessoais, incluindo idade e gênero, nos campos de formulário designados. Seleciona a cobertura de seguro desejada e o termo da política entre as opções disponíveis. Quando o usuário clica em "Calcular Prêmio", o aplicativo calcula e exibe o prêmio na próxima tela".

3. Critérios de aceitação

Os critérios de aceitação claros e mensuráveis são vital para definir as expectativas do aplicativo e orientar o Autopilot^TM a verificar resultados específicos. Elas devem abranger cenários positivos e negativos, incluindo situações em que os usuários podem não seguir o uso prescrito, podem inserir dados inválidos ou quando o aplicativo pode chegar a um estado de erro. Os critérios também devem considerar fatores não funcionais, como segurança, usabilidade e escalabilidade. Sem critérios de aceitação bem definidos, o Autopilot^TM pode gerar casos de teste inadequados.

Exemplo: para a funcionalidade de cálculo do prêmio do nosso aplicativo de seguro de vida, especifique critérios de aceitação concretos, como em um dos seguintes exemplos:

• "O sistema deve calcular o prêmio considerando a idade do usuário. Para cada ano acima de 25, um incremento de $5 deve ser adicionado ao prêmio base de $100"
• "O sistema deve aumentar o prêmio em 50 dólares para fumantes devido aos riscos mais altos de saúde associados"
• "Se o usuário inserir uma idade abaixo dos 18, o sistema deve exibir uma mensagem de erro"
• "O processo de cálculo do prêmio não deve levar mais de 3 segundos quando o número de usuários simultâneos é menor ou igual a 1000"

Instruções adicionais

Esta seção fornece diretrizes para que você possa permitir que Autopilot^TM se concentre em aspectos que devem ser considerados ao gerar casos de teste.

Guie o Autopilot^TM fornecendo instruções adicionais na tela Fornecer orientação adicional . Use os prompts prontos para uso da Biblioteca de Prompts , que ajudam a gerar casos de teste completos a partir de diagramas de fluxo, gerar testes para cenários completos válidos, gerar testes para encontrar problemas elusivos, gerar testes completos a partir de diagramas de fluxos e gerar testes para encontrar problemas elusivos. Você também pode adicionar seus próprios prompts personalizados à Biblioteca de Prompts, especialmente aqueles que você usa frequentemente para a geração manual de casos de teste.

Para gerar um número específico de casos de teste, instrua Autopilot^TM com comandos como "Gerar os 20 principais casos de teste para este requisito." Por padrão, o Autopilot^TM gera resultados esperados apenas para a etapa final do teste em cada caso de teste. Para gerar resultados esperados para cada etapa de teste, use "Gerar resultados esperados para cada etapa de teste". Além disso, o Autopilot^TM pode gerar pré-condições e/ou pós-condições para casos de teste manuais, mediante solicitação. Especifique o que incluir ou excluir, pois as pré-condições e pós-condições não são geradas por padrão.

Documentos de suporte

Esta seção lista documentos de suporte que você pode fornecer ao Autopilot^TM. Esses documentos são informações adicionais que complementam a descrição de um requisito no Test Manager. Esses documentos destinam-se a aprimorar a compreensão do Autopilot sobre um requisito, permitindo que ele gere casos de teste mais precisos e úteis para um requisito.

Diagramas de processos

Para ilustrar as operações passo a passo dentro do aplicativo, considere incluir diagramas de casos de uso, fluxogramas ou diagramas de processos como imagens ou arquivos BPMN. Os diagramas de processos ajudam o Autopilot a compreender o fluxo sequencial e lógico de atividades do usuário que são importantes para o requisito específico. Com a ajuda dessas representações de processos, o Autopilot pode gerar casos de teste mais precisos que se alinham aos fluxos de trabalho reais do aplicativo.

Simulações e wireframes

Para facilitar a compreensão do Autopilot, considere adicionar diagramas visuais que retratam seus requisitos de UI/UX. Isso é especialmente útil ao testar novas funcionalidades de front-end e ajuda a esclarecer o layout, as interações do usuário e os elementos a serem testados.

Documentos de conformidade

Em setores regulados, como saúde, finanças ou responsabilidades, considere incluir documentos de conformidade e documentos regulatórios. Essas diretrizes geralmente se aplicam universalmente a vários requisitos (por exemplo: histórias de usuários ou casos de uso) no Test Manager. Ao carregar esses documentos, você permite que o Autopilot integre padrões de conformidade nos casos de teste que ele gera para cada requisito, não apenas aqueles diretamente vinculados a critérios de conformidade específicos. Essa abordagem garante que todos os casos de teste sigam os regulamentos do setor e que a conformidade seja abordada de forma consistente em todos os requisitos testados pelo Autopilot.

Transcrições de debates

Considere incluir uma transcrição de debates sobre requisitos específicos. Isso pode ser a partir de uma reunião ou uma sessão virtual por meio de plataformas online, envolvendo desenvolvedores, proprietários de produtos e testadores. As transcrições fornecem ao Autopilot insights sobre como os membros da equipe interpretam ou planejam implementar um requisito, oferecendo contexto que pode aprimorar significativamente a precisão dos casos de teste gerados.

Limitações funcionais

Esta seção descreve as limitações atuais do Autopilot^TM.

Tipos de arquivos compatíveis

Você pode carregar apenas as seguintes extensões de arquivo, das quais o Autopilot processa apenas o conteúdo de texto:

• DOCX
• XLSX
• TXT
• CSV
• PNG
• JPG
• PDF
• BPMN

Observação: o Autopilot processa apenas o conteúdo de texto nos arquivos. As imagens dentro dos arquivos não são processadas.

Capacidade de token de entrada

A capacidade máxima do token de entrada do Autopilot é de 128.000, o que é equivalente a aproximadamente 96.000 palavras ou 512.000 caracteres.

Certifique-se de que sua descrição de requisitos e documentos de suporte não excedam esses limites.

Dica: a partir de nossas observações, 100 tokens se traduzem aproximadamente em 75 palavras ou 400 caracteres.

Para verificar a contagem aproximada de token de seus documentos, abra o documento como um arquivo TXT e copie o conteúdo para a ferramenta Abrir token de IA A contagem de token fornecida é uma aproximação. A contagem de token real pode ser maior.

Geração de caso de teste

O Autopilot está atualmente limitado a gerar no máximo 50 casos de teste de cada vez. Se o número de casos de teste a serem gerados não for especificado, o Autopilot gera 10 casos de teste.