Test Suite

Mais recente

falso

Guia do usuário do Test Suite

Última atualização 30 de abr de 2024

Execução de testes

Você pode executar testes manualmente ou automatizados. Execuções de teste manuais são invocadas por meio do Test Manager, enquanto as execuções automatizadas são invocadas por meio do Test Manager e executadas via Orchestrator. Além disso, em uma execução de conjunto de testes, cada caso de teste individual pode ser executado manualmente ou automatizado. Isso muda o tipo de execução para Misto.

Para executar seus casos de teste, você deve primeiro criar um conjunto de testes, que será executado posteriormente. Se quiser executar casos de teste individualmente, em vez de executar todos eles de uma vez, você pode criar uma execução pendente a partir de um conjunto de testes. A partir de qualquer execução, você pode escolher executar casos de teste individuais, de forma automatizada ou manual.

Condições

Você pode usar o Executar manualmente e o Executar automatizado para conjuntos de testes criados no Test Manager , bem como para os conjuntos de testes vinculados do Orchestrator.
Apenas as versões do caso de teste incluídas no conjunto de testes são executadas. Se quiser executar novos casos de teste, você precisa atribuir novas versões ao seu conjunto de testes. Para conjuntos de testes do Orchestrator, você precisa ter certeza de que os pacotes mais recentes estão publicados.

Execução automatizada

A execução automatizada compreende conjuntos de testes vinculados do Orchestrator ou conjuntos de testes criados no Test Manager que têm casos de teste vinculados do Studio.

Execução manual

A execução manual compreende conjuntos de testes criados no Test Manager, incluindo casos de teste com etapas manuais. A execução manual pode ser feita para conjuntos de testes criados no Test Manager e também conjuntos de testes vinculados do Orchestrator.

Execução de testes manuais

Executar conjuntos de testes manualmente

Tanto os conjuntos de testes do Test Manager quanto os conjuntos de testes vinculados do Orchestrator podem ser executados manualmente. Caso etapas manuais tenham sido definidas para os casos de teste. Para obter mais informações, consulte Execução de testes.

Abra seu projeto no Test Manager e navegue até Conjuntos de testes.
Selecione um conjunto de testes e clique nas reticências verticais.
Selecione Executar manualmente. O Assistente de execução manual será aberto em uma nova janela. Certifique-se de que seu bloqueador de pop-ups permite que a janela seja aberta.

Para obter mais informações sobre resultados de testes, consulte Análise de resultados de testes.

Observação:

Os casos de teste que não contêm etapas manuais serão ignorados durante a execução sem produzir nenhum resultado.
Um caso de teste automatizado pode ter etapas manuais definidas e também pode ser executado manualmente.

De maneira alternativa, você pode abrir seu conjunto de testes, clicar em Executar e selecionar Manualmente no menu suspenso.

Assistente de execução manual

O assistente de execução manual permite executar um conjunto de testes manuais um após o outro. Você precisa definir um resultado em cada etapa manual para avançar para o próximo caso de teste no conjunto de testes.

Através do Assistente de Execução Manual, você precisa tratar e marcar as etapas em cada caso como aprovadas ou reprovadas.

Use Definir como reprovado ou Definir como aprovado para marcar uma etapa em cada caso. Adicione comentários, especialmente no caso de uma falha, para fornecer detalhes sobre o resultado específico. Você pode definir várias etapas consecutivas como aprovadas clicando em Definir como aprovado até aqui.

Após a atribuição de um resultado para a última etapa de um caso de teste, você pode clicar em Avançar. Isso permite passar para o próximo caso de teste do conjunto de testes. Após terminar com o último caso de teste, clique em Concluir para finalizar completamente a execução.

Execução de testes automatizados

Você pode executar todos os conjuntos de testes usando o Executar automatizado. O Orchestrator é invocado para casos de teste que foram vinculados ao Test Manager. Para executar conjuntos de testes vinculados do Orchestrator, certifique-se de criar seus conjuntos de testes no Orchestrator.

Você também pode executar um teste automatizado se o conjunto de testes incluir casos de teste vinculados do Studio. Para obter mais informações, consulte Execução de testes.

Condições

Importante: Para usar a opção Execute Automated , você precisa de pelo menos um caso de teste automatizado em um conjunto de teste.

As execuções de teste automatizadas têm um tempo limite padrão de 12 horas. Qualquer execução de teste automatizado que exceda 12 horas será marcada como Cancelada.
A execução de testes para conjuntos de testes vinculados do Orchestrator inclui apenas os casos de teste publicados no Feed de processos do tenant do Orchestrator na versão mais recente do pacote. Se quiser executar novos casos de teste, você precisa publicar uma nova versão do pacote no Orchestrator e, em seguida, vincular o conjunto de testes ao Test Manager.
Se seu conjunto de testes do Test Manager incluir casos de teste de vários projetos do Studio, então o projeto com o maior número de casos de teste é considerado para a execução. Portanto, apenas os casos de teste desse projeto serão executados. Nesse caso, você receberá a seguinte mensagem dentro do Test Manager: "Os casos de teste de vários pacotes foram selecionados. Alguns dos casos de teste não serão executados durante a execução deste conjunto de testes."
Você só pode executar conjuntos de testes que incluam casos de teste de vários projetos do Studio se você tiver um conjunto de testes vinculado do Orchestrator.
Se seu conjunto de testes inclui casos de teste duplicados em vários projetos do Studio, a classificação é feita pelo nome do projeto em ordem decrescente. Apenas os casos de teste do projeto que está em primeiro lugar na lista serão executados.

Executar conjuntos de testes automatizados

Abra seu projeto no Test Manager e navegue até Conjuntos de testes.
Selecione um conjunto de testes e clique nas reticências verticais.
Selecione Executar automatizado.
Para obter mais informações sobre resultados de testes, consulte Análise de resultados de testes.
Observação:
- Os casos de teste que não podem ser executados são ignorados durante a execução por meio do Orchestrator.
- Os casos de teste que não são executados geram logs de casos de teste sem nenhum resultado.

Como alternativa, você pode abrir seu conjunto de testes, clicar em Executar e selecionar Automatizado no menu suspenso.

Execução de testes mistos

Você pode executar testes mistos executando novamente testes manuais e automatizados a partir de um resultado de teste anterior.Quando você executa novamente testes mistos, ele sempre usa a versão mais recente de um caso de teste.

Execute conjuntos de testes mistos

Abra seu projeto no Test Manager e vá para Resultados de teste.
Selecione um conjunto de testes com casos de teste manuais e automatizados.
Selecione ambos os tipos de casos de teste e, em seguida, selecione Executar automatizado.
Observe a mudança de Tipo de execução do resultado do teste, de Manual ou Automatizado para Misto.

Criação de execuções pendentes - Visualização

Uma execução de teste pendente é semelhante a uma execução de teste regular feita durante uma execução de conjuntos de testes, a única diferença é que nenhum teste é executado imediatamente. Uma execução pendente atribui o resultado Nenhum para cada caso de teste do conjunto de testes, permitindo que você inicie testes mais tarde ou os execute em pedaços ou individualmente.

Quando você pode usar execuções pendentes

Quando você deseja executar testes mais tarde, ou não todos de uma vez, mas ainda refletir o estado atual do conjunto de testes.
Quando alguns testes são executados manualmente, enquanto outros devem ser executados automatizados.
Quando você deseja que os testes executados reflitam o estado atual de um conjunto de testes, incluindo os casos de teste selecionados.

Uma execução de teste é independente de seu conjunto de testes de origem, com todos os casos de teste atribuídos tornando-se membros estáticos da execução. Para garantir que um conjunto específico de testes de um conjunto de testes seja usado em uma execução, mesmo quando o conjunto de testes for atualizado, crie uma execução pendente.

Etapas para criar uma execução pendente

Abra um projeto no Test Manager e navegue até Conjuntos de testes.
Selecione Tarefas e, em seguida, Criar execução pendente. Isso cria uma réplica do conjunto de testes que está pronto para execução. A execução pendente é aberta automaticamente e leva você aos Resultados de teste.

Aplicação de uma ordem de execução

Você pode definir uma sequência de execução específica para casos de teste dentro de um conjunto de testes ou uma execução de teste. Essa sequência determina a ordem na qual os casos de teste são executados inicialmente. No entanto, quaisquer alterações na ordem dentro de uma execução de teste não afetam a ordem no conjunto de testes. Portanto, as sequências que você define em um conjunto de testes e em uma execução de teste funcionam de forma independente uma da outra.

Observação: você pode aplicar uma ordem de execução específica apenas para casos de teste atribuídos estaticamente, com os atribuídos dinamicamente seguindo uma ordem aleatória apenas após os estáticos terem sido concluídos.

Etapas

Determine onde deseja reordenar os casos de teste dentro do seu projeto:
- Dentro de um conjunto de teste.
- Dentro de uma execução de teste.
Habilite a alternância Impor ordem de execução .
- Vá para Conjuntos de testes e, em seguida, para a guia Configuração e selecione a alternância Impor a ordem de execução .
- Alternativamente, se você quiser reordenar dentro de uma execução de teste, vá para Resultados de teste e, em seguida, para a guia Configurações , e habilite a alternância Impor ordem de execução .
Após você ter habilitado a ordem de execução, retorne à aba em que você vê os casos de teste. Dependendo de onde você tiver ativado a aplicação, siga estas etapas:
- Se você estiver em Conjuntos de testes, retorne para Casos de testes e selecione Reordenar.
- Se você estiver em Resultados do teste, retorne para Resultados e selecione Reordenar.
Isso abre a exibição de Reordenar casos de teste, na qual você pode organizar a ordem das execuções de casos de teste.
Arraste e solte casos de teste para reordená-los no conjunto de testes ou execução de teste.
Quando você terminar de reordenar os casos de teste, selecione Salvar.

Quando você executar o conjunto de testes, os casos de teste serão executados na ordem que você salvou anteriormente.

Reexecutando execuções de teste

Se você executar novamente uma execução de teste, os resultados da execução antiga serão excluídos e substituídos pelos novos resultados. Se você não deseja substituir um resultado de execução de teste, execute o conjunto de testes novamente. Isso gerará novos resultados de execução de teste, independentes dos anteriores.

As funções de usuário pré-definidas que podem realizar reexecuções são: Test Manager, Test Executor e Manual Tester.

Reexecutando execuções de conjuntos de teste

Vá para Test Results e escolha uma das seguintes opções:
- Selecione Mais opções para a execução do teste que você deseja refazer.
- Abra a execução do teste e selecione Tarefas.
Selecione um dos seguintes:
- Reexecutar manualmente (disponível apenas para execuções de teste manual)
- Reexecução automatizada (disponível apenas para execuções de teste automatizadas)
A caixa de diálogo Reexecutar é exibida.
Selecione Confirmar e execute as etapas manuais ou aguarde a conclusão do conjunto de testes automatizados.

Observação:
A reexecução de execuções do conjunto de teste não exibe mais a cobertura da atividade.

Reexecutando execuções de casos de teste

Você pode reexecutar uma ou mais execuções de caso de teste. Para casos de teste controlados por dados, você só pode reexecutar uma execução de caso de teste por vez. Você não pode reexecutar execuções de casos de teste orientados a dados em massa.

Observação: mesmo que você publique uma versão mais recente do caso de teste, a versão reexecutada será a mesma registrada na execução do teste.

Vá para Test Results e abra uma execução de conjunto de teste.
Marque as caixas de seleção para uma ou mais execuções de casos de teste e selecione Reexecutar seleção.
Selecione um dos seguintes:
- Reexecutar manualmente (disponível apenas para execuções de teste manual)
- Reexecução automatizada (disponível apenas para execuções de teste automatizadas)
A caixa de diálogo Reexecutar é exibida.
Selecione Confirmar e execute as etapas manuais ou aguarde a conclusão do caso de teste automatizado.

Solução de problemas de execuções automatizadas

A execução automatizada não pôde começar porque o pacote não foi encontrado no Orchestrator. Apenas casos de teste de pacotes publicados no Orchestrator podem ser executados.

Solução

É preciso publicar o pacote do Studio no Orchestrator. Esse problema ocorre quando um caso de teste é vinculado do Studio para o Test Manager, mas o pacote ainda não foi publicado no Orchestrator.

Casos de teste não podem ser executados porque nenhuma versão executável pôde ser encontrada. Apenas casos de teste publicados com a última versão do pacote no Orchestrator podem ser executados.

Solução

Esse problema ocorre quando os casos de teste em um conjunto de teste não são publicados no pacote mais recente do Studio para o Orchestrator. Você pode obter o mesmo erro quando não nenhum processo/versão é encontrado no Orchestrator para o pacote do Studio.