test-suite

2024.10

true

Guia do usuário do Test Suite

ENTREGA:

Automation Cloud Automation Cloud Public Sector Automation Suite Standalone

Última atualização 11 de nov de 2024

Execução de testes

Você pode executar testes manualmente ou automatizados. As execuções de testes manuais são invocadas por meio do Test Manager, enquanto as execuções automatizadas são invocadas por meio do Test Manager e executadas por meio do Orchestrator. Além disso, dentro de um conjunto de testes, cada caso de teste individual pode ser executado manualmente ou automatizado. Isso altera o tipo de execução para Misto.

Para executar seus casos de teste, você deve primeiro criar um conjunto de testes, que será executado posteriormente. Se você quiser executar casos de teste individualmente, em vez de executar todos eles de uma vez, você pode criar uma execução pendente a partir de um conjunto de testes. A partir de qualquer execução, você pode optar por executar casos de teste individuais automatizados ou manualmente.

Condições

Você pode usar Executar manualmente e Executar automatizado para conjuntos de testes criados no Test Manager , bem como os conjuntos de testes vinculados do Orchestrator.
Apenas as versões do caso de teste incluídas no conjunto de testes são executadas. Se quiser executar novos casos de teste, você precisa atribuir novas versões ao seu conjunto de testes. Para conjuntos de testes do Orchestrator, você precisa ter certeza de que os pacotes mais recentes estão publicados.
Se a ordem de execução estiver habilitada, você não pode executar casos de teste individuais de um conjunto de testes.

Execução automatizada

A execução automatizada refere-se a conjuntos de testes que foram vinculados do Orchestrator ou conjuntos de testes criados no Test Manager que têm casos de teste vinculados do Studio.

Execução manual

A execução manual refere-se a conjuntos de testes criados no Test Manager, incluindo casos de teste que têm etapas manuais. A execução manual pode ser feita para conjuntos de testes criados no Test Manager , bem como para os conjuntos de testes vinculados do Orchestrator.

Execução de testes manuais

Executar conjuntos de testes manualmente

Tanto os conjuntos de testes do Test Manager quanto os conjuntos de testes vinculados do Orchestrator podem ser executados manualmente. Caso etapas manuais tenham sido definidas para os casos de teste. Para obter mais informações, consulte Execução de testes.

Abra seu projeto no Test Manager e navegue até Conjuntos de testes.
Selecione um conjunto de testes e clique nas reticências verticais.
Selecione Executar manualmente. O Assistente de execução manual será aberto em uma nova janela. Certifique-se de que seu bloqueador de pop-ups permite que a janela seja aberta.

Para obter mais informações sobre resultados de testes, consulte Análise de resultados de testes.

Observação:

Os casos de teste que não contêm etapas manuais serão ignorados durante a execução sem produzir nenhum resultado.
Um caso de teste automatizado pode ter etapas manuais definidas e também pode ser executado manualmente.

De maneira alternativa, você pode abrir seu conjunto de testes, clicar em Executar e selecionar Manualmente no menu suspenso.

Assistente de execução manual

O assistente de execução manual permite executar um conjunto de testes manuais um após o outro. Você precisa definir um resultado em cada etapa manual para avançar para o próximo caso de teste no conjunto de testes.

Através do Assistente de Execução Manual, você precisa tratar e marcar as etapas em cada caso como aprovadas ou reprovadas.

Use Definir como reprovado ou Definir como aprovado para marcar uma etapa em cada caso. Adicione comentários, especialmente no caso de uma falha, para fornecer detalhes sobre o resultado específico. Você pode definir várias etapas consecutivas como aprovadas clicando em Definir como aprovado até aqui.

Após a atribuição de um resultado para a última etapa de um caso de teste, você pode clicar em Avançar. Isso permite passar para o próximo caso de teste do conjunto de testes. Após terminar com o último caso de teste, clique em Concluir para finalizar completamente a execução.

Execução de testes automatizados

Você pode executar todos os conjuntos de testes usando o Executar automatizado. O Orchestrator é invocado para casos de teste que foram vinculados ao Test Manager. Para executar conjuntos de testes vinculados do Orchestrator, certifique-se de criar seus conjuntos de testes no Orchestrator.

Você também pode executar um teste automatizado se o conjunto de testes incluir casos de teste vinculados do Studio. Para obter mais informações, consulte Execução de testes.

Condições

Importante: Para usar a opção Execute Automated , você precisa de pelo menos um caso de teste automatizado em um conjunto de teste.

A execução de testes para conjuntos de testes vinculados do Orchestrator inclui apenas os casos de teste publicados no Feed de processos do tenant do Orchestrator na versão mais recente do pacote. Se quiser executar novos casos de teste, você precisa publicar uma nova versão do pacote no Orchestrator e, em seguida, vincular o conjunto de testes ao Test Manager.
Se seu conjunto de testes do Test Manager incluir casos de teste de vários projetos do Studio, então o projeto com o maior número de casos de teste é considerado para a execução. Portanto, apenas os casos de teste desse projeto serão executados. Nesse caso, você receberá a seguinte mensagem dentro do Test Manager: "Os casos de teste de vários pacotes foram selecionados. Alguns dos casos de teste não serão executados durante a execução deste conjunto de testes."
Você só pode executar conjuntos de testes que incluam casos de teste de vários projetos do Studio se você tiver um conjunto de testes vinculado do Orchestrator.
Se seu conjunto de testes inclui casos de teste duplicados em vários projetos do Studio, a classificação é feita pelo nome do projeto em ordem decrescente. Apenas os casos de teste do projeto que está em primeiro lugar na lista serão executados.

Executar conjuntos de testes automatizados

Abra seu projeto no Test Manager e navegue até Conjuntos de testes.
Selecione um conjunto de testes e clique nas reticências verticais.
Selecione Executar automatizado.
Para obter mais informações sobre resultados de testes, consulte Análise de resultados de testes.
Observação:
- Os casos de teste que não podem ser executados são ignorados durante a execução por meio do Orchestrator.
- Os casos de teste que não são executados geram logs de casos de teste sem nenhum resultado.

Como alternativa, você pode abrir seu conjunto de testes, clicar em Executar e selecionar Automatizado no menu suspenso.

Execução de testes mistos

Você pode executar testes mistos executando novamente testes manuais e automatizados a partir de um resultado de teste anterior.Quando você executa novamente testes mistos, ele sempre usa a versão mais recente de um caso de teste.

Execute conjuntos de testes mistos

Abra seu projeto no Test Manager e acesse Execução.
Selecione um conjunto de testes com casos de teste manuais e automatizados.
Selecione ambos os tipos de casos de teste e, em seguida, selecione Executar automatizado.
Observe a mudança de Tipo de execução do resultado do teste, de Manual ou Automatizado para Misto.

Criação de execuções pendentes

Uma execução de teste pendente é semelhante a uma execução de teste regular feita durante uma execução de conjuntos de testes, a única diferença é que nenhum teste é executado imediatamente. Uma execução pendente atribui o resultado Nenhum para cada caso de teste do conjunto de testes, permitindo que você inicie testes mais tarde ou os execute em pedaços ou individualmente.

Quando você pode usar execuções pendentes

Quando você deseja executar testes mais tarde, ou não todos de uma vez, mas ainda refletir o estado atual do conjunto de testes.
Quando alguns testes são executados manualmente, enquanto outros devem ser executados automatizados.
Quando você deseja que os testes executados reflitam o estado atual de um conjunto de testes, incluindo os casos de teste selecionados.

Uma execução de teste é independente de seu conjunto de testes de origem, com todos os casos de teste atribuídos tornando-se membros estáticos da execução. Para garantir que um conjunto específico de testes de um conjunto de testes seja usado em uma execução, mesmo quando o conjunto de testes for atualizado, crie uma execução pendente.

Etapas para criar uma execução pendente

Abra um projeto no Test Manager e navegue até Conjuntos de testes.
Selecione Tarefas e, em seguida, Criar execução pendente. Isso cria uma réplica do conjunto de testes que está pronto para execução. A execução pendente é aberta automaticamente e leva você para Execução.

Aplicação de uma ordem de execução

Você pode definir uma sequência de execução específica para casos de teste dentro de um conjunto de testes ou uma execução de teste. Essa sequência determina a ordem na qual os casos de teste são executados inicialmente. No entanto, quaisquer alterações no pedido dentro de uma execução de teste não afetam a ordem no conjunto de testes. Então, as sequências definidas em um conjunto de testes e uma execução de testes operam independentemente umas das outras.

Observação: você pode impor uma ordem de execução específica apenas para casos de teste atribuídos estaticamente, com casos atribuídos dinamicamente seguindo em uma ordem aleatória apenas depois que os estáticos forem concluídos.

Etapas

Determine onde você deseja reordenar os casos de teste dentro do seu projeto:
- Dentro de um conjunto de testes.
- Em uma execução de teste.
Habilite o botão de alternância Impor ordem de execução.
- Acesse Conjuntos de testes, depois na guia Configuração e selecione o botão de alternância Impor Ordem de Execução.
- Ou então, se você quiser reordenar dentro de uma execução de testes, acesse Execução e, em seguida, na guia Configurações, habilite a alternância Impor ordem de execução.
Depois de habilitar a ordem de execução, retorne à guia onde você vê os casos de teste. Dependendo de onde você ativou a aplicação, siga estas etapas:
- Se você estiver dentro dos Conjuntos de testes, retorne aos Casos de teste e selecione Reordenar.
- Se você estiver em Execução, retorne aos Resultados e selecione Reordenar.
Isso abre a visualização Reordenar casos de teste, onde você pode organizar a ordem das execuções de casos de teste.
Arraste e solte casos de teste para reordená-los no conjunto de testes ou execução de testes.
Quando você terminar de reordenar os casos de teste, selecione Salvar.

Quando você executar o conjunto de testes, os casos de teste serão executados na ordem que você salvou anteriormente.

Reexecutando execuções de teste

Se você executar novamente uma execução de teste, os resultados da execução antiga serão excluídos e substituídos pelos novos resultados. Se você não deseja substituir um resultado de execução de teste, execute o conjunto de testes novamente. Isso gerará novos resultados de execução de teste, independentes dos anteriores.

As funções de usuário pré-definidas que podem realizar reexecuções são: Test Manager, Test Executor e Manual Tester.

Reexecutando execuções de conjuntos de teste

Acesse Execuções e escolha um dos seguintes:
- Selecione mais opções para a execução do teste que você deseja refazer.
- Abra a execução do teste e selecione Tarefas.
Selecione um dos seguintes:
- Reexecutar manualmente (disponível apenas para execuções de teste manual)
- Reexecução automatizada (disponível apenas para execuções de teste automatizadas)
A caixa de diálogo Reexecutar é exibida.
Selecione Confirmar e execute as etapas manuais ou aguarde a conclusão do conjunto de testes automatizados.

Observação:
A reexecução de execuções do conjunto de teste não exibe mais a cobertura da atividade.

Reexecutando execuções de casos de teste

Você pode reexecutar uma ou mais execuções de caso de teste. Para casos de teste controlados por dados, você só pode reexecutar uma execução de caso de teste por vez. Você não pode reexecutar execuções de casos de teste orientados a dados em massa.

Observação: mesmo que você publique uma versão mais recente do caso de teste, a versão reexecutada será a mesma registrada na execução do teste.

Acesse Execução e abra uma execução de conjunto de testes.
Marque as caixas de seleção para uma ou mais execuções de casos de teste e selecione Reexecutar seleção.
Selecione um dos seguintes:
- Reexecutar manualmente (disponível apenas para execuções de teste manual)
- Reexecução automatizada (disponível apenas para execuções de teste automatizadas)
A caixa de diálogo Reexecutar é exibida.
Selecione Confirmar e execute as etapas manuais ou aguarde a conclusão do caso de teste automatizado.

Solução de problemas de execuções automatizadas

A automação já está vinculada a outro caso de teste no Test Manager

Descrição do problema

Se você tentar vincular um caso de teste do Studio que já esteja vinculado a uma instância do Test Manager diferente da que você está trabalhando atualmente, a seguinte mensagem será exibida: "Automação já vinculada a outro caso de teste no Test Manager".

Solução

Você não pode desvincular diretamente o caso de teste. No entanto, você pode contornar isso convertendo o caso de teste em um fluxo de trabalho e, em seguida, convertendo-o de volta para um caso de teste. Esse processo altera o ID do caso de teste, permitindo que ele seja vinculado à sua instância atual do Test Manager, mas sem modificar a lógica subjacente do caso de teste.

Acesse Converter fluxo de trabalho em caso de teste para obter informações sobre a conversão de um fluxo de trabalho em um caso de teste.

A execução automatizada não pôde começar porque o pacote não foi encontrado no Orchestrator. Apenas casos de teste de pacotes publicados no Orchestrator podem ser executados.

Solução

É preciso publicar o pacote do Studio no Orchestrator. Esse problema ocorre quando um caso de teste é vinculado do Studio para o Test Manager, mas o pacote ainda não foi publicado no Orchestrator.

Casos de teste não podem ser executados porque nenhuma versão executável pôde ser encontrada. Apenas casos de teste publicados com a última versão do pacote no Orchestrator podem ser executados.

Solução

Esse problema ocorre quando os casos de teste em um conjunto de teste não são publicados no pacote mais recente do Studio para o Orchestrator. Você pode obter o mesmo erro quando não nenhum processo/versão é encontrado no Orchestrator para o pacote do Studio.