Resultados do Teste

Quando você inicia a execução de um conjunto de testes, o Test Manager passa pelo seguinte processo:

1. Uma execução de teste é criada na seção Resultados do teste do Test Manager. Isso serve como o contêiner para os resultados do teste.
2. Para cada caso de teste dentro do conjunto de testes executado, um Log de caso de teste vazio é gerado. Esse log é anexado à execução de teste e manterá seus resultados de teste associados.
3. À medida que a execução continua, o Test Manager preenche cada Log de caso de teste com resultados e informações de log relacionadas.

Observação:

Every time a test execution is created, Test Case Logs for all associated test cases from the original test set are added. This means existing Test Executions remain consistent, regardless of updates or deletions made to the original test set.

O gráfico abaixo ilustra o processo de executar um conjunto de testes no Test Manager.

Como consequência, após a execução de um conjunto de testes, quaisquer alterações no conjunto de testes ou nos casos de teste associados não afetam os resultados de execuções anteriores. Mesmo quando um conjunto de testes é excluído, todas as execuções de teste permanecem inalteradas.

Quem pode ver os projetos

Todas as funções de usuário podem ver os resultados do teste.

Para obter mais informações, consulte Gerenciamento de acesso de usuários e grupos.

Analisar resultados de teste

Para exibir execuções de teste, abra Resultados de teste no Test Manager. A execução de cada conjunto de testes é listada como uma entrada de execução de teste. Para entender como as execuções de teste funcionam nos bastidores, consulte Resultados de teste.

Ao analisar sua execução de teste, você pode realizar as seguintes ações:

• Encontrar resultados de teste executados manualmente ou automaticamente por meio do Orchestrator.
• Consultar o progresso de execução de teste em andamento.
• Abra o conjunto de testes que foi executado.
• Examinar logs e anexos.
• Crie defeitos em seu sistema de gerenciamento de defeitos diretamente do Test Manager, se você tiver uma integração da ferramenta de Gerenciamento de ciclo de vida do aplicativo. Para obter mais informações, consulte Integração de ferramentas de ALM.

Por padrão, as execuções de teste são classificadas com base na data em que a execução foi concluída. Atualmente, execuções em andamento e pendentes são colocadas no topo.

Você pode identificar o status através dos códigos de cor atribuídos a cada execução de teste, da seguinte forma:

• Verde: casos de teste aprovados.
• Vermelho: casos de teste que falharam.
• Cinza: casos de teste sem resultados definitivos, como casos de teste que ainda não foram executados, mas fazem parte de um conjunto de testes que está sendo executado atualmente.

Resultados de testes automatizados

The results from automated test executions are imported from Orchestrator automatically. To have your automated tests imported to Test Manager, you need to meet the following condition: The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.

Observação:

Se uma Execução de Teste do Orchestrator tiver resultados para casos de teste de diversos projetos no Test Manager, a execução de teste será dividida no Test Manager. Os resultados aparecem nos projetos em que os casos de teste estão.

Substituição dos resultados do teste

Substituir os resultados de um caso de teste pode ajudar em cenários em que o resultado do teste atual não reflete com precisão o comportamento real do aplicativo e a nova execução não é uma solução eficaz. Você pode substituir os resultados de um caso de teste e, em seguida, é possível limpar a operação, se necessário.

1. Navegue até Resultados do teste e abra um resultado.

2. Na guia Resultados, abra um log de caso de teste.

3. Na guia Asserções, selecione Tarefas > Substituir resultado.

4. Na janela Substituir resultado do teste, configure os seguintes campos:

   1. Alterar resultado para - selecione se você deseja substituir o resultado com o status oposto (Aprovado/Falhou) ou definir o resultado como Nulo.
   2. Comentário — Digite o motivo pelo qual você substitui o resultado.

5. Selecione Confirmar. Os resultados do teste que você substituiu têm o seguinte ícone ao lado do status do resultado do teste: . Selecione o ícone e você poderá visualizar os detalhes de substituição.

   

6. Ou então, se você quiser limpar a operação de substituição, selecione o ao lado do status do resultado de um log de caso de teste.

   1. Na janela Detalhes da substituição, selecione Limpar substituição.

      

7. Ou então, se você quiser editar a operação de substituição, selecione o ao lado do status do resultado de um log de caso de teste.

   1. Realize alterações e clique em Confirmar.

Navegação e Pesquisa

Para encontrar rapidamente os resultados de seus testes, use a função de pesquisa e os filtros. Navegue na página usando e configurando o paginador. De maneira alternativa, você pode usar a navegação estrutural para navegar entre as páginas.

1. Filter - You can use the filter to narrow your search. For example, you can search for test results by execution type, when the execution was finished or by status. The filters are automatically saved and kept active until you clear them.
2. Search - Use the search bar to find test results by their key, execution type or status (requires full search term match). You can use the search bar at the top of the page to look for test results.

Trabalhando com resultados de execução de teste

Para obter resultados detalhados de uma execução de teste, acesse Resultados de teste e clique em uma entrada para abrir a exibição detalhada. Uma exibição detalhada de execução de teste típica mostra informações sobre quando as execuções iniciaram, sua duração e logs de execução.

Você pode usar o filtro Data do relatório para definir uma única data para todos os resultados da execução de teste. Isso é útil quando você executa testes durante a noite, onde alguns casos de teste são executados antes e após a meia-noite. Caso contrário, os resultados serão divididos entre datas diferentes nos relatórios.

Na seção Resultados, você pode examinar todos os casos de teste executados no conjunto de testes. Você pode realizar ações para cada caso de teste. Para obter mais informações, consulte Log de execução.

You can also open the executed test set by right-clicking an entry in the Test Sets page and selecting Open Test Set, or directly within the test execution.

Log de execução

Como parte do relatório de teste, os logs de execução contêm informações, tal como detalhes de execução (por exemplo, variação de dados e capturas de tela), asserções de falha e aprovação e um log detalhado de eventos de execução.

Para abrir um log de caso de teste, acesse Resultados de teste, abra uma execução de teste e clique em uma Chave de caso de teste.

Na tabela a seguir, você pode exibir o tipo de informação coletada durante a execução do caso de teste.

Relatórios de execução de teste	Description
Asserções	Visualize asserções com falha ou aprovadas (por exemplo, atividade Verificar Expressão) e capturas de tela associadas se alguma tiver sido feita durante a execução do caso de teste. Para garantir que o Orchestrator faça capturas de tela durante as execuções, visite os seguintes recursos: Funções padrão no Orchestrator - para verificar se as funções padrão têm a permissão de Artefatos de execução de casos de teste atribuída. Caso as funções padrão não tenham essa permissão, você pode criar uma função personalizada com essa permissão. Gerenciamento de funções no Orchestrator - para saber como criar, editar ou importar uma função no Orchestrator.
Logs	Visualize logs de nível INFO como parte do RobotLogs , com informações sobre processos, robô de execução e logs de evento, incluindo falhas. Selecione o ícone para ir para a guia Logs do caso de teste selecionado, para obter uma descrição detalhada da falha.
Detalhes da execução	Visualize detalhes do argumento como valores de entrada e saída, bem como detalhes de execução e detalhes de robôs (por exemplo, projeto, máquina e robô).
Requisitos impactados	Visualize os requisitos atribuídos ao caso de teste executado. Você pode usar essa aba para ir diretamente ao requisito afetado.
Anexos	Visualizar: os anexos carregados usando a atividade Attach Document. os anexos de um resultado de caso de teste, que está vinculado do Orchestrator.

Como visualizar a cobertura da atividade

Observação:

A cobertura de atividade está disponível apenas para execuções de teste automatizadas.

Pré-requisitos: habilite a cobertura de atividades para os conjuntos de testes desejados no Orchestrator ou no Test Manager.

1. Abra o conjunto de testes e selecione Mais opções e depois Executar automatizado.

2. Acesse Resultados dos testes e abra o conjunto de testes que você executou.

3. Acesse a guia Cobertura de atividades e investigue as informações sobre as atividades que foram cobertas durante a execução do teste.

   

Criar defeitos de resultados

É possível criar relatórios de defeitos, incluindo o log de execução para seu sistema de gerenciamento de defeitos externo, se você já o tiver integrado ao Test Manager. Para obter mais informações, consulte Integração de ferramentas de ALM.

Para criar um defeito fora de um log de execução, você precisa abrir um log de caso de teste, clicar em Tarefas e selecionar Criar Defeito. Depois que o defeito for criado, um link estará disponível no log de execução, para que você possa acessar a ferramenta externa integrada.

Artigos relacionados

• Operações em massa
• Exportar Dados

Sincronização de defeitos

É possível sincronizar os resultados de execução com ferramentas externas, como parte da integração da ferramenta Gerenciamento do ciclo de vida do aplicativo. Durante a execução, são coletadas informações como resultados, logs, carimbos de data/hora e outros detalhes, e elas são sincronizadas com a ferramenta que você integrou com o Test Manager.

Não se esqueça de que, atualmente, pode haver apenas uma conexão habilitada para a sincronização de defeitos no geral por projeto.

Observação:

• Para sincronizar defeitos, é necessário configurar um conector no Test Manager. Consulte as conexões disponíveis no Test Manager.
• Você precisa ter executado um conjunto de testes primeiro.

Quem pode sincronizar defeitos

Todas as funções de usuário, exceto somente leitura, podem sincronizar defeitos.

Para obter mais informações, consulte Gerenciamento de acesso de usuários e grupos.

Criar Defeito

Você pode criar defeitos acessando os logs do caso de teste na página Resultados de teste.

1. Navegue até Resultados de teste

2. Abra um resultado de teste e clique na chave do caso de teste para abrir os logs.

3. Clique em Tarefas e selecione Criar defeito.

   

O defeito é criado e sincronizado com sua ferramenta externa. Para abrir o defeito diretamente na ferramenta (por exemplo, Atlassian Jira), navegue até o resultado da execução de teste com um defeito sincronizado.

Desvincular defeito

Quando você desvincula defeitos de uma ferramenta externa, a entrada criada na ferramenta permanece inalterada. No Test Manager, o resultado da execução de teste não será vinculado com uma ferramenta externa.

1. Navegue até Resultados de teste
2. Abra um resultado de teste e clique em Tarefas
3. Selecione Desvincular defeito.