Resultados do Teste

Quando você inicia a execução de um conjunto de testes, o Test Manager passa pelo seguinte processo:

1. Uma execução de teste é criada na seção Resultados do teste do Test Manager. Isso serve como o contêiner para os resultados do teste.
2. Para cada caso de teste dentro do conjunto de testes executado, um Log de caso de teste vazio é gerado. Esse log é anexado à execução de teste e manterá seus resultados de teste associados.
3. À medida que a execução continua, o Test Manager preenche cada Log de caso de teste com resultados e informações de log relacionadas.

Observação:

Toda vez que uma execução de teste é criada, são adicionados os Logs de caso de teste para todos os casos de teste associados do conjunto de testes original. Isso significa que as Execuções de teste existentes permanecem consistentes, independentemente das atualizações ou exclusões feitas no conjunto de testes original.

O gráfico abaixo ilustra o processo de executar um conjunto de testes no Test Manager.

Como consequência, após a execução de um conjunto de testes, quaisquer alterações no conjunto de testes ou nos casos de teste associados não afetam os resultados de execuções anteriores. Mesmo quando um conjunto de testes é excluído, todas as execuções de teste permanecem inalteradas.

Quem pode ver os projetos

Todas as funções de usuário podem ver os resultados do teste.

For more information see User and Group Access Management.

Analisar resultados de teste

To view test executions, open Test Results in Test Manager. The execution of each test is listed as a test execution entry. To understand how the test executions work behind the scenes, see Test Results.

Ao analisar sua execução de teste, você pode realizar as seguintes ações:

• Encontrar resultados de teste executados manualmente ou automaticamente por meio do Orchestrator.
• Consultar o progresso de execução de teste em andamento.
• Abra o conjunto de teste que foi executado.
• Examinar logs e anexos.
• Create defects in your defect management system directly from Test Manager, if you have an Application Lifecycle Management tool integration. For more information, see ALM Tool Integration.

Por padrão, as execuções de teste são classificadas com base na data em que a execução foi concluída. Atualmente, execuções em andamento e pendentes são colocadas no topo.

Você pode identificar o status através dos códigos de cor atribuídos a cada execução de teste, da seguinte forma:

• Verde: casos de teste que passaram.
• Vermelho: casos de teste que falharam.
• Cinza: casos de teste sem resultados definitivos, como casos de teste que ainda não foram executados, mas fazem parte de um conjunto de testes que está sendo executado atualmente.

Resultados de testes automatizados

The results from automated test executions are imported from Orchestrator automatically. To have your automated tests imported to Test Manager, you need to meet the following condition: The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.

Observação:

Se uma Execução de Teste do Orchestrator tiver resultados para casos de teste de diversos projetos no Test Manager, a execução de teste será dividida no Test Manager. Os resultados aparecem nos projetos em que os casos de teste estão.

Navegação e Pesquisa

Para encontrar rapidamente os resultados de seus testes, use a função de pesquisa e os filtros. Navegue na página usando e configurando o paginador. De maneira alternativa, você pode usar a navegação estrutural para navegar entre as páginas.

1. Filter - You can use the filter to narrow your search. For example, you can search for test results by execution type, when the execution was finished or by status. The filters are automatically saved and kept active until you clear them.
2. Search - Use the search bar to find test results by their key, execution type or status (requires full search term match). You can use the search bar at the top of the page to look for test results.

Trabalhando com resultados de execução de teste

To get detailed results from a test execution, go to Test Results and click an entry to open the detailed view. A typical test execution detailed view shows information on when the executions started, duration, and execution logs.

Você pode usar o filtro Data do relatório para definir uma única data para todos os resultados da execução de teste. Isso é útil quando você executa testes durante a noite, onde alguns casos de teste são executados antes e após a meia-noite. Caso contrário, os resultados serão divididos entre datas diferentes nos relatórios.

In the Results section you can examine all the test cases that were executed within the test set. You can take actions for each test case. For more info, see Execution log.

You can also open the executed test set by right-clicking an entry in the Test Sets page and selecting Open Test Set, or directly within the test execution.

Log de execução

Como parte do relatório de teste, os logs de execução contêm informações, tal como detalhes de execução (por exemplo, variação de dados e capturas de tela), asserções de falha e aprovação e um log detalhado de eventos de execução.

Para abrir um log de caso de teste, acesse Resultados de teste, abra uma execução de teste e clique em uma Chave de caso de teste.

Na tabela a seguir, você pode exibir o tipo de informação coletada durante a execução do caso de teste.

Relatórios de execução de teste	Description
Asserções	View failed or passed assertions (e.g.,Verify expression activity), and associated screenshots if any were taken during test case execution. Para garantir que o Orchestrator faça capturas de tela durante as execuções, visite os seguintes recursos: Default roles in Orchestrator - to check if the default roles have the Test Case Execution Artifacts permission assigned. In case the default roles don't have this permission, then you can create a custom role with this permission. Managing roles in Orchestrator - to learn how to create, edit, or import a role in Orchestrator.
Logs	Visualize logs de nível INFO como parte do RobotLogs, com informações sobre processos, robô de execução e logs de evento.
Detalhes da execução	Visualize detalhes do argumento como valores de entrada e saída, bem como detalhes de execução e detalhes de robôs (por exemplo, projeto, máquina e robô).
Requisitos impactados	Visualize os requisitos atribuídos ao caso de teste executado. Você pode usar essa aba para ir diretamente ao requisito afetado.

Criar defeitos de resultados

You can create defect reports including the execution log to your external defect management system, if you already have it integrated with Test Manager. For more information, see ALM Tool Integration.

To create a defect out of an execution log, you need to open a test case log, click Tasks, and then select Create Defect. After the defect has been created, a link is available in the execution log, so you can access the integrated external tool.

Artigos relacionados

• Operações em massa
• Exportar Dados

Sincronização de defeitos

You can synchronize execution results with external tools, as part of the Application Lifecycle Management tool integration. Information that is gathered during execution, such as results, logs, timestamps, and other details is synchronized with the tool that you have integrated with Test Manager.

Não se esqueça de que, atualmente, pode haver apenas uma conexão habilitada para a sincronização de defeitos no geral por projeto.

Observação:

• To synchronize defects, you need to configure a connector in Test Manager. See available connections in Test Manager.
• You need to have executed a test set first.

Quem pode sincronizar defeitos

Todas as funções de usuário, exceto somente leitura, podem sincronizar defeitos.

For more information see User and Group Access Management.

Criar Defeito

Você pode criar defeitos acessando os logs do caso de teste na página Resultados de teste.

1. Navegue até Resultados de teste

2. Abra um resultado de teste e clique na chave do caso de teste para abrir os logs.

3. Clique em Tarefas e selecione Criar defeito.

   

O defeito é criado e sincronizado com sua ferramenta externa. Para abrir o defeito diretamente na ferramenta (por exemplo, Atlassian Jira), navegue até o resultado da execução de teste com um defeito sincronizado.

Desvincular defeito

Quando você desvincula defeitos de uma ferramenta externa, a entrada criada na ferramenta permanece inalterada. No Test Manager, o resultado da execução de teste não será vinculado com uma ferramenta externa.

1. Navegue até Resultados de teste
2. Abra um resultado de teste e clique em Tarefas
3. Selecione Desvincular defeito.