Análise dos resultados de teste

Para visualizar execuções de testes, abra Execução no Test Manager. A execução de cada conjunto de testes é listada como uma entrada de execução de teste. Para entender como as execuções de testes funcionam nos bastidores, consulte Execução.

Ao analisar sua execução de teste, você pode realizar as seguintes ações:

• Encontrar resultados de teste executados manualmente ou automaticamente por meio do Orchestrator.
• Consultar o progresso de execução de teste em andamento.
• Abra o conjunto de testes que foi executado.
• Examinar logs e anexos.
• Crie defeitos em seu sistema de gerenciamento de defeitos diretamente do Test Manager, se você tiver uma integração da ferramenta de Gerenciamento de ciclo de vida do aplicativo. Para obter mais informações, consulte Integração de ferramentas de ALM.

Por padrão, as execuções de teste são classificadas com base na data em que a execução foi concluída. Atualmente, execuções em andamento e pendentes são colocadas no topo.

Você pode identificar o status através dos códigos de cor atribuídos a cada execução de teste, da seguinte forma:

• Verde: casos de teste aprovados.
• Vermelho: casos de teste que falharam.
• Cinza: casos de teste sem resultados definitivos, como casos de teste que ainda não foram executados, mas fazem parte de um conjunto de testes que está sendo executado atualmente.

Resultados de testes automatizados

Os resultados de execuções de teste automatizadas são importados do Orchestrator automaticamente. Para ter seus testes automatizados importados para o Test Manager, você precisa atender às seguintes condições:

• O teste automatizado precisa ser associado a um caso de teste do Test Manager em qualquer projeto do mesmo tenant. Para obter mais informações, consulte Testes automatizados e Seleção de automação.
  Observação:

  Se uma Execução de Teste do Orchestrator tiver resultados para casos de teste de diversos projetos no Test Manager, a execução de teste será dividida no Test Manager. Os resultados aparecem nos projetos em que os casos de teste estão.

Exibição de resultados com base na licença do usuário

Sua licença de usuário determina os resultados da execução de testes automatizados que você pode visualizar:

• Licença Pro ou Plus: você só pode visualizar e interagir com resultados ou logs de casos de testes executados em robôs de teste com o tipo de runtime TestAutomation . Você não pode interagir com os resultados ou logs de casos de teste executados por robôs de teste de aplicativos com o tipo de runtime AppTest , pois eles estão desabilitados.
• Licença de Testador de Aplicativos ou Desenvolvedor de Testes de Aplicativos: você pode visualizar e interagir com os resultados ou logs de casos de testes executados tanto pelos robôs de Testes quanto de Testes de Aplicativos, incluindo os tipos de runtime TestAutomation e AppTest .

Para obter mais informações sobre licenciamento, acesse Unified Pricing: licenciamento do Test Manager.

Visualização da transmissão ao vivo da execução de testes

Se você habilitou a transmissão ao vivo para uma execução de teste ou conjunto de testes, poderá acessar a gravação após a conclusão da execução.

Para visualizar a gravação da transmissão ao vivo:

1. Go to the Results section of the test execution.
2. Na coluna Vídeo , selecione Ao vivo.

Esta aba exibe a gravação da execução de teste conforme capturada durante a transmissão ao vivo.

Substituição dos resultados do teste

Substituir os resultados de um caso de teste pode ajudar em cenários em que o resultado do teste atual não reflete com precisão o comportamento real do aplicativo e a nova execução não é uma solução eficaz. Você pode substituir os resultados de um caso de teste e, em seguida, é possível limpar a operação, se necessário.

1. Navegue até Execução e abra um resultado de teste.
2. Na guia Resultados, abra um log de caso de teste.
3. Na guia Asserções, selecione Tarefas > Substituir resultado.
4. Na janela Substituir resultado do teste, configure os seguintes campos:
   1. Alterar resultado para - selecione se você deseja substituir o resultado com o status oposto (Aprovado/Falhou) ou definir o resultado como Nulo.
   2. Comentário — Digite o motivo pelo qual você substitui o resultado.
5. Selecione Confirmar. Os resultados do teste que você substituiu têm o seguinte ícone ao lado do status do resultado do teste: . Selecione o ícone e você poderá visualizar os detalhes de substituição.

Figura 1. A mensagem "Resultado do teste substituído com sucesso"

6. Optionally, if you want to clear the override operation, select the next to the result status of a test case log.

1. Na janela Detalhes da substituição, selecione Limpar substituição.

Figura 2. O menu Detalhes de Substituição

7. Optionally, if you want to edit the override operation, select the next to the result status of a test case log.

1. Realize alterações e clique em Confirmar.

Navegação e Pesquisa

Para encontrar rapidamente os resultados de seus testes, use a função de pesquisa e os filtros. Navegue na página usando e configurando o paginador. De maneira alternativa, você pode usar a navegação estrutural para navegar entre as páginas.

1. Filtros - Você pode usar os filtros para restringir sua pesquisa. Por exemplo, você pode pesquisar resultados de testes pelos seguintes critérios:
   1. Rótulos
   2. Tipo de execução
   3. Execução concluída
   4. Status: os filtros são salvos e mantidos ativos automaticamente até que você os limpe.
2. Search - Use the search bar to find test results by their key, execution type or status (requires full search term match). You can use the search bar at the top of the page to look for test results.

Trabalhando com resultados de execução de teste

Para visualizar resultados de testes detalhados, acesse Execução.

Na guia Resultados, selecione Exibir por e escolha sua visualização preferida para os resultados do teste. É possível selecionar uma das seguintes visualizações:

• Conjunto de testes: os resultados dos testes são agrupados por Execução de testes (Conjunto de testes).

• Caso de teste: para análise de execução cruzada ao filtrar os resultados com base nos critérios que excluem atributos de execução de teste.

  

Selecione uma entrada para abrir a visualização detalhada. Uma exibição detalhada de execução de teste típica mostra informações sobre quando as execuções iniciaram, sua duração e logs de execução.

Você pode acessar o log de execução de um caso de teste na visualização Caso de teste selecionando o chip de resultado relevante. Se a pós-condição de um caso de teste não tiver sido atendida durante uma execução manual, o log de caso de teste exibirá uma exceção com um ícone de Informações . A mensagem de exceção lê: Exceção durante a execução. Visualize logs para obter detalhes. Selecionar essa mensagem leva você à guia Detalhes da execução do log de casos de teste correspondente.

É possível usar o filtro Data do relatório para definir uma data unificada em todos os resultados de testes da execução de testes. Isso é útil quando você executa testes durante a noite, em que alguns casos de teste são executados antes e depois da meia-noite, impedindo que os resultados sejam divididos em datas separadas.

Na guia Resultados, você pode examinar todos os casos de teste executados dentro do conjunto de testes e tomar ações para cada um, conforme necessário. Para obter mais informações, consulte a seção Log de execução.

You can also open the executed test set by right-clicking an entry in the Test Sets page and selecting Open Test Set, or directly within the test execution.

Log de execução

Como parte do relatório de teste, os logs de execução contêm informações, tal como detalhes de execução (por exemplo, variação de dados e capturas de tela), asserções de falha e aprovação e um log detalhado de eventos de execução. Os logs do Robot e da Asserção ficam disponíveis em tempo real assim que o caso de teste começa a ser executado. Você também pode visualizar a máquina na qual o teste é executado e o robô usado para executar a execução.

Para abrir um log de caso de teste, acesse Execuções, abra uma execução de teste e selecione uma Chave de caso de teste ou resultado.

Figura 3. Visão geral dos detalhes de execução de um log de caso de teste

Na tabela a seguir, você pode exibir o tipo de informação coletada durante a execução do caso de teste.

Relatórios de execução de teste	Description
Asserções	Visualize asserções com falha ou aprovadas (por exemplo, atividade Verificar Expressão) e capturas de tela associadas se alguma tiver sido feita durante a execução do caso de teste. Para garantir que o Orchestrator faça capturas de tela durante as execuções, visite os seguintes recursos: Funções padrão no Orchestrator - para verificar se as funções padrão têm a permissão de Artefatos de execução de casos de teste atribuída. Caso as funções padrão não tenham essa permissão, você pode criar uma função personalizada com essa permissão. Gerenciamento de funções no Orchestrator - para saber como criar, editar ou importar uma função no Orchestrator.
Logs	Visualize logs de nível INFO como parte do RobotLogs , com informações sobre processos, robô de execução e logs de evento, incluindo falhas. Selecione o ícone para ir para a guia Logs do caso de teste selecionado, para obter uma descrição detalhada da falha.
Detalhes da execução	Visualize detalhes do argumento como valores de entrada e saída, bem como detalhes de execução e detalhes de robôs (por exemplo, projeto, máquina e robô). Essa seção também indica se a pós-condição foi atendida pelo caso de teste ou não.
Requisitos impactados	Visualize os requisitos atribuídos ao caso de teste executado. Você pode usar essa aba para ir diretamente ao requisito afetado.
Anexos	Você pode ver o seguinte: Anexos carregados usando a atividade Attach Document . Anexos do resultado de um caso de teste, que está vinculado ao Orchestrator.

You can check test logs (Assertions, Robots) as soon as the execution status changes to Running.

1. Go to Execution.
2. Selecione uma execução.
3. Select the Results tab. Check if the execution status is Running. Select the test case key.
4. Check the following tabs which get populated every ten seconds, as the execution progresses: Assertions, Logs, and Healing Logs. Note that Healing Logs are available only for Test Cloud users.

Detalhes da execução

A guia Detalhes da execução de um log de caso de teste oferece informações sobre as pré-condições e pós-condições de um caso de teste.

Se a pós-condição não tiver sido atendida durante a execução do teste, a aba exibirá o aviso Condição não atendida , que você poderá investigar.

Figura 4. O aviso de condição não cumprida

Download de logs de execução

Na seção Execução do seu projeto, você pode exportar suas execuções para XLSX ou PDF. O download de logs de execução permite que você analise mais a fundo os resultados dos testes.

Download de logs de execução para todas as execuções de teste

Para baixar logs para todas as suas execuções de testes, siga estas etapas:

1. Acesse a seção Execução do seu projeto.
2. Selecione Exportar para o Excel.

Essa ação exporta todas as execuções de teste em um arquivo .xlsx .

Download de logs de execução para uma execução

Quando você baixa logs de execução para uma execução, você obtém uma versão PDF ou XLSX dos seus resultados do teste.

Para baixar os logs de casos de teste para uma execução de teste específica (todos os casos de teste dentro de uma execução), siga estas etapas:

1. Acesse a seção Execução do seu projeto.
2. Selecione uma execução de teste.
3. Selecione Exportar e, em seguida, escolha uma das seguintes saídas:
   • Baixar Excel – Exporte registros em um arquivo .xlsx .
   • Baixar PDF – Exporte registros em um arquivo .pdf .

Para baixar logs de casos de teste individualmente, siga estas etapas:

1. Go to Execution.
2. Selecione uma execução de teste.
3. In the Results tab, identify the test case log you want to download.
4. Go to the end of the row, select the vertical three-dot menu, and, from the context menu, select Export as PDF.
5. Alternatively, to download several, individual test case logs, select their check boxes, and from the upper right-hand corner of the results grid, select Export as PDF. The test case logs are exported as individual files in a .ZIP archive.

Acesse Exportar dados para verificar mais detalhes sobre a exportação de logs para arquivos XLSX ou PDF.

Como visualizar a cobertura da atividade

Observação:

A cobertura de atividade está disponível apenas para execuções de teste automatizadas.

Pré-requisitos: habilite a cobertura de atividades para os conjuntos de testes desejados no Orchestrator ou no Test Manager.

1. Abra o conjunto de testes e selecione Mais opções e depois Executar automatizado.
2. Acesse Execução e abra o conjunto de testes que você executou.
3. Acesse a guia Cobertura de atividades e investigue as informações sobre as atividades que foram cobertas durante a execução do teste.

Figura 5. Visão geral de um exemplo de cobertura de atividades

Criar defeitos de resultados

É possível criar relatórios de defeitos, incluindo o log de execução para seu sistema de gerenciamento de defeitos externo, se você já o tiver integrado ao Test Manager. Para obter mais informações, consulte Integração de ferramentas de ALM.

Para criar um defeito a partir de um log de execução, você precisa abrir um log de caso de teste, clicar em Tarefas e selecionar Criar defeito. Depois que o defeito for criado, um link estará disponível no log de execução, para que você possa acessar a ferramenta externa integrada.

Artigos relacionados

• Operações em massa
• Exportar Dados