- Introdução ao Test Suite
- Studio
- Test Suite — Studio
- Visão geral
- Atividades de testes e APIs
- Orchestrator
- Test Manager
- Requisitos
- Assigning test cases to requirements
- Linking test cases in Studio to Test Manager
- Unlink automation
- Delete test cases
- Criar casos de teste
- Generate tests for requirements
- Casos de teste de clonagem
- Exportação de casos de teste
- Automatizar casos de teste
- Casos de teste manuais
- Aplicação de filtros e visualizações
- Conjuntos de Testes
- Execução de testes
- Análise dos resultados de teste
- Sincronização de defeitos
- Generate test insights report
- Documentos
- Relatórios
- Exportar Dados
- Operações em massa
- Solução de problemas
Análise dos resultados de teste
To view test executions, open Execution in Test Manager. The execution of each test set is listed as a test execution entry. To understand how the test executions work behind the scenes, see Execution.
Ao analisar sua execução de teste, você pode realizar as seguintes ações:
- Encontrar resultados de teste executados manualmente ou automaticamente por meio do Orchestrator.
- Consultar o progresso de execução de teste em andamento.
- Abra o conjunto de testes que foi executado.
- Examinar logs e anexos.
- Create defects in your defect management system directly from Test Manager, if you have an Application Lifecycle Management tool integration. For more information, see ALM Tool Integration.
Por padrão, as execuções de teste são classificadas com base na data em que a execução foi concluída. Atualmente, execuções em andamento e pendentes são colocadas no topo.
Você pode identificar o status através dos códigos de cor atribuídos a cada execução de teste, da seguinte forma:
- Verde: casos de teste aprovados.
- Vermelho: casos de teste que falharam.
- Cinza: casos de teste sem resultados definitivos, como casos de teste que ainda não foram executados, mas fazem parte de um conjunto de testes que está sendo executado atualmente.
The results from automated test executions are imported from Orchestrator automatically. To have your automated tests imported to Test Manager, you need to meet the following conditions:
- The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.
Note: If a Test Execution from Orchestrator holds results for test cases from several projects in Test Manager, the test execution is split in Test Manager. The results appear in the projects where the test cases are.
Substituir os resultados de um caso de teste pode ajudar em cenários em que o resultado do teste atual não reflete com precisão o comportamento real do aplicativo e a nova execução não é uma solução eficaz. Você pode substituir os resultados de um caso de teste e, em seguida, é possível limpar a operação, se necessário.
- Navegue até Execução e abra um resultado de teste.
- Na guia Resultados, abra um log de caso de teste.
- Na guia Asserções, selecione Tarefas > Substituir resultado.
- Na janela Substituir resultado do teste, configure os seguintes campos:
- Alterar resultado para - selecione se você deseja substituir o resultado com o status oposto (Aprovado/Falhou) ou definir o resultado como Nulo.
- Comentário — Digite o motivo pelo qual você substitui o resultado.
- Selecione Confirmar.
Os resultados do teste que você substituiu têm o seguinte ícone ao lado do status do resultado do teste:
. Selecione o ícone e você poderá visualizar os detalhes de substituição.
Figura 1. A mensagem "Resultado do teste substituído com sucesso"
- Opcionalmente, se você quiser limpar a operação de substituição, selecione o
- Na janela Detalhes da substituição, selecione Limpar substituição.
Figura 2. O menu Detalhes de Substituição
- Na janela Detalhes da substituição, selecione Limpar substituição.
- Opcionalmente, se você quiser editar a operação de substituição, selecione o
- Realize alterações e clique em Confirmar.
Para encontrar rapidamente os resultados de seus testes, use a função de pesquisa e os filtros. Navegue na página usando e configurando o paginador. De maneira alternativa, você pode usar a navegação estrutural para navegar entre as páginas.
- Filtros - Você pode usar os filtros para restringir sua pesquisa. Por exemplo, você pode pesquisar resultados de testes pelos seguintes critérios:
- Rótulos
- Tipo de execução
- Execução concluída
- Status
Filtros são salvos e mantidos ativos automaticamente até que você os limpe.
- Pesquisar - Use a barra de pesquisa para encontrar resultados de testes por sua chave, tipo de execução ou status (requer correspondência completa com o termo da pesquisa). Você pode usar a barra de pesquisar na parte superior da página para procurar resultados de testes.
Para visualizar resultados de testes detalhados, acesse Execução.
- Conjunto de testes: os resultados dos testes são agrupados por Execução de testes (Conjunto de testes).
- Caso de teste: para análise de execução cruzada ao filtrar os resultados com base nos critérios que excluem atributos de execução de teste.
Você pode acessar o log de execução de um caso de teste na visualização Caso de teste selecionando o chip de resultado relevante. Se a pós-condição de um caso de teste não foi atendida durante uma execução manual, o log de caso de teste exibe uma exceção com um ícone Info . A mensagem de exceção lê: Exceção durante a execução. Visualize logs para obter detalhes. Selecionar essa mensagem leva você para a guia Detalhes da execução do log de caso de teste correspondente.
É possível usar o filtro Data do relatório para definir uma data unificada em todos os resultados de testes da execução de testes. Isso é útil quando você executa testes durante a noite, em que alguns casos de teste são executados antes e depois da meia-noite, impedindo que os resultados sejam divididos em datas separadas.
Na guia Resultados, você pode examinar todos os casos de teste executados dentro do conjunto de testes e tomar ações para cada um, conforme necessário. Para obter mais informações, consulte a seção Log de execução.
Você também pode abrir o conjunto de testes executado clicando com o botão direito do mouse em uma entrada na página Conjuntos de testes e selecionando Abrir conjunto de testesou diretamente na execução do teste.
Como parte do relatório de teste, os logs de execução contêm informações, tal como detalhes de execução (por exemplo, variação de dados e capturas de tela), asserções de falha e aprovação e um log detalhado de eventos de execução.
Para abrir um log de caso de teste, acesse Execuções, abra uma execução de teste e selecione uma Chave de caso de teste ou resultado.
Na tabela a seguir, você pode exibir o tipo de informação coletada durante a execução do caso de teste.
|
Relatórios de execução de teste |
Description |
|---|---|
|
Asserções | Visualize asserções reprovadas ou aprovadas (por exemplo,atividade Verify expression) e capturas de tela associadas, se tiver sido feita alguma durante a execução de casos de teste.
Para garantir que o Orchestrator faça capturas de tela durante as execuções, visite os seguintes recursos:
|
|
Logs | Visualize logs de nível INFO como parte do RobotLogs, com informações sobre processos, robô de execução e logs de eventos, incluindo falhas.
Selecione os |
|
Detalhes da execução | Visualize detalhes do argumento como valores de entrada e saída, bem como detalhes de execução e detalhes de robôs (por exemplo, projeto, máquina e robô). Essa seção também indica se a pós-condição foi atendida pelo caso de teste ou não. |
|
Requisitos impactados | Visualize os requisitos atribuídos ao caso de teste executado. Você pode usar essa aba para ir diretamente ao requisito afetado. |
| Anexos | Você pode ver o seguinte:
|
ícone para ir para a guia Logs do caso de teste selecionado, para obter uma descrição detalhada da falha.
- Para baixar logs para todas as suas execuções de testes: De Execução, selecione Exportar para excel.
- Para baixar logs de casos de teste para uma execução de teste específica: De Execução, selecione uma execução de teste e, em seguida, selecione Exportar para excel.
Acesse Exportar dados para verificar mais detalhes sobre a exportação de logs para arquivos do Excel.
A guia Detalhes da execução de um log de caso de teste oferece informações sobre as pré-condições e pós-condições de um caso de teste.
Se a pós-condição não foi atendida durante a execução do teste, a aba exibe o aviso Condição não atendida , que você pode investigar.
Prerequisites: Enable activity coverage for the desired test sets either in Orchestrator or Test Manager.
- Abra o conjunto de teste, selecione Mais opções
e, em seguida , Executar Automatizado.
- Acesse Execução e abra o conjunto de testes que você executou.
- Acesse a guia Cobertura de atividades e investigue as informações sobre as atividades que foram cobertas durante a execução do teste.
Figura 5. Visão geral de uma cobertura de atividade de exemplo
You can create defect reports including the execution log to your external defect management system, if you already have it integrated with Test Manager. For more information, see ALM Tool Integration.
Para criar um defeito a partir de um log de execução, você precisa abrir um log de caso de teste, clicar em Tarefas e selecionar Criar defeito. Depois que o defeito for criado, um link estará disponível no log de execução, para que você possa acessar a ferramenta externa integrada.
