Gerar relatórios com o Insights

Pré-requisitos

Para habilitar a geração de relatórios com o Insights, siga estas etapas:

1. Habilite o serviço Insights no mesmo tenant que sua instância do Test Manager.

   Você precisa da função Organization Administrator do Automation Cloud para habilitar um serviço.

2. No Test Manager, ative a configuração no nível do tenant Habilitar relatórios com o Insights .

   Você precisa de uma função de tenant Test Manager Administrator para habilitar a integração com o Insights.

   Para obter mais informações sobre como ativar a configuração, visite Configurações do nível de tenant.

Visão geral

Depois de habilitar a integração do Insights em seu tenant do Test Manager, você poderá acessar a análise para todos os seus projetos de teste dentro desse tenant. O Insights recupera dados do Test Manager, com base em um modelo de dados específico, e os apresenta por meio do painel predefinido Relatório de execução do Test Manager . Este painel fornece uma visão geral de todas as suas execuções de testes dentro do seu tenant.

Figura 1. Painel do Relatório de execução do Test Manager

Observação: quando você habilita relatórios com o Insights, os dados de todos os projetos do Test Manager são carregados no Insights. Portanto, todos os usuários com acesso ao Insights poderão gerar relatórios sobre esses projetos, independentemente de suas permissões no Test Manager.

Modelo de dados

O Insights usa logs de casos de teste do Test Manager para gerar os painéis personalizáveis. Para obter mais detalhes sobre o modelo de dados usado pelo Insights para gerar os painéis, consulte a seção Modelo de dados do Test Manager .

Observação: no modelo de dados do Test Manager, os logs dos casos de teste contêm dois tipos de resultados: técnicos e funcionais. Geralmente, esses resultados são os mesmos, a menos que apareça um erro técnico durante a execução. Os erros técnicos podem incluir interrupções de infraestrutura, erros de automação ou outros gatilhos não funcionais. Em qualquer um desses cenários, os resultados técnicos rotularão o teste como reprovado. Os resultados funcionais devem refletir apenas o resultado das verificações de negócios. Portanto, eles indicam sem resultados em caso de erros devido à falta de um resultado confiável.

Building Insights dashboards based on custom fields

You can create Insights dashboards for Requirements and Test Sets, based on the custom fields associated with these data objects.

You can work with a maximum of 5 custom-field selectors and 5 dimensions.

1. Log in to your platform and navigate to Insights.
2. Go to Dashboards and add a dashboard.
3. Open the dashboard and select Edit Dashboard.
4. Hover the toolbar and select Add.
   Figure 2. Add Insights dashboard
   

   

   
   
5. Select Visualization.
6. Under Test Manager, select the data object for which you want to create a dashboard. For example, let’s select Requirements.
7. Expand the data object category. For our example, expand Requirements. Note that you can have a maximum of 5 custom-field selectors (listed as Custom Field Selector 1 and so on, under Filter-Only Fields) and 5 dimensions (listed as Custom Field 1 and so on, under Dimensions). There is a 1:1 correspondence between the 5 custom-field selectors and the 5 custom-field dimensions. For example, Custom Field Selector 1 corresponds to Custom Field 1.
8. From Filter-Only Fields, select one or more custom-field selectors.
   Figure 3. Custom field selection
   

   

   
   
9. Expand the dropdown to see all the custom fields available in the tenant for your data object. The example below shows the custom fields available in the sample tenant, for requirements.
   Figure 4. Custom field values
   

   

   
   
10. Select the custom field values for your custom-field selectors.
11. From Dimensions, select the custom fields. For example, select Custom Field 1, Custom Field 2, and Custom Field 3.
12. From Custom Field Filters, select the values you need. For example, select Name and Project Name.
13. From Measures, select the values you need. For this example, select Total Test Case Count.
14. The values you selected are displayed on the right-hand side, in the workspace editor.
    Figure 5. Measures
    

    

    
    
15. From the upper, right-hand side of the workspace, select Run.
    Figure 6. Run dashboard
    

    

    
    
16. Wait for the data to load. The data can be visualized in multiple formats: table, graphs, or charts.
17. (Optional) Sort your data per column. For example, sort your data by priority.
18. From the upper, right-hand side of the workspace editor, select Save.
19. Select the pencil icon or click inside the table name to give your dashboard an official name. In our example, we named the dashboard “Custom Field for Requirement”.
20. Resize the table by dragging its edges.
21. From the toolbar menu, add a filter for your dashboard.
22. Select Filters > Add Filter.
23. Add filters for your data object, in our case Requirements. Expand the data object (Requirements), expand Custom Field Filters and pick a selector (for example, Custom Field Filter Selector 1).
    Figure 7. Filters
    

    

    
    
24. In the Add Filter dialog, continue configuring your filter (title, control, default value) and then select Add. For this example, we chose a radio button.
    Figure 8. Add filter
    

    

    
    
25. Expand the data object (Requirements) again and pick the selector value. For this example, we selected Custom Field Filters > Custom Field Filter 1.
    Figure 9. Custom field filter
    

    

    
    
26. In the Add Filter dialog, continue the configuration (title, control, filter options) and select Add. For our example, we chose Advanced from the Control field, and is any value from the Configure Default Value field.
    Figure 10. Filter configuration
    

    

    
    
27. In your dashboard, check the filter you added. For this example, we added Custom Field Filter Selector 1 and Custom Field Filter 1. Below the first filter, expand the is menu, select a value (Priority), and select Apply. Below the second filter, expand the is any value menu, select an operator and a value (contains High or Medium), and select Apply.
    Figure 11. Filter values
    

    

    
    
28. Select the Refresh button from the upper, right-hand corner of the workspace editor.

Modelo de dados do Test Manager

Terms and concepts

A estrutura do modelo de dados do Test Manager é baseada nos seguintes conceitos:

Conceito	Description
Explore	O ponto de partida para a exploração. Os dados são exibidos por meio do Explores, que você pode imaginar como uma entidade geral que corresponde aos campos dentro dela.
Exibir	Uma exibição representa uma tabela de dados, seja essa tabela nativa do seu banco de dados ou criada usando a funcionalidade de tabela derivada do Looker. Dentro de cada exibição estão as definições de campo, cada uma das quais geralmente corresponde a uma coluna na tabela subjacente ou a um cálculo no Looker.
Dimension	Como parte de uma exibição no Explore, a dimensão é um campo agrupável e pode ser usado para filtrar os resultados da consulta. Pode ser um dos seguintes: Um atributo que tem uma associação direta com uma coluna em uma tabela subjacente. Um fato ou valor numérico. Um valor derivado calculado com base nos valores de outros campos em uma única linha.
Measure	Como parte de uma exibição no Explore, o parâmetro Measure declara uma nova medida (agregação) e especifica um nome para essa medida. Exemplos de tipos de medidas: integer, string.

Dimensões e medidas

Observação: as dimensões e medidas Requisitos, Conjuntos de testes e Execuções de testes estão disponíveis apenas no Test Manager por meio do Test Cloud.

Logs de casos de teste

As tabelas a seguir descrevem as dimensões e medidas disponíveis para logs de casos de teste.

Tabela 1. Dimensões dos logs de casos de teste

Dimensões	Tipo	Description
Email do Destinatário	String	O endereço de e-mail do usuário ao qual um caso de teste foi atribuído.
Nome do Projeto de Automação	String	O nome da automação vinculada ao caso de teste.
Data de Conclusão	data	A data em que um caso de teste manual estava agendado para ser executado.
Início da execução	data	A data de início da execução do teste.
Executado por	String	O nome de usuário ou nome do robô que executou o teste.
Fim de Execução	data	A data de término da execução do teste.
Tipo de execução	String	O tipo de execução: Automatizado para testes automatizados. Manual para testes manuais. Nenhum para casos de teste que não são executados e estão no estado Pendente .
Nome da Máquina do Host	String	O nome da máquina.
Nome do Projeto	String	O nome do projeto do Test Manager.
Prefixo do projeto	String	O prefixo do projeto do Test Manager.
Data do relatório	data	A data em que o teste foi executado. É uma data sem horário e também sem fuso horário.
Resultado	String	O resultado do caso de teste: Aprovado, Falha ou Nenhum.
Nome do Robô	String	O nome do robô que executou o teste.
Nome da execução de teste	String	O nome da execução de teste.

Tabela 2. Medidas dos logs de casos de teste

Medidas	Tipo	Description
Contagem Total	Número inteiro	O número total de logs de casos de teste.
Contagem aprovada	String	O número de logs de casos de teste aprovados.
Contagem não aprovada (técnica)	Número inteiro	Os resultados técnicos indicam resultados como com falha quando uma exceção ocorre durante a execução.
Sem contagem de resultados (técnico)	Número inteiro	Os resultados técnicos indicam que não há resultados quando uma exceção ocorre durante a execução.
DurationInSeconds	Número inteiro	Runtime total em segundos.

Requisitos

As tabelas a seguir descrevem as dimensões e medidas disponíveis para requisitos.

Tabela 3. Dimensões de requisitos

Dimensões	Tipo	Description
Nome do Projeto	String	Uma combinação do nome do projeto e do prefixo do projeto com o objetivo de torná-lo único e aumentar a legibilidade.
Name	String	Uma combinação da chave de requisito e seu nome, com o objetivo de torná-la exclusiva e aumentar a legibilidade.

Tabela 4. Medidas de requisito

Medida	Tipo	Description
Contagem total de casos de teste	Número inteiro	O número de casos de teste atribuídos a um requisito.
Contagem de casos de teste automatizados	Número inteiro	O número de casos de teste automatizados atribuídos a um requisito.
Contagem de casos de teste manuais	Número inteiro	O número de casos de teste manuais atribuídos a um requisito.
Contagem de casos de teste aprovados	Número inteiro	O número de casos de teste atribuídos a um requisito que passaram na execução de teste mais recente.
Contagem de casos de teste com falha	Número inteiro	O número de casos de teste atribuídos a um requisito que falharam na execução de teste mais recente.
Nenhuma contagem de casos de teste	Número inteiro	O número de casos de teste atribuídos a um requisito sem nenhum resultado na execução de teste mais recente.
Contagem total de requisitos	Número inteiro	O número total de requisitos.

Conjuntos de Testes

As tabelas a seguir descrevem as dimensões e medidas disponíveis para conjuntos de testes.

Observação: para casos de teste atribuídos, a visualização do conjunto de testes contém informações sobre atribuições de testes estáticas.

Tabela 5. Dimensões do conjunto de testes

Dimensões	Tipo	Description
Nome do Projeto	String	Uma combinação do nome do projeto e do prefixo do projeto com o objetivo de torná-lo único e aumentar a legibilidade.
Name	String	Uma combinação do nome do projeto e do prefixo do projeto com o objetivo de torná-lo único e aumentar a legibilidade.
Nome do Robô	String	O nome do robô que executou o conjunto de testes.
Origem	String	A origem do conjunto de testes: Orchestrator ou Test Manager.

Tabela 6. Medidas do conjunto de testes

Medida	Tipo	Description
Contagem total de conjuntos de teste	Número inteiro	O número de conjuntos de testes.
Contagem de casos de teste automatizados	String	O número de casos de teste automatizados no conjunto de testes.
Contagem de casos de teste manuais	Número inteiro	Número de casos de teste manuais no conjunto de testes.

Execução de teste

As tabelas a seguir descrevem as dimensões e medidas disponíveis para execuções de teste.

Tabela 7. Dimensões de execuções de teste

Dimensões	Tipo	Description
Nome do Projeto	String	Uma combinação de prefixo e nome do projeto para torná-lo exclusivo e aumentar a legibilidade.
Name	String	Uma combinação de ID e nome de execução para torná-la exclusiva e aumentar a legibilidade.
Nome do Conjunto de Testes	String	Uma combinação de chave e nome do conjunto de testes para torná-lo exclusivo e aumentar a legibilidade.
Tipo de execução	String	O tipo de execução: Manual, Automatizado, Nenhum ou Misto.
Origem	String	A origem da execução: TestManager, Orchestrator ou Studio.

Tabela 8. Medidas de execução de teste

Medida	Tipo
Contagem total de execuções de teste	Número inteiro
Contagem de tipos de execução manuais	Número inteiro
Contagem de tipos de execução automatizados	Número inteiro
Contagem de tipos de execução mistos	Número inteiro
Duração em segundos da execução do teste	Número inteiro