Análise de resultados de desempenho

Painel de resultados de testes de desempenho com status dos grupos, conformidade com SLO, erros de HTTP e de automação, limites de tempo de resposta e métricas de uso da infraestrutura.

O painel fornece vários gráficos e indicadores de status que ajudam a determinar se seu aplicativo e infraestrutura atenderam aos níveis de desempenho esperados.

• O gráfico Usuários exibe o número de usuários virtuais ativos ao longo do tempo e sobrepõe as principais métricas adicionais, como erros de automação, tempos de resposta e erros HTTP . Isso permite que você identifique rapidamente correções, por exemplo, se uma carga maior coincidir com erros aumentados ou tempos de resposta mais lentos.
• Gráfico de infraestrutura Mostra o consumo de CPU e memória dos robôs que executam a carga (geradores de carga sem servidor ou máquinas locais). O monitoramento dessas métricas ajuda a garantir que quaisquer problemas de desempenho sejam causados pelo sistema que está sob estresse, e não por uma sobrecarga da infraestrutura do robô.
• Cartões de grupo – Cada cartão de grupo fornece uma visão geral de alto nível do status de execução e das principais métricas de um grupo de carga.
  • Nome do grupo e nome do caso de teste. O nome do grupo não pode ser alterado.
  • Status (sem resultado, Aprovado ou Reprovado). O status é determinado automaticamente com base na conformidade com limites, mas também pode ser ajustado manualmente. Isso permite que os proprietários de testes substituam os resultados se acharem que um grupo deve ser considerado bem-sucedido apesar de violações menores ou marcados como com falha se as expectativas críticas para os negócios não forem atendidas.
  • Número de usuários virtuais executados. Essa métrica mostra uma barra completa após ser totalmente concluída.
  • Taxas de erro (HTTP e erros de automação)
  • Tempos médio e máximo de resposta

Para visualizar os erros HTTP e os erros de automação:

1. Abra uma execução e selecione uma exibição de interesse nos gráficos de Usuários ou nos gráficos de Infraestrutura .
2. Execute uma seleção na visualização de interesse (erros de HTTP ou erros de automação).
3. Consulte os erros na seção Tráfego da web e a seção Erros de automação .

A visualização do painel ajuda você a avaliar rapidamente se um grupo atingiu seus objetivos de nível de serviço (SLOs) definidos. Para uma análise mais profunda, você pode abrir a visualização Métricas de grupo , que fornece gráficos detalhados sobre tempos de resposta, taxas de erro, durações das etapas e uso da infraestrutura.

A visualização detalhada fornece insights detalhados sobre eventos específicos que ocorreram durante um teste de desempenho.

• Seleção de um intervalo de tempo e um gráfico Para abrir a visualização de detalhes, primeiro selecione um intervalo de tempo no históricos e, em seguida, escolha um gráfico específico (por exemplo, tempos de resposta HTTP, erros). A visualização de detalhes mostrará entradas relevantes para o período selecionado.
• Pares de solicitação/resposta HTTP A tabela lista todas as solicitações HTTP executadas pelo grupo de carga, incluindo seu nome, tipo, tempo de resposta e código de status.
  • Se as solicitações retornarem códigos de erro (por exemplo, 404, 500), eles serão sinalizados como erros.
  • Se as solicitações retornarem códigos válidos (por exemplo, 200), mas excederem os limites de tempo de resposta, eles também serão relatados aqui. O número na frente de cada entrada indica quantas vezes o problema ocorreu.
• Erros de automação A mesma exibição de detalhes também pode ser usada para exibir erros no nível de automação, como falhas de seletor ou exceções de atividade. Eles fornecem visibilidade sobre problemas funcionais que podem ocorrer sob carga.

Ao combinar códigos de erro, violações de limite e logs de automação, a visualização de detalhes ajuda a identificar a causa raiz de falhas de desempenho ou funcionais em um cenário de teste.

Logs do Robot

Você pode visualizar e filtrar os logs do robô, por grupo de carga e por gravidade, diretamente dentro dessa tela de resultados, junto com logs de aplicativo. Anteriormente, os logs do robô exigiam alternar para o Orchestrator.

Relatórios de desempenho com base em personas

Cada execução de teste de desempenho gera um relatório baseado em personas que traduz gráficos de painel e tabelas de SLO em uma resposta em linguagem simples para "o que eu faço em seguida?" Quatro visualizações estão disponíveis, uma para cada público-alvo:

• Gerente de programa — prontidão para lançamento: um veredicto por grupo de carga (Não lançar ou Pronto para produção) com base na conformidade com o SLO. Respostas: isso está pronto para o envio?
• Desenvolvedor — Visualização do desenvolvedor: taxa de erro e detalhes do tempo de resposta por grupo, além de uma dica de causa raiz de melhor esforço. Respostas: o que está quebrado?
• InfraOps — Visualização de infraestrutura: pico de uso de CPU e memória por grupo. Respostas: esse é um problema de infraestrutura?
• QA/Tester — Visualização do QA/Tester: quais grupos de carga precisam de um novo teste completo versus nenhum novo teste necessário após uma correção. Respostas: o que precisa der um novo teste?

Relatórios

Cada cenário de desempenho tem uma guia Relatórios com a listagem de todos os relatórios armazenados, relatórios de execução única e relatórios de comparação. Nesta guia, você pode Pesquisar, Classificar, Renomear e Excluir relatórios individuais.

Os relatórios de comparação sobrepõem uma linha por execução em cada gráfico compartilhado para que você possa alinhar várias execuções e ver onde uma alteração fez a diferença. Os gráficos compartilhados incluem:

• Tempo de resposta
• Taxa de transferência
• Taxas de erro de HTTP e automação
• Usuários virtuais
• CPU
• BATER

O sistema elimina da linha de uma execução qualquer métrica que essa execução não tenha em vez de bloquear a comparação.

Os relatórios PDF se abrem em linha no visualizador integrado ao aplicativo, assim como os relatórios HTML, para que você possa revisá-los sem baixar primeiro.

Análise de resultados de desempenho com o chat do Autopilot (agente)

Você também pode analisar execuções de testes de desempenho e gerar relatórios de desempenho usando consultas em linguagem natural no chat do Autopilot (agente). Isso requer a conexão do servidor de Protocolo de Contexto do Modelo de Teste de Desempenho (MCP), que não está conectado por padrão. Para obter etapas de configuração e a lista completa de ferramentas disponíveis, consulte Sobre o chat do Autopilot (agente) - Vincular ao servidor MCP do Performance Testing.

Resultado

Os resultados da execução de desempenho são exibidos no painel com cartões de grupos, gráficos e detalhamentos de erros. A visualização de detalhes mostra os pares de solicitação-resposta de HTTP e erros de automação para o período selecionado, ajudando você a identificar a causa-raiz de quaisquer falhas.