Analysieren von Leistungsergebnissen

Dashboard mit den Ergebnissen von Leistungstests mit Gruppenstatus, SLO-Einhaltung, HTTP- und Automatisierungsfehlern, Antwortzeitschwellenwerten und Metriken zur Infrastrukturnutzung.

Das Dashboard enthält mehrere Diagramme und Statusindikatoren, anhand derer Sie feststellen können, ob Ihre Anwendung und Infrastruktur die erwarteten Leistungsniveaus erfüllt haben.

• Das Diagramm „Benutzer“ zeigt die Anzahl der aktiven virtuellen Benutzer im Laufe der Zeit an und überlagern zusätzliche Schlüsselmetriken wie Automatisierungsfehler, Antwortzeiten und HTTP Fehler. Auf diese Weise können Sie schnell Korrelationen erkennen, wenn eine höhere Last mit einer höheren Anzahl von Fehlern oder langsameren Reaktionszeiten einhergeht.
• Infrastrukturdiagramm zeigt CPU- und Speicherverbrauch der Roboter, die die Last ausführen (serverlose Lastgeneratoren oder lokale Maschinen). Die Überwachung dieser Metriken trägt dazu bei, dass Leistungsprobleme durch eine Überlastung des Systems und nicht durch eine Überlastung der Roboterinfrastruktur verursacht werden.
• Gruppenkarten – Jede Gruppenkarte bietet einen Überblick über den Ausführungsstatus und die wichtigsten Metriken einer Lastgruppe.
  • Gruppenname und Testfallname. Der Gruppenname kann nicht geändert werden.
  • Status (kein Ergebnis, Bestanden oder Fehlgeschlagen). Der Status wird automatisch basierend auf der Schwellenwertkonformität bestimmt, kann aber auch manuell angepasst werden. Auf diese Weise können Testinhaber Ergebnisse überschreiben, wenn sie der Meinung sind, dass eine Gruppe trotz geringfügiger Verstöße als erfolgreich angesehen oder als fehlgeschlagen markiert werden sollte, wenn die geschäftskritischen Erwartungen nicht erfüllt wurden.
  • Anzahl der ausgeführten virtuellen Benutzer. Diese Metrik zeigt einen vollen Balken an, nachdem sie vollständig abgeschlossen ist.
  • Fehlerquoten (HTTP und Automatisierungsfehler)
  • Durchschnittliche und maximale Antwortzeiten

So zeigen Sie die HTTP -Fehler und die Automatisierungsfehler an:

1. Öffnen Sie eine Ausführung und wählen Sie eine Ansicht von Interesse aus den Benutzerdiagrammen oder den Infrastrukturdiagrammen aus.
2. Führen Sie eine Auswahl in der Ansicht des Interesses durch (HTTP-Fehler oder Automatisierungsfehler).
3. Lesen Sie die Fehler im Abschnitt Webdatenverkehr und im Abschnitt Automatisierungsfehler .

Mit der Dashboardansicht können Sie schnell beurteilen, ob eine Gruppe ihre definierten Servicelevel-Ziele (SLOs) erfüllt hat. Für eine tiefere Analyse können Sie die Ansicht Gruppenmetriken öffnen, die detaillierte Diagramme zu Antwortzeiten, Fehlerquoten, Schrittdauer und Infrastrukturnutzung bietet.

Die Detailansicht bietet detaillierte Einblicke in bestimmte Ereignisse, die während eines Leistungstests aufgetreten sind.

• Auswählen eines Zeitrahmens und Diagramms Um die Detailansicht zu öffnen, wählen Sie zuerst einen Zeitbereich im Histogramm aus und wählen Sie dann ein bestimmtes Diagramm aus (z. B. HTTP-Antwortzeiten, Fehler). Die Detailansicht zeigt relevante Einträge für den ausgewählten Zeitrahmen an.
• HTTP-Anforderung/Antwort-Paare In der Tabelle sind alle von der Lastgruppe ausgeführten HTTP-Anforderungen aufgeführt, einschließlich ihres Namens, Typs, ihrer Antwortzeit und des Statuscodes.
  • Wenn Anforderungen Fehlercodes zurückgeben (z. B. 404, 500), werden sie als Fehler gekennzeichnet.
  • Wenn Anforderungen gültige Codes zurückgeben (z. B. 200), aber die Antwortzeit-Schwellenwerte überschreiten, werden sie auch hier gemeldet. Die Zahl vor jedem Eintrag gibt an, wie oft das Problem aufgetreten ist.
• Automatisierungsfehler Dieselbe Detailansicht kann auch verwendet werden, um Fehler auf Automatisierungsebene wie Selektorfehler oder Aktivitätsausnahmen anzuzeigen. Diese bieten einen Überblick über Funktionsprobleme, die unter Last auftreten können.

Durch die Kombination von Fehlercodes, Schwellenwertverletzungen und Automatisierungsprotokollen hilft die Detailansicht, die Ursache für Leistungs- oder Funktionsfehler in einem Testszenario zu ermitteln.

Roboter-Protokolle

Roboterprotokolle werden direkt in diesem Ergebnisbildschirm neben den Anwendungsprotokollen nach Lastgruppe und Schweregrad angezeigt und sind filterbar. Zuvor war für Roboterprotokolle ein Wechsel zu Orchestrator erforderlich.

Persona-basierte Leistungsberichte

Jede Ausführung des Leistungstests generiert einen persona-basierten Bericht, der Dashboard-Diagramme und SLO-Tabellen in eine Antwort in einfacher Sprache auf die Frage „Was mache ich als Nächstes?“ übersetzt. Vier Ansichten sind verfügbar, eine pro Zielgruppe:

• Programm-Manager – Veröffentlichungsbereitschaft: Ein Urteil pro Lastgruppe (Nicht veröffentlichen oder Produktionsreif) basierend auf der SLO-Einhaltung. Antworten: Ist dies bereit, veröffentlicht zu werden?
• Entwickler – Entwickleransicht: Fehlerquote und Details zur Reaktionszeit pro Gruppe sowie ein Hinweis zur Ursachenanalyse nach bestem Wissen. Antworten: Was ist kaputt?
• InfraOps – Infrastrukturansicht: Spitzen-CPU- und Speichernutzung pro Gruppe. Antworten: Ist dies ein Infrastrukturproblem?
• QA/Tester – QA/Tester-Ansicht: Für welche Lastgruppen ist ein vollständiger erneuter Test erforderlich und für welche ist nach einer Fehlerbehebung kein erneuter Test nötig. Antworten: Was muss erneut getestet werden?

Berichte

Jedes Leistungsszenario verfügt über eine Registerkarte Berichte mit einer Auflistung aller gespeicherten Berichte, sowohl mit Berichten einzelner Ausführungen als auch mit Vergleichsberichten. Über diese Registerkarte können Sie einzelne Berichte suchen, sortieren, umbenennen und löschen.

Bei Vergleichsberichten wird eine Zeile pro Ausführung in jedem freigegebenen Diagramm eingeblendet, sodass Sie mehrere Ausführungen anordnen und sehen können, wo eine Änderung einen Unterschied gemacht hat. Freigegebene Diagramme enthalten:

• Reaktionszeit
• Durchsatz
• HTTP- und Automatisierungsfehlerquoten
• Virtuelle Benutzer
• CPU
• RAM

Hat eine Ausführung eine Metrik nicht, wird sie aus der Zeile dieser Ausführung entfernt, anstatt den Vergleich zu blockieren.

PDF-Berichte werden inline im In-App-Viewer geöffnet, genau wie HTML-Berichte, sodass Sie sie überprüfen können, ohne sie zuerst herunterzuladen.

Analysieren von Leistungsergebnissen mit Autopilot Chat (Agent)

Sie können auch Leistungstestausführungen analysieren und Leistungsberichte mithilfe von Abfragen in natürlicher Sprache in Autopilot Chat (Agent) generieren. Dazu ist eine Verbindung mit dem Performance Testing Model Context Protocol (MCP)-Server erforderlich, der standardmäßig nicht verbunden ist. Einrichtungsschritte und die vollständige Liste der verfügbaren Tools finden Sie unter „Über Autopilot Chat (Agent) – Link zum MCP-Server für Performance Testing“.

Ergebnis

Die Ergebnisse der Leistungsausführung werden im Dashboard mit Gruppenkarten, Diagrammen und Fehleraufschlüsselungen angezeigt. Die Detailansicht zeigt HTTP-Anfrage-Antwort-Paare und Automatisierungsfehler für den ausgewählten Zeitraum, und hilft Ihnen, die Ursache von Fehlern zu identifizieren.