Analysieren von Leistungsergebnissen

Dashboard mit den Ergebnissen von Leistungstests mit Gruppenstatus, SLO-Einhaltung, HTTP- und Automatisierungsfehlern, Antwortzeitschwellenwerten und Metriken zur Infrastrukturnutzung.

Das Dashboard enthält mehrere Diagramme und Statusindikatoren, anhand derer Sie feststellen können, ob Ihre Anwendung und Infrastruktur die erwarteten Leistungsniveaus erfüllt haben.

• Das Diagramm „Benutzer“ zeigt die Anzahl der aktiven virtuellen Benutzer im Laufe der Zeit an und überlagern zusätzliche Schlüsselmetriken wie Automatisierungsfehler, Antwortzeiten und HTTP Fehler. Auf diese Weise können Sie schnell Korrelationen erkennen, wenn eine höhere Last mit einer höheren Anzahl von Fehlern oder langsameren Reaktionszeiten einhergeht.
• Infrastrukturdiagramm: Zeigt den CPU- und Speicherverbrauch der Roboter an, die die Last ausführen (serverlose Lastgeneratoren oder lokale Maschinen). Durch die Überwachung dieser Metriken wird sichergestellt, dass Leistungsprobleme dadurch verursacht werden, dass das System unter Belastung steht, und nicht durch eine Überlastung der Roboterinfrastruktur.
• Gruppenkarten – Jede Gruppenkarte bietet einen Überblick über den Ausführungsstatus und die wichtigsten Metriken einer Lastgruppe.
  • Gruppenname und Testfallname. Der Gruppenname kann nicht geändert werden.
  • Status (kein Ergebnis, Bestanden oder Fehlgeschlagen). Der Status wird automatisch basierend auf der Schwellenwertkonformität bestimmt, kann aber auch manuell angepasst werden. Auf diese Weise können Testinhaber Ergebnisse überschreiben, wenn sie der Meinung sind, dass eine Gruppe trotz geringfügiger Verstöße als erfolgreich angesehen oder als fehlgeschlagen markiert werden sollte, wenn die geschäftskritischen Erwartungen nicht erfüllt wurden.
  • Anzahl der ausgeführten virtuellen Benutzer. Diese Metrik zeigt einen vollen Balken an, nachdem sie vollständig abgeschlossen ist.
  • Fehlerquoten (HTTP und Automatisierungsfehler)
  • Durchschnittliche und maximale Antwortzeiten

Informationen zum Anzeigen der HTTP-Fehler und Automatisierungsfehler finden Sie unter:

• Anzeigen von Leistungstestfehlern

Mit der Dashboardansicht können Sie schnell beurteilen, ob eine Gruppe ihre definierten Servicelevel-Ziele (SLOs) erfüllt hat. Für eine tiefere Analyse können Sie die Ansicht Gruppenmetriken öffnen, die detaillierte Diagramme zu Antwortzeiten, Fehlerquoten, Schrittdauer und Infrastrukturnutzung bietet.

Die Detailansicht bietet detaillierte Einblicke in bestimmte Ereignisse, die während eines Leistungstests aufgetreten sind.

• Auswählen eines Zeitrahmens und eines Diagramms: Um die Detailansicht zu öffnen, wählen Sie zuerst einen Zeitbereich im Histogramm aus und wählen dann ein bestimmtes Diagramm aus (z. B. HTTP-Antwortzeiten, Fehler). Die Detailansicht zeigt dann relevante Einträge für den ausgewählten Zeitrahmen an.
• HTTP-Anforderungs-/Antwortpaare: In der Tabelle sind alle von der Lastgruppe ausgeführten HTTP-Anforderungen aufgeführt, einschließlich ihres Namens, Typs, ihrer Antwortzeit und des Statuscodes.
  • Wenn Anforderungen Fehlercodes zurückgeben (z. B. 404, 500), werden sie als Fehler gekennzeichnet.
  • Wenn Anforderungen gültige Codes zurückgeben (z. B. 200), aber Schwellenwerte für die Antwortzeit überschreiten, werden sie auch hier gemeldet. Die Zahl vor jedem Eintrag gibt an, wie oft das Problem aufgetreten ist.
• Automatisierungsfehler: Dieselbe Detailansicht kann auch verwendet werden, um Fehler auf Automatisierungsebene wie Selektorfehler oder Aktivitätsausnahmen anzuzeigen. Diese bieten einen Überblick über Funktionsprobleme, die unter Last auftreten können.

Durch die Kombination von Fehlercodes, Schwellenwertverletzungen und Automatisierungsprotokollen hilft die Detailansicht, die Ursache für Leistungs- oder Funktionsfehler in einem Testszenario zu ermitteln.

Schrittmetriken für Desktop-Leistung-Tests

Für automatisierte Desktop-Leistungstests zeigen die Ergebnisse Metriken für jeden Schritt der Automatisierung, nicht nur für die Gesamtschrittdauer. Sie erkennen, welcher Schritt die Ausführung verlangsamt und an welcher Stelle in der zu untersuchenden Anwendung.

Die Schritt-Tabelle zeigt die folgenden Werte für jeden Schritt an:

• Durchschnitt: Die durchschnittliche Dauer des Schritts.
• Min.: Die kürzeste Dauer des Schritts.
• Max.: Die längste Dauer des Schritts.

Übergeordnete Aktivitäten werden zusammen mit den darin enthaltenen Schritten angezeigt. Die Dauer einer übergeordneten Aktivität umfasst auch die Zeit der darin enthaltenen Schritte.

Die Tabelle folgt dem Zeitbereich, den Sie für die Ausführung auswählen, auf die gleiche Weise wie die Metriktabelle für HTTP -Anforderungen.

Roboter-Protokolle

Roboterprotokolle werden direkt in diesem Ergebnisbildschirm neben den Anwendungsprotokollen nach Lastgruppe und Schweregrad angezeigt und sind filterbar. Zuvor war für Roboterprotokolle ein Wechsel zu Orchestrator erforderlich.

Persona-basierte Leistungsberichte

Jede Ausführung des Leistungstests generiert einen persona-basierten Bericht, der Dashboard-Diagramme und SLO-Tabellen in eine Antwort in einfacher Sprache auf die Frage „Was mache ich als Nächstes?“ übersetzt. Vier Ansichten sind verfügbar, eine pro Zielgruppe:

• Programm-Manager – Veröffentlichungsbereitschaft: Ein Urteil pro Lastgruppe (Nicht veröffentlichen oder Produktionsreif) basierend auf der SLO-Einhaltung. Antworten: Ist dies bereit, veröffentlicht zu werden?
• Entwickler – Entwickleransicht: Fehlerquote und Details zur Reaktionszeit pro Gruppe sowie ein Hinweis zur Ursachenanalyse nach bestem Wissen. Antworten: Was ist kaputt?
• InfraOps – Infrastrukturansicht: Spitzen-CPU- und Speichernutzung pro Gruppe. Antworten: Ist dies ein Infrastrukturproblem?
• QA/Tester – QA/Tester-Ansicht: Für welche Lastgruppen ist ein vollständiger erneuter Test erforderlich und für welche ist nach einer Fehlerbehebung kein erneuter Test nötig. Antworten: Was muss erneut getestet werden?

Berichte

Jedes Leistungsszenario verfügt über eine Registerkarte Berichte mit einer Auflistung aller gespeicherten Berichte, sowohl mit Berichten einzelner Ausführungen als auch mit Vergleichsberichten. Über diese Registerkarte können Sie einzelne Berichte suchen, sortieren, umbenennen und löschen.

Bei Vergleichsberichten wird eine Zeile pro Ausführung in jedem freigegebenen Diagramm eingeblendet, sodass Sie mehrere Ausführungen anordnen und sehen können, wo eine Änderung einen Unterschied gemacht hat. Freigegebene Diagramme enthalten:

• Reaktionszeit
• Durchsatz
• HTTP- und Automatisierungsfehlerquoten
• Virtuelle Benutzer
• CPU
• RAM

Hat eine Ausführung eine Metrik nicht, wird sie aus der Zeile dieser Ausführung entfernt, anstatt den Vergleich zu blockieren.

PDF-Berichte werden inline im In-App-Viewer geöffnet, genau wie HTML-Berichte, sodass Sie sie überprüfen können, ohne sie zuerst herunterzuladen.

Analysieren von Leistungsergebnissen mit Autopilot Chat (Agent)

Sie können auch Leistungstestausführungen analysieren und Leistungsberichte mithilfe von Abfragen in natürlicher Sprache in Autopilot Chat (Agent) generieren. Dazu ist eine Verbindung mit dem Performance Testing Model Context Protocol (MCP)-Server erforderlich, der standardmäßig nicht verbunden ist. Einrichtungsschritte und die vollständige Liste der verfügbaren Tools finden Sie unter „Über Autopilot Chat (Agent) – Link zum MCP-Server für Performance Testing“.

Ergebnis

Die Ergebnisse der Leistungsausführung werden im Dashboard mit Gruppenkarten, Diagrammen und Fehleraufschlüsselungen angezeigt. Die Detailansicht zeigt HTTP-Anfrage-Antwort-Paare und Automatisierungsfehler für den ausgewählten Zeitraum, und hilft Ihnen, die Ursache von Fehlern zu identifizieren.