パフォーマンス結果を分析する

パフォーマンス テストの結果のダッシュボード。グループのステータス、SLO の遵守、HTTP とオートメーションのエラー、応答時間のしきい値、インフラストラクチャの使用状況のメトリックが含まれます。

ダッシュボードには、アプリケーションやインフラストラクチャが期待されるパフォーマンス レベルを満たしているかどうかを判断するのに役立つ複数のグラフとステータス インジケーターが表示されます。

• [ユーザー] グラフには、アクティブな仮想ユーザー数の経時的推移が表示され、オートメーションのエラー、応答時間、HTTP エラーなどの主要なメトリックも表示されます。これにより、たとえば、負荷が高いとエラーが増加したり応答時間が遅くなったりする場合の相関関係をすばやく特定できます。
• [インフラストラクチャ] グラフ: 負荷を実行するロボット (サーバーレスの負荷ジェネレーターやオンプレミス マシン) の CPU とメモリの消費量が表示されます。これらのメトリックを監視すると、パフォーマンスの問題がロボット インフラストラクチャの過負荷が原因で発生したのではなく、負荷がかかっているシステムが原因で発生したことを確認できます。
• グループ カード: 各グループ カードには、負荷グループの実行ステータスと主要なメトリックの概要が表示されます。
  • グループ名およびテスト ケース名。グループ名は変更できません。
  • ステータス (結果なし、成功または失敗)。ステータスは、しきい値への準拠に基づいて自動的に決定されますが、 手動で調整することもできます。これにより、テスト所有者は、軽微な違反にもかかわらずグループを成功と見なすべきだと判断した場合や、ビジネスに致命的な期待に応えられなかった場合に失敗としてマークすべきだと考える場合に、結果を上書きできます。
  • 実行された仮想ユーザーの数。このメトリックには、グループの実行が完全に完了した後にバー全体が表示されます。
  • エラー率 (HTTP およびオートメーションのエラー)
  • 平均応答時間と最大応答時間。

HTTP エラーとオートメーション エラーを表示するには、以下の手順を実行します。

1. 実行を開き、[ユーザー] グラフまたは [インフラストラクチャ] グラフから対象のビューを選択します。
2. 対象のビュー ([HTTP エラー] または [オートメーション エラー]) で選択を行います。
3. [Web トラフィック] セクションと [オートメーション エラー] セクションでエラーを確認します。

ダッシュボード ビューは、グループが定義済みのサービス レベル目標 (SLO) を達成したかどうかを素早く評価するのに役立ちます。さらに掘り下げて分析する場合は、グループ メトリック ビューを開くことができます。このビューには、応答時間、エラー率、ステップの実行時間、インフラストラクチャの使用状況に関する詳細なグラフが表示されます。

詳細ビューでは、パフォーマンス テスト中に発生した特定のイベントに対する詳細な洞察が得られます。

• 時間枠とグラフの選択 詳細ビューを開くには、まずヒストグラムで時間範囲を選択してから、特定のグラフ (HTTP 応答時間、エラーなど) を選択します。詳細ビューには、選択した時間枠に関連するエントリが表示されます。
• HTTP 要求/応答のペア この表には、ロード グループによって実行されたすべての HTTP 要求が、名前、種類、応答時間、状態コードなどと共に一覧表示されます。
  • 要求は、エラー コード (404、500 など) を返す場合にエラーとしてフラグが付けられます。
  • 要求が有効なコード (200 など) を返しても、応答時間のしきい値を超えている場合も、ここに報告されます。各エントリの前にある数字は、問題が発生した回数を示します。
• オートメーションのエラー: 同じ詳細ビューを使用して、セレクターの失敗やアクティビティの例外などのオートメーション レベルのエラーを表示することもできます。これにより、負荷がかかった状態で発生する可能性のある機能上の問題を可視化できます。

詳細ビューでは、エラー コード、しきい値違反、オートメーション ログを組み合わせて、テスト シナリオのパフォーマンスや機能の失敗の根本原因を突き止めることができます。

Step metrics for desktop performance tests

For desktop automated performance tests, the results show metrics for every step of the automation, not only the overall step duration. They identify which step is slowing the run and where in the application to investigate.

The steps table shows the following values for each step:

• Average: the average duration of the step.
• Min: the shortest duration of the step.
• Max: the longest duration of the step.

Parent activities appear together with the steps they contain. The duration of a parent activity includes the time of the steps inside it.

The table follows the time range you select for the execution, in the same way as the metrics table for HTTP requests.

ロボット ログ

ロボット ログは、負荷グループ別および重大度別に、アプリケーション ログとともに、この結果画面内で直接表示およびフィルター処理できます。以前は、ロボット ログを Orchestrator に切り替える必要がありました。

ペルソナ ベースのパフォーマンス レポート

パフォーマンス テストを実行するたびに、ダッシュボードのグラフと SLO の表を「次に何をすればよいか」に対する平易な言葉の答えに変換されるペルソナ ベースのレポートが生成されます。視聴者ごとに 1 つずつ、合計 4 つのビューを使用できます。

• プログラム マネージャー — リリースの準備状況: SLO コンプライアンスに基づく、負荷グループごとの判定 (リリース未 完了または 運用環境の準備完了)。回答: 出荷の準備はできていますか?
• 開発者 — 開発者ビュー: グループごとのエラー率と応答時間の詳細、およびベストエフォートの根本原因のヒント。回答: 何が壊れていますか?
• InfraOps — インフラストラクチャ ビュー: グループごとのピーク CPU 使用率とメモリ使用量。回答: これはインフラストラクチャの問題ですか?
• QA/Tester — QA/Tester ビュー: 完全な再テストが必要な負荷グループと、修正後に再テストを必要としない負荷グループです。回答: 何を再テストする必要がありますか?

レポート

各パフォーマンス シナリオには [ レポート ] タブがあり、ここには格納されているすべてのレポート (単回実行レポートと比較レポートの両方) が一覧表示されます。このタブから、個々のレポートを検索、並べ替え、名前変更、および削除できます。

比較レポートでは、各共有グラフの実行ごとに 1 行ずつオーバーレイされるため、複数の実行を並べて、変更によってどこが違いを生んだかを確認できます。共有グラフには以下が含まれます。

• 返信までの時間
• スループット
• HTTP エラー率とオートメーションのエラー率
• 仮想ユーザー
• CPU
• RAM

実行にないメトリックは、比較をブロックするのではなく、その実行の行から削除されます。

PDF レポートは HTML レポートと同じようにアプリ内ビューアーでインラインで開くため、最初にダウンロードしなくても確認できます。

Autopilot のチャットでパフォーマンスの結果を分析する (エージェント)

また、 Autopilot のチャット (エージェント) で自然言語のクエリを使用して、パフォーマンス テストの実行を分析し、パフォーマンス レポートを生成することもできます。これには、既定では接続されていないパフォーマンス テスト モデル コンテキスト プロトコル (MCP) サーバーを接続する必要があります。設定手順と利用可能なツールの完全なリストについては、「 Autopilot のチャット (エージェント) について - Performance Testing MCP サーバーへのリンク」をご覧ください。

結果

パフォーマンスの実行結果がグループ カード、グラフ、エラーの内訳とともにダッシュボードに表示されます。詳細ビューに、選択した期間の HTTP 要求と応答のペアおよびオートメーション エラーが表示され、失敗の根本原因を特定できます。