- スタート アップ ガイド
- プロジェクト管理
- 変更影響分析を使用する
- テスト ケースを作成する
- テスト ケースを複製する
- テスト ケースをエクスポートする
- Studio のテスト ケースを Test Manager にリンクする
- テスト ケースを削除する
- テスト ケースを表示および検索する
- プロジェクトの運用とユーティリティ
- Test Manager の設定
- ALM ツールとの連携
- API 連携
- テスト用エージェントのコードを作成する
- トラブルシューティング
パフォーマンス結果を分析する
パフォーマンス テストの結果のダッシュボード。グループのステータス、SLO の遵守、HTTP とオートメーションのエラー、応答時間のしきい値、インフラストラクチャの使用状況のメトリックが含まれます。
ダッシュボードには、アプリケーションやインフラストラクチャが期待されるパフォーマンス レベルを満たしているかどうかを判断するのに役立つ複数のグラフとステータス インジケーターが表示されます。
- [ユーザー] グラフには、アクティブな仮想ユーザー数の経時的推移が表示され、オートメーションのエラー、応答時間、
HTTPエラーなどの主要なメトリックも表示されます。これにより、たとえば、負荷が高いとエラーが増加したり応答時間が遅くなったりする場合の相関関係をすばやく特定できます。 - [インフラストラクチャ] グラフ: 負荷を実行するロボット (サーバーレスの負荷ジェネレーターやオンプレミス マシン) の CPU とメモリの消費量が表示されます。これらのメトリックを監視すると、パフォーマンスの問題がロボット インフラストラクチャの過負荷が原因で発生したのではなく、負荷がかかっているシステムが原因で発生したことを確認できます。
- グループ カード: 各グループ カードには、負荷グループの実行ステータスと主要なメトリックの概要が表示されます。
- グループ名およびテスト ケース名。グループ名は変更できません。
- ステータス (結果なし、成功または失敗)。ステータスは、しきい値への準拠に基づいて自動的に決定されますが、 手動で調整することもできます。これにより、テスト所有者は、軽微な違反にもかかわらずグループを成功と見なすべきだと判断した場合や、ビジネスに致命的な期待に応えられなかった場合に失敗としてマークすべきだと考える場合に、結果を上書きできます。
- 実行された仮想ユーザーの数。このメトリックには、グループの実行が完全に完了した後にバー全体が表示されます。
- エラー率 (
HTTPおよびオートメーションのエラー) - 平均応答時間と最大応答時間。
HTTP エラーとオートメーション エラーを表示するには、以下をご覧ください。
ダッシュボード ビューは、グループが定義済みのサービス レベル目標 (SLO) を達成したかどうかを素早く評価するのに役立ちます。さらに掘り下げて分析する場合は、グループ メトリック ビューを開くことができます。このビューには、応答時間、エラー率、ステップの実行時間、インフラストラクチャの使用状況に関する詳細なグラフが表示されます。
詳細ビューでは、パフォーマンス テスト中に発生した特定のイベントに対する詳細な洞察が得られます。
- タイムフレームとグラフを選択する: 詳細ビューを開くには、まずヒストグラムで期間を選択し、次に特定のグラフ (HTTP 応答時間、エラーなど) を選択します。選択したタイムフレームに関連するエントリが詳細ビューに表示されます。
- HTTP 要求/応答のペア: この表には、負荷グループによって実行されたすべての HTTP 要求が、名前、種類、応答時間、ステータス コードを含めて表示されます。
- 要求は、エラー コード (404、500 など) を返す場合にエラーとしてフラグが付けられます。
- 要求が有効なコード (200 など) を返しても、応答時間のしきい値を超えている場合も、ここに報告されます。各エントリの前にある数字は、問題が発生した回数を示します。
- オートメーション エラー: 同じ詳細ビューを使用して、セレクターの失敗やアクティビティの例外など、オートメーション レベルのエラーを表示することもできます。これらのエラーから、負荷がかかった場合に発生する可能性のある機能上の問題を可視化できます。
詳細ビューでは、エラー コード、しきい値違反、オートメーション ログを組み合わせて、テスト シナリオのパフォーマンスや機能の失敗の根本原因を突き止めることができます。
デスクトップのパフォーマンス テストのステップ メトリック
デスクトップの自動パフォーマンス テストの結果には、ステップ全体の時間だけでなく、オートメーションのすべてのステップのメトリックが表示されます。どのステップが実行を遅くしているのか、およびアプリケーションのどこで調査しているのかを特定します。
ステップの表に、各ステップの次の値を示します。
- 平均: ステップの平均時間。
- 最小: ステップの最短時間。
- 最大: ステップの最長時間。
親アクティビティは、含まれるステップとともに表示されます。親アクティビティの実行時間には、そのアクティビティ内のステップの実行時間が含まれます。
この表は、 HTTP 要求のメトリック テーブルと同じように、実行用に選択した時間範囲に従います。
ロボット ログ
ロボット ログは、負荷グループ別および重大度別に、アプリケーション ログとともに、この結果画面内で直接表示およびフィルター処理できます。以前は、ロボット ログを Orchestrator に切り替える必要がありました。
ペルソナ ベースのパフォーマンス レポート
ペルソナベースのレポートは、ダッシュボードのグラフと SLO の表を、「次に何をすればよいか」に対する平易な言葉の答えに変換します。視聴者ごとに 1 つずつ、合計 4 つのビューを使用できます。
- プログラム マネージャー — リリースの準備状況: SLO コンプライアンスに基づく、負荷グループごとの判定 (リリース未 完了または 運用環境の準備完了)。回答: 出荷の準備はできていますか?
- 開発者 — 開発者ビュー: グループごとのエラー率と応答時間の詳細、およびベストエフォートの根本原因のヒント。回答: 何が壊れていますか?
- InfraOps — インフラストラクチャ ビュー: グループごとのピーク CPU 使用率とメモリ使用量。回答: これはインフラストラクチャの問題ですか?
- QA/Tester — QA/Tester ビュー: 完全な再テストが必要な負荷グループと、修正後に再テストを必要としない負荷グループです。回答: 何を再テストする必要がありますか?
ペルソナ ベースのレポートを生成するには、パフォーマンス テスト モデル コンテキスト プロトコル (MCP) サーバーが必要です。手順については、「 Performance Testing MCP サーバーへのリンク」をご覧ください。
レポート
各パフォーマンス シナリオには [ レポート ] タブがあり、ここには格納されているすべてのレポート (単回実行レポートと比較レポートの両方) が一覧表示されます。このタブから、個々のレポートを検索、並べ替え、名前変更、および削除できます。比較レポートを含む保存されたレポートを生成するには、パフォーマンス テスト MCP サーバーが必要です。
比較レポートでは、各共有グラフの実行ごとに 1 行ずつオーバーレイされるため、複数の実行を並べて、変更によってどこが違いを生んだかを確認できます。共有グラフには以下が含まれます。
- 返信までの時間
- スループット
- HTTP エラー率とオートメーションのエラー率
- 仮想ユーザー
- CPU
- RAM
実行にないメトリックは、比較をブロックするのではなく、その実行の行から削除されます。
PDF レポートは HTML レポートと同じようにアプリ内ビューアーでインラインで開くため、最初にダウンロードしなくても確認できます。
Autopilot のチャットでパフォーマンスの結果を分析する (エージェント)
Autopilot のチャット (エージェント) で自然言語のクエリを使用してパフォーマンス レポートを生成し、パフォーマンス テストの実行を分析するには、パフォーマンス テスト MCP サーバーを接続する必要があります。サーバーは既定では接続されていません。設定手順と利用可能なツールの完全なリストについては、「 Autopilot のチャット (エージェント) について - Performance Testing MCP サーバーへのリンク」をご覧ください。
結果
パフォーマンスの実行結果がグループ カード、グラフ、エラーの内訳とともにダッシュボードに表示されます。詳細ビューに、選択した期間の HTTP 要求と応答のペアおよびオートメーション エラーが表示され、失敗の根本原因を特定できます。