パフォーマンス結果を分析する

ダッシュボードには、アプリケーションやインフラストラクチャが期待されるパフォーマンス レベルを満たしているかどうかを判断するのに役立つ複数のグラフとステータス インジケーターが表示されます。

• [ユーザー] グラフ: アクティブな仮想ユーザーの数の経時的推移が表示されます。また、オートメーションのエラー、応答時間、HTTP エラーなどの主要なメトリックがオーバーレイで表示されます。これにより、たとえば負荷の増加に連動してエラーの増加や応答時間の低下が発生する場合に、相関関係を素早く特定できます。
• [インフラストラクチャ] グラフ: 負荷を実行するロボット (サーバーレスの負荷ジェネレーターやオンプレミス マシン) の CPU とメモリの消費量が表示されます。これらのメトリックを監視すると、パフォーマンスの問題の原因がテスト対象システムではなくロボット インフラストラクチャの過負荷であることを確認できます。
• グループ カード: 各グループ カードには、負荷グループの実行ステータスと主要なメトリックの概要が表示されます。
  • グループ名およびテスト ケース名。グループ名は変更できません。
  • ステータス (結果なし、成功、失敗)。ステータスは、しきい値への準拠に基づいて自動的に決定されますが、手動で調整することもできます。これにより、軽微な違反があってもグループを成功と見なすべきであると考えた場合や、ビジネス クリティカルな期待を満足していない場合にグループを失敗としてマークすべきであると考えた場合に、テスト所有者が結果を上書きできます。
  • 実行された仮想ユーザーの数。このメトリックは、完全に完了した後の完全なバーを示します。
  • エラー率 (HTTP およびオートメーション エラー)。
  • 平均応答時間と最大応答時間。

ダッシュボード ビューは、グループが定義済みのサービス レベル目標 (SLO) を達成したかどうかを素早く評価するのに役立ちます。さらに掘り下げて分析する場合は、グループ メトリック ビューを開くことができます。このビューには、応答時間、エラー率、ステップの実行時間、インフラストラクチャの使用状況に関する詳細なグラフが表示されます。

詳細ビューでは、パフォーマンス テスト中に発生した特定のイベントに対する詳細な洞察が得られます。

• タイムフレームとグラフを選択する

  詳細ビューを開くには、まずヒストグラムで期間を選択し、次に特定のグラフ (HTTP 応答時間、エラーなど) を選択します。詳細ビューに、選択したタイムフレームに関連するエントリが表示されます。

• HTTP 要求/応答のペア
  この表には、負荷グループによって実行されたすべての HTTP 要求が、名前、種類、応答時間、ステータス コードを含めて表示されます。

  • 要求がエラー コード (404、500 など) を返す場合、エラーとしてフラグが付けられます。
  • 要求が有効なコード (200 など) を返しても、応答時間のしきい値を超えていれば、それもここに報告されます。各エントリの前にある数字は、問題が発生した回数を示します。
• オートメーション エラー

  同じ詳細ビューを使用して、セレクターの失敗やアクティビティの例外などのオートメーション レベルのエラーを表示することもできます。これらのエラーから、負荷がかかった場合に発生する可能性のある機能上の問題を可視化できます。

• レコーディング

  このビューでは、オートメーションの再生の記録はサポートされていません。ただし、Orchestrator で記録を有効化できます。ロボットがキャプチャできた場合、オートメーションの詳細な実行ログやスクリーンショットを利用できます。キャプチャできなかった場合は、ロボットからのエラー ログが報告されます。

詳細ビューでは、エラー コード、しきい値の違反、オートメーション ログを組み合わせて、テスト シナリオのパフォーマンスや機能の失敗の根本原因を突き止めることができます。