パフォーマンス シナリオの実行

1. Test Manager にログインします。
2. プロジェクトを開きます。
3. ドライ ランを実行します。パフォーマンス シナリオを開き、[ドライ ラン] を選択します。
   ヒント:

   ドライ ランでは、各負荷グループを 1 台のロボットで実行して、オートメーションの安定性を検証したり、インフラストラクチャの設定ミスを検出したりします。ドライ ランにより、完全実行の前に必要なリソースが計算されます。

4. 完全実行を実行します。ドライ ランを実行済みのパフォーマンス シナリオを開きます。[完全実行] を選択します。実行画面が自動的に開きます。
5. ダッシュボードをリアルタイムで監視し、実行ステータスを確認します。進行状況バーに、連続する 4 つのフェーズが表示されます。
   
   

   

   
   
   1. テストの設定を読み込んでいます - シナリオの設定が検証され、設定の詳細 (テスト ケース、負荷グループ、しきい値、データ ソース) が読み込まれます。
   2. リソースをプロビジョニングしています - 必要な実行リソースが割り当てられます。
      • Cloud ロボットの場合、これはサーバーレス ロボットをプロビジョニングし、プラットフォーム ユニットを消費することを意味します。
      • オンプレミス ロボットの場合は、正しいマシンとランタイムが利用可能であることを意味します。
   3. 仮想ユーザーを準備しています - 定義された負荷グループ設定に基づいて仮想ユーザーが初期化されます。ロボットの接続、テスト ケースの割り当て、実行環境の準備が含まれます。
   4. 完全実行 - 設定されたロード プロファイル (ランプ アップ、ピーク、ランプ ダウン) に従って実際のパフォーマンス テストが実行されます。この段階では、メトリック (応答時間、エラー率、インフラストラクチャの使用状況) をリアルタイムに監視できます。
6. 実行の概要を確認します。ダッシュボードにパフォーマンス テストの実行の概要が表示されます。
   
   

   

   
   

   • 負荷グループ: 現在並列に実行されているアクティブな負荷グループの数です。
   • 仮想ユーザー: シナリオ全体で現在アクティブな仮想ユーザーの数です。
   • エラー: 実行中にすべてのグループで現在までに発生したエラー (HTTP エラー、オートメーション エラー) の数です。
   • 平均応答時間: すべてのグループで検出された平均応答時間と最大応答時間です。
   • グラフ: ロード プロファイルと進行状況の視覚的な表現です。
7. メトリックを確認します。ヒストグラムは、現在選択されている負荷グループの全体的な平均応答時間を表します。強調表示されたバーのサイズを変更したりバーを移動したりして、特定の期間を拡大できます。複数のグラフも提供されます。
   
   

   

   
   

   • [ロード プロファイル] グラフのセクションには、特定の時点でアクティブだった仮想ユーザーの数が表示されます。ここには、設定されたランプ アップ、ピーク、ランプ ダウンのフェーズが反映されます。
   • [HTTP 応答時間 (ミリ秒)] グラフのセクションでは、選択した期間における HTTP 要求の平均応答時間が追跡されます。しきい値 (例: 1,000 ミリ秒) と比較して、どこでパフォーマンスが低下しているかを確認します。
   • [HTTP エラー] グラフのセクションには、HTTP レベルのエラー (404、503 など) の割合が表示されます。サーバーやネットワークの問題が原因で不安定になっているかどうかを特定するのに役立ちます。
   • [オートメーション ステップの期間 (ミリ秒)] グラフのセクションでは、個々のオートメーション ステップの実行に要する時間が測定されます。スパイクは、オートメーションの設計に非効率な箇所や問題があることを示している可能性があります。
   • [オートメーション エラー (%)] グラフのセクションには、オートメーション レベルのエラー (セレクターの失敗、例外など) の割合が表示されます。これは、システムのエラーとオートメーションの問題を区別するのに役立ちます。
   • [インフラストラクチャ] – [実行ロボットの CPU (%)] グラフのセクションでは、負荷を実行するロボットの CPU 使用率を監視します。CPU 使用率が高いか持続している場合は、リソースのボトルネックを示している可能性があります。
   • [インフラストラクチャ] – [実行ロボットのメモリ (%)] グラフのセクションでは、実行中のロボットのメモリ消費が追跡されます。これは、メモリ リークや過剰な使用の経時的推移を特定するのに役立ちます。
   • P50、P90、P95 などの使用パーセンタイルのメトリックは、応答時間の分布を理解し、ユーザー エクスペリエンスに影響を与える可能性のある外れ値を特定できるようにするために表示されます。これらは、HTTP 応答時間、HTTP エラー、オートメーション ステップの期間、オートメーション エラーなどのメトリックで利用可能です。
8. Monitor issues during execution. Check the application log and the severity levels, on the right side of the execution screen. For API performance testing, you can consult the execution progress and results in graph format and in metric format. The following information is displayed: API levels, average, minimum, maximum.
   
   

   

   
   

   • Info – リソースの割り当てなどの一般的な情報
   • Warning – しきい値違反または潜在的なリスク状態
   • Error – オートメーションまたは HTTP の失敗 (例: 要求のタイムアウト、セレクターのエラー)
   • Fatal – テストを続行できない、実行の重大な失敗