パフォーマンス シナリオの実行

1. Test Manager にログインします。

2. プロジェクトを開きます。

3. ドライ ランを実行します。パフォーマンス シナリオを開き、[ドライ ラン] を選択します。

   ヒント:

   ドライ ランでは、各負荷グループを 1 台のロボットで実行して、オートメーションの安定性を検証したり、インフラストラクチャの設定ミスを検出したりします。ドライ ランにより、完全実行の前に必要なリソースが計算されます。

4. 完全実行を実行します。ドライ ランを実行済みのパフォーマンス シナリオを開きます。[完全実行] を選択します。実行画面が自動的に開きます。

5. ダッシュボードをリアルタイムで監視し、実行ステータスを確認します。進行状況バーに、連続する 4 つのフェーズが表示されます。

   

   1. テストの設定を読み込んでいます - シナリオの設定が検証され、設定の詳細 (テスト ケース、負荷グループ、しきい値、データ ソース) が読み込まれます。
   2. リソースをプロビジョニングしています - 必要な実行リソースが割り当てられます。
      • Cloud ロボットの場合、これはサーバーレス ロボットをプロビジョニングし、プラットフォーム ユニットを消費することを意味します。
      • オンプレミス ロボットの場合は、正しいマシンとランタイムが利用可能であることを意味します。
   3. 仮想ユーザーを準備しています - 定義された負荷グループ設定に基づいて仮想ユーザーが初期化されます。ロボットの接続、テスト ケースの割り当て、実行環境の準備が含まれます。
   4. 完全実行 - 設定されたロード プロファイル (ランプ アップ、ピーク、ランプ ダウン) に従って実際のパフォーマンス テストが実行されます。この段階では、メトリック (応答時間、エラー率、インフラストラクチャの使用状況) をリアルタイムに監視できます。

6. 実行の概要を確認します。ダッシュボードにパフォーマンス テストの実行の概要が表示されます。

   

   • 負荷グループ: 現在並列に実行されているアクティブな負荷グループの数です。
   • 仮想ユーザー: シナリオ全体で現在アクティブな仮想ユーザーの数です。
   • エラー: これまで実行中のすべてのグループでエラー (HTTP、オートメーション エラー) が発生していました。
   • 平均応答時間: すべてのグループで検出された平均応答時間と最大応答時間です。
   • グラフ: ロード プロファイルと進行状況の視覚的な表現です。

7. メトリックを確認します。ヒストグラムは、現在選択されている負荷グループの全体的な平均応答時間を表します。強調表示されたバーのサイズを変更したりバーを移動したりして、特定の期間を拡大できます。複数のグラフも提供されます。

   

   • [負荷プロファイル] グラフ セクションには、特定の時点でアクティブだった仮想ユーザーの数が表示されます。これは、設定されたランプアップ、ピーク、およびランプダウンフェーズを反映しています。
   • [HTTP 応答時間 (ミリ秒)] グラフ セクションでは、選択した期間における HTTP 要求の平均応答時間が追跡されます。しきい値 (1,000 ミリ秒など) と比較して、パフォーマンスが低下する場所を確認します。
   • [HTTP エラー] グラフ セクションには、HTTPレベルのエラー (404、503 など) の割合が表示されます。これは、サーバーまたはネットワークの問題が不安定性の原因であるかどうかを特定するのに役立ちます。
   • [ オートメーション ステップの実行時間 (ミリ秒)] グラフ セクションでは、個々のオートメーション ステップの実行に要する時間を測定します。スパイクは、オートメーションの設計に非効率性や問題があることを示している可能性があります。
   • [自動化エラー (%)] グラフ セクションには、自動化レベルのエラー (セレクターの失敗、例外など) の割合が表示されます。これは、システム エラーとオートメーションの問題を区別するのに役立ちます。
   • [インフラストラクチャ – ロボットを実行する CPU (%)] グラフ セクションでは、負荷を実行するロボットの CPU 使用率を監視します。CPU 使用率が高い、または持続している場合は、リソースのボトルネックを示している可能性があります。
   • [インフラストラクチャ – 実行ロボットのメモリ (%)] グラフ セクションでは、実行中のロボットのメモリ消費量を追跡します。これは、時間の経過に伴うメモリ リークや過剰な使用を特定するのに役立ちます。
   • P50、P90、P95 などのパーセンタイル メトリックを使用すると、応答時間の分布を理解し、ユーザー エクスペリエンスに影響を与える可能性のある外れ値を特定するのに役立ちます。これらのメトリックは、 HTTP 応答時間、 HTTP エラー、 オートメーション ステップの期間、 オートメーション エラーなどのメトリックについて利用可能です。

8. 実行中の問題を監視します。実行画面の右側にあるアプリケーション ログと重要度レベルを確認します。API のパフォーマンステストについては、実行の進行状況と結果をグラフ形式とメトリック形式で確認できます。API レベル、平均、最小値、最大値が表示されます。

   

   • Info – リソースの割り当てなどの一般的な情報
   • Warning – しきい値違反または潜在的なリスク状態
   • エラー – オートメーションまたは HTTP の失敗 (例: 要求のタイムアウト、セレクターのエラー)
   • Fatal – テストを続行できない、実行の重大な失敗