パフォーマンス シナリオの実行

パフォーマンス シナリオを実行するには、最初にドライ ランを実行して安定性とリソース要件を検証してから、フル実行を開始して、構成した仮想ユーザー全体の負荷、応答時間、エラー率を測定します。

1. Test Manager にログインします。

2. プロジェクトを開きます。

3. ドライ ランを実行します。パフォーマンス シナリオを開き、[ドライ ラン] を選択します。

   ヒント:

   A dry run executes each load group with a single robot to validate automation stability and detect infrastructure misconfigurations. After the dry run starts, expand the Application logs panel from the right-hand side to check for unsupported features detected by the Workflow Analyzer. Review the activity log and workflow files to identify and correct any issues before running a full execution. The dry run also calculates the required resources before full execution.

4. View live streaming during the dry run. During the dry run, you can watch the execution in real time. Under Test groups, identify a group and select its associated camera icon to view the live streaming.

   注:

   Live streaming is available only during dry runs.

5. 完全実行を実行します。ドライ ランを実行済みのパフォーマンス シナリオを開きます。[完全実行] を選択します。実行画面が自動的に開きます。

6. ダッシュボードをリアルタイムで監視し、実行ステータスを確認します。進行状況バーに、連続する 4 つのフェーズが表示されます。

   

   1. テストの設定を読み込んでいます - シナリオの設定が検証され、設定の詳細 (テスト ケース、負荷グループ、しきい値、データ ソース) が読み込まれます。
   2. リソースをプロビジョニングしています - 必要な実行リソースが割り当てられます。
      • Cloud ロボットの場合、これはサーバーレス ロボットをプロビジョニングし、プラットフォーム ユニットを消費することを意味します。
      • オンプレミス ロボットの場合は、正しいマシンとランタイムが利用可能であることを意味します。
   3. 仮想ユーザーを準備しています - 定義された負荷グループ設定に基づいて仮想ユーザーが初期化されます。ロボットの接続、テスト ケースの割り当て、実行環境の準備が含まれます。
   4. 完全実行 - 設定されたロード プロファイル (ランプ アップ、ピーク、ランプ ダウン) に従って実際のパフォーマンス テストが実行されます。この段階では、メトリック (応答時間、エラー率、インフラストラクチャの使用状況) をリアルタイムに監視できます。

7. 実行の概要を確認します。ダッシュボードにパフォーマンス テストの実行の概要が表示されます。

   

   • 負荷グループ: 現在並列に実行されているアクティブな負荷グループの数です。
   • 仮想ユーザー: シナリオ全体で現在アクティブな仮想ユーザーの数です。
   • エラー: これまで実行中のすべてのグループでエラー (HTTP、オートメーション エラー) が発生していました。
   • 平均応答時間: すべてのグループで検出された平均応答時間と最大応答時間です。
   • グラフ: ロード プロファイルと進行状況の視覚的な表現です。

8. メトリックを確認します。ヒストグラムは、現在選択されている負荷グループの全体的な平均応答時間を表します。強調表示されたバーのサイズを変更したりバーを移動したりして、特定の期間を拡大できます。複数のグラフも提供されます。

   

   • [負荷プロファイル] グラフ セクションには、特定の時点でアクティブだった仮想ユーザーの数が表示されます。これは、設定されたランプアップ、ピーク、およびランプダウンフェーズを反映しています。
   • [HTTP 応答時間 (ミリ秒)] グラフ セクションでは、選択した期間における HTTP 要求の平均応答時間が追跡されます。しきい値 (1,000 ミリ秒など) と比較して、パフォーマンスが低下する場所を確認します。
   • [HTTP エラー] グラフ セクションには、HTTPレベルのエラー (404、503 など) の割合が表示されます。これは、サーバーまたはネットワークの問題が不安定性の原因であるかどうかを特定するのに役立ちます。
   • [ オートメーション ステップの実行時間 (ミリ秒)] グラフ セクションでは、個々のオートメーション ステップの実行に要する時間を測定します。スパイクは、オートメーションの設計に非効率性や問題があることを示している可能性があります。
   • [自動化エラー (%)] グラフ セクションには、自動化レベルのエラー (セレクターの失敗、例外など) の割合が表示されます。これは、システム エラーとオートメーションの問題を区別するのに役立ちます。
   • [インフラストラクチャ – ロボットを実行する CPU (%)] グラフ セクションでは、負荷を実行するロボットの CPU 使用率を監視します。CPU 使用率が高い、または持続している場合は、リソースのボトルネックを示している可能性があります。
   • [インフラストラクチャ – 実行ロボットのメモリ (%)] グラフ セクションでは、実行中のロボットのメモリ消費量を追跡します。これは、時間の経過に伴うメモリ リークや過剰な使用を特定するのに役立ちます。
   • P50、P90、P95 などのパーセンタイル メトリックを使用すると、応答時間の分布を理解し、ユーザー エクスペリエンスに影響を与える可能性のある外れ値を特定するのに役立ちます。これらのメトリックは、 HTTP 応答時間、 HTTP エラー、 オートメーション ステップの期間、 オートメーション エラーなどのメトリックについて利用可能です。

9. 実行中に問題を監視します。実行画面の右側でアプリケーション ログと重要度レベルを確認します。API パフォーマンス テストでは、実行の進行状況と結果をグラフ形式とメトリック形式で確認できます。API レベル、平均値、最小値、最大値が表示されます。

   

   • Info – リソースの割り当てなどの一般的な情報
   • Warning – しきい値違反または潜在的なリスク状態
   • エラー – オートメーションまたは HTTP の失敗 (例: 要求のタイムアウト、セレクターのエラー)
   • Fatal – テストを続行できない、実行の重大な失敗

結果

パフォーマンス シナリオは、ドライ ランまたは完全実行を完了します。結果ダッシュボードには、各負荷グループの負荷プロファイル、応答時間、エラー率、およびインフラストラクチャメトリックが表示されます。