テスト結果を分析する

To view test executions, open Execution in Test Manager. The execution of each test set is listed as a test execution entry. To understand how the test executions work behind the scenes, see Execution.

テスト実行を分析することで、以下の操作を行えます。

Orchestrator で手動または自動で実行したテストの結果を検索する。
テスト実行の進行状況を確認する。
実行されたテストセットを開きます。
ログと添付ファイルを調べる。
アプリケーションライフサイクル管理ツールと連携している場合は、Test Manager から直接、不具合管理システム内に不具合を作成する。詳細については、「ALM ツールとの連携」をご覧ください。

既定では、テスト実行は実行が終了した日付に基づいて並べ替えられます。現在実行中および保留中のテスト実行は、先頭に表示されます。

各テスト実行のステータスは、ステータスごとに割り当てられた次の色によって識別できます。

緑: 合格したテストケース
赤: 失敗したテストケース
灰: 最終的な結果のないテストケース (まだ実行されてはいないが、現在実行中のテストセットの一部であるものなど)

自動化されたテストの結果

自動化されたテスト実行の結果は、Orchestrator から自動的にインポートされます。自動化されたテストを Test Manager にインポートするには、以下の条件を満たす必要があります。

自動化されたテストは、Test Manager プロジェクトのテストセットの一部である必要があります。詳細については、自動化されたテストに関する説明をご覧ください。
注: Orchestrator からのテスト実行に、Test Manager の複数のプロジェクトからのテストケースの結果が保持されている場合、Test Manager 内ではテスト実行が分割されます。結果は、テストケースが存在していたプロジェクトごとに表示されます。

テスト結果を上書きする

テストケースの結果の上書きは、現在のテスト結果がアプリケーションの実際の動作を正確に反映しておらず、再実行は効果的なソリューションではないシナリオで役立ちます。テストケースのテスト結果を上書きしたり、必要に応じて上書き操作をクリアしたりできます。

Navigate to Execution and open a test result.
[結果] タブからテストケースログを開きます。
[アサーション] タブで、[タスク] > [結果を上書き] を選択します。
[テスト結果を上書き] ウィンドウで、次のフィールドを設定します。
1. 変更後の結果 - 結果を逆のステータス ([合格]/[不合格]) で上書きするか、結果を [なし] に設定するかを選択します。
2. コメント - 結果を上書きする理由を入力します。
[確認] を選択します。
上書きしたテスト結果のステータスの横には、アイコンが表示されます。アイコンを選択すると、上書きの詳細を表示できます。

Figure 1. The "Test result overridden successfully" message
上書き操作をクリアする場合は、テストケースログの結果ステータスの横にあるを選択します。
1. [詳細を上書き] ウィンドウで、[上書きをクリア] を選択します。
  Figure 2. The Override details menu
上書き操作を編集する場合は、テストケースログの結果ステータスの横にあるを選択します。
1. 変更を行い、[確定] をクリックします。

ナビゲーションと検索

テスト結果をすばやく見つけるには、検索機能とフィルターを使用します。ページ内の移動には、ページネーション機能を設定・使用します。または、階層リンクを使用してページ間を移動することもできます。

フィルター - フィルターで検索対象を絞り込むことができます。たとえば、以下の条件でテスト結果を検索できます。
1. ラベル
2. 実行の種類
3. 実行完了日時
4. Status
適用したフィルターは自動的に保存され、クリアされるまでアクティブな状態に保たれます。
検索 - テスト結果をキー、実行の種類、またはステータス (検索用語は完全に一致する必要があります) で検索するには、検索バーを使用します。ページ上部の検索バーを使用してテスト結果を検索できます。

テスト実行結果を使用する

To view detailed test results, go to Execution.

[結果] タブで [表示:] を選択し、テスト結果の表示方法を選択します。次のいずれかのビューを選択できます。

テストセット: テスト結果は、テスト実行 (テストセット) 別にグループ化されます。
テストケース: テスト実行の属性を除いた条件に基づいて結果をフィルター処理する、複数件の実行の分析ビュー

詳細ビューを開くには、エントリを選択します。一般的なテスト実行の詳細ビューには、実行開始日時と期間に関する情報および実行ログが表示されます。

[報告日] フィルターを使用して、テスト実行のすべてのテスト結果にわたって統一された日付を設定できます。この機能は、一部のテストケースが夜 12 時前後に実行されるような夜間のテスト実行を行い、結果が別々の日付に分割されるのを防ぐ場合に便利です。

In the Results tab you can examine all the executed test cases within the test set, and take action for each, as necessary. For more information, see the Execution log section.

また、[テストセット] ページのエントリを右クリックして [テストセットを開く] を選択するか、テスト実行内から直接、実行されたテストセットを開くこともできます。

実行ログ

テストレポートの一部として、実行の詳細 (データバリエーションやスクリーンショットなど)、失敗したアサーションと成功したアサーション、実行イベントの詳細ログなどの情報が実行ログに保持されます。

To open a test case log, go to Executions, open a test execution and then click a test case Key.

Figure 3. Overview of the execution details of a test case log

以下の表に、テストケースの実行時に収集される情報を示します。

テスト実行レポート	説明
アサーション	失敗または成功したアサーション (例: [式を検証] アクティビティ)、および関連するスクリーンショット (テストケースの実行中に取得された場合) を確認できます。実行時に Orchestrator でスクリーンショットが作成されるようにするには、次のリソースをご覧ください。 Orchestrator の既定のロール - 既定のロールにテストケース実行の成果物権限が割り当てられているかどうかを確認します。既定のロールにこの権限がない場合は、この権限を持つカスタムロールを作成できます。 Orchestrator でロールを管理する - Orchestrator でロールを作成、編集、インポートする方法を理解できます。
ログ	`RobotLogs` の一部である INFO レベルのログを確認できます。プロセス、実行ロボット、および失敗を含むイベントログに関する情報が含まれます。このアイコンを選択すると、選択したテストケースの [ログ] タブに移動し、失敗の詳細が表示されます。
実行の詳細	入力値や出力値などの引数の詳細情報を確認できます。また、実行やロボットの詳細情報 (プロジェクト、マシン、ロボットなど) も表示できます。
影響を受ける要件	実行されたテストケースに割り当てられた要件を確認できます。このタブからは、影響を受ける要件に直接移動できます。
添付ファイル	以下が表示されます。 [ドキュメントを添付] アクティビティを使用してアップロードされた添付ファイル Orchestrator からリンクされている、テストケースの結果の添付ファイル

実行ログをダウンロードする

To download logs for all your test executions: From Execution, select Export to excel.
To download test case logs for a specific test execution: From Execution, select a test execution, and then select Export to excel.

ログを Excel ファイルにエクスポートする方法について詳しくは、「データをエクスポートする」をご覧ください。

アクティビティカバレッジを表示する

注: アクティビティカバレッジは、自動テスト実行でのみ利用可能です。

前提条件: Orchestrator または Test Manager で、目的のテストセットのアクティビティカバレッジを有効化します。

テストセットを開き、[その他のオプション] を選択してから、[自動テストを実行] を選択します。
Go to Execution and open the test set you executed.
[アクティビティカバレッジ] タブに移動し、テスト実行中にカバーされたアクティビティに関する情報を確認します。
Figure 4. Overview of an example activity coverage