テスト結果

Test Manager のテスト結果では、実行されたテスト セットの設計、実行、更新、削除に関する情報が提供されます。

テスト セットの実行を開始すると、Test Manager で以下のプロセスが実行されます。

1. テスト実行が Test Manager の [テスト結果] セクションに作成されます。これはテスト結果のコンテナーとして機能します。
2. 実行されたテスト セット内のすべてのテスト ケースに対して、空のテスト ケースのログが生成されます。このログはテスト実行に添付され、関連するテスト結果を保持します。
3. 実行を続けると、Test Manager によって、各テスト ケースのログに結果と、関連するログ情報が記録されていきます。

注:

テスト実行が作成されるたびに、元のテスト セットの関連するテスト ケースすべてに対して、テスト ケース ログが追加されます。つまり、元のテスト セットを更新または削除しても、既存のテスト実行の一貫性が保たれます。

下の図は、Test Manager でテスト セットを実行するプロセスを表したものです。

こうしたフローを採用していることから、テスト セットの実行後にテスト セットまたは関連するテスト ケースにどのような変更を加えたとしても、変更前の実行結果には影響しません。テスト セットを削除した場合でも、すべてのテスト実行について、元の結果が保持されます。

テスト結果を分析する

To view test executions, open Test Results in Test Manager. The execution of each test is listed as a test execution entry. To understand how the test executions work behind the scenes, see Test Results.

テスト実行を分析することで、以下の操作を行えます。

• Orchestrator で手動または自動で実行したテストの結果を検索する。
• テスト実行の進行状況を確認する。
• ログと添付ファイルを調べる。
• アプリケーション ライフサイクル管理ツールと連携している場合は、Test Manager から直接、不具合管理システム内に不具合を作成する。

既定では、テスト実行は実行が終了した日付に基づいて並べ替えられます。現在実行中および保留中のテスト実行は、先頭に表示されます。

各テスト実行のステータスは、ステータスごとに割り当てられた次の色によって識別できます。

• 緑: 成功したテスト ケース
• 赤: 失敗したテスト ケース
• 灰: 最終的な結果のないテスト ケース (まだ実行されてはいないが、現在実行中のテスト セットの一部であるものなど)

自動化されたテストの結果

The results from automated test executions are imported from Orchestrator automatically. To have your automated tests imported to Test Manager, you need to meet the following condition: The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.

注:

Orchestrator からのテスト実行に、Test Manager の複数のプロジェクトからのテスト ケースの結果が保持されている場合、Test Manager 内ではテスト実行が分割されます。結果は、テスト ケースが存在していたプロジェクトごとに表示されます。

テスト実行結果を使用する

To get detailed results from a test execution, go to Test Results and click an entry to open the detailed view. A typical test execution detailed view shows information on when the executions started, duration, and execution logs.

[報告日] フィルターを使用して、テスト実行のすべての結果に 1 つの日付を設定できます。この機能は、一部のテスト ケースが夜 12 時前後に実行されるような夜間のテスト実行を行う場合に便利です。この機能を使用しないと、レポート内で結果が複数の異なる日付に分かれて表示されます。

In the Results section you can examine all the test cases that were executed within the test set. You can take actions for each test case. For more info, see Execution log

実行ログ

テスト レポートの一部として、実行の詳細 (データ バリエーションやスクリーンショットなど)、失敗したアサーションと成功したアサーション、実行イベントの詳細ログなどの情報が実行ログに保持されます。

テスト ケースのログを開くには [テスト結果] に移動し、テスト実行を開いてテスト ケースのキーをクリックします。

以下の表に、テスト ケースの実行時に収集される情報を示します。

テスト実行レポート	説明
アサーション	View failed or passed assertions (e.g.,Verify expression activity), and associated screenshots if any were taken during test case execution. 実行時に Orchestrator でスクリーンショットが作成されるようにするには、次のリソースをご覧ください。 Default roles in Orchestrator - to check if the default roles have the Test Case Execution Artifacts permission assigned. In case the default roles don't have this permission, then you can create a custom role with this permission. Managing roles in Orchestrator - to learn how to create, edit, or import a role in Orchestrator.
ログ	RobotLogs の一部である INFO レベルのログを確認できます。プロセス、実行ロボット、イベント ログに関する情報が含まれます。
実行の詳細	入力値や出力値などの引数の詳細情報を確認できます。また、実行やロボットの詳細情報 (プロジェクト、マシン、ロボットなど) も表示できます。
影響を受ける要件	実行されたテスト ケースに割り当てられた要件を確認できます。このタブからは、影響を受ける要件に直接移動できます。

結果から不具合を作成する

You can create defect reports including the execution log to your external defect management system, if you already have it integrated with Test Manager. For more information, see Defect synchronization.

関連記事

一括操作

不具合の同期

You can synchronize execution results with external tools, as part of the Application Lifecycle Management tool integration. Information that is gathered during execution, such as results, logs, timestamps, and other details is synchronized with the tool that you have integrated with Test Manager.

現時点では、不具合の同期のために有効化できる接続は 1 つのプロジェクトにつき 1 つのみである点にご注意ください。

注:

• To synchronize defects, you need to configure a connector in Test Manager. See available connections in Test Manager.
• You need to have executed a test set first.

不具合を同期できるユーザー

不具合の同期は、読み取り専用のロール以外のすべてのユーザー ロールが行えます。

For more information see User and Group Access Management.

不具合を作成する

不具合を作成するには、[テスト結果] ページでテスト ケースのログにアクセスします。

1. [テスト結果] に移動します。

2. テスト結果を開き、テスト ケースのキーをクリックしてログを開きます。

3. [タスク] をクリックして [不具合を作成] を選択します。

   

不具合が作成され、外部ツールに同期されます。同期された不具合があるテスト実行結果に移動すれば、不具合を直接ツール (Atlassian Jira など) で開くことができます。

不具合のリンクを解除する

外部ツールから不具合のリンクを解除した場合、ツール内で作成されたエントリは変更されません。Test Manager では、テスト実行結果は外部ツールとリンクされません。

1. [テスト結果] に移動します。
2. テスト結果を開いて [タスク] をクリックします。
3. [不具合のリンクを解除] を選択します。