テスト結果

テストセットの実行を開始すると、Test Manager で以下のプロセスが実行されます。

テスト実行が Test Manager の [テスト結果] セクションに作成されます。これはテスト結果のコンテナーとして機能します。
実行されたテストセット内のすべてのテストケースに対して、空のテストケースログが生成されます。このログはテスト実行に添付され、関連するテスト結果を保持します。
実行を続けると、Test Manager によって、各テストケースログに結果と、関連するログ情報が記録されていきます。

注: テスト実行が作成されるたびに、元のテストセットの関連するテストケースすべてに対して、テストケースログが追加されます。つまり、元のテストセットを更新または削除しても、既存のテスト実行の一貫性が保たれます。

下の図は、Test Manager でテストセットを実行するプロセスを表したものです。

こうしたフローを採用していることから、テストセットの実行後にテストセットまたは関連するテストケースにどのような変更を加えたとしても、変更前の実行結果には影響しません。テストセットを削除した場合でも、すべてのテスト実行について、元の結果が保持されます。

プロジェクトを表示できるユーザー

すべてのユーザーロールがテスト結果を確認できます。

詳しくは、「ユーザーとグループのアクセス管理」をご覧ください。

テスト結果を分析する

テスト実行を表示するには、Test Manager で [テスト結果] を開きます。各テストの実行が、テスト実行エントリとしてリストに表示されます。背後でのテスト実行の動作を理解するには、「テスト結果」をご覧ください。

テスト実行を分析することで、以下の操作を行えます。

Orchestrator で手動または自動で実行したテストの結果を検索する。
テスト実行の進行状況を確認する。
実行されたテストセットを開きます。
ログと添付ファイルを調べる。
アプリケーションライフサイクル管理ツールと連携している場合は、Test Manager から直接、不具合管理システム内に不具合を作成する。詳細については、「ALM ツールとの連携」をご覧ください。

既定では、テスト実行は実行が終了した日付に基づいて並べ替えられます。現在実行中および保留中のテスト実行は、先頭に表示されます。

各テスト実行のステータスは、ステータスごとに割り当てられた次の色によって識別できます。

緑: 成功したテストケース
赤: 失敗したテストケース
灰: 最終的な結果のないテストケース (まだ実行されてはいないが、現在実行中のテストセットの一部であるものなど)

自動化されたテストの結果

自動化されたテスト実行の結果は、Orchestrator から自動的にインポートされます。自動化されたテストを Test Manager にインポートするには、以下の条件を満たす必要があります。

Test Manager を Orchestrator と連携する
自動化されたテストは、Test Manager プロジェクトのテストセットの一部である必要があります。詳細については、自動化されたテストに関する説明をご覧ください。

注: Orchestrator からのテスト実行に、Test Manager の複数のプロジェクトからのテストケースの結果が保持されている場合、Test Manager 内ではテスト実行が分割されます。結果は、テストケースが存在していたプロジェクトごとに表示されます。

ナビゲーションと検索

テスト結果をすばやく見つけるには、検索機能とフィルターを使用します。ページ内の移動には、ページネーション機能を設定・使用します。または、階層リンクを使用してページ間を移動することもできます。

フィルター - フィルターで検索対象を絞り込むことができます。たとえば、テスト結果を実行の種類、実行が完了した日時、またはステータスで検索できます。適用したフィルターは自動的に保存され、クリアされるまでアクティブな状態に保たれます。
検索 - テスト結果をキー、実行の種類、またはステータス (検索用語は完全に一致する必要があります) で検索するには、検索バーを使用します。ページ上部の検索バーを使用してテスト結果を検索できます。

テスト実行結果を使用する

テスト実行の詳細な結果を確認するには [テスト結果] に移動し、エントリをクリックして詳細ビューを開きます。一般的なテスト実行の詳細ビューには、実行開始日時と期間に関する情報および実行ログが表示されます。

[報告日] フィルターを使用して、テスト実行のすべての結果に 1 つの日付を設定できます。この機能は、一部のテストケースが夜 12 時前後に実行されるような夜間のテスト実行を行う場合に便利です。この機能を使用しないと、レポート内で結果が複数の異なる日付に分かれて表示されます。

[結果] セクションでは、テストセット内で実行されたすべてのテストケースを確認できます。個々のテストケースに応じた操作を実行できます。詳しくは、「実行ログ」をご覧ください。

また、[テストセット] ページのエントリを右クリックして [テストセットを開く] を選択するか、テスト実行内から直接、実行されたテストセットを開くこともできます。

実行ログ

テストレポートの一部として、実行の詳細 (データバリエーションやスクリーンショットなど)、失敗したアサーションと成功したアサーション、実行イベントの詳細ログなどの情報が実行ログに保持されます。

テストケースログを開くには [テスト結果] に移動し、テスト実行を開いてテストケースのキーをクリックします。

以下の表に、テストケースの実行時に収集される情報を示します。

テスト実行レポート	説明
アサーション	失敗または成功したアサーション (例: [式を検証] アクティビティ)、および関連するスクリーンショット (テストケースの実行中に取得された場合) を確認できます。実行時に Orchestrator でスクリーンショットが作成されるようにするには、次のリソースをご覧ください。 Orchestrator の既定のロール - 既定のロールにテストケース実行の成果物権限が割り当てられているかどうかを確認します。既定のロールにこの権限がない場合は、この権限を持つカスタムロールを作成できます。 Orchestrator でロールを管理する - Orchestrator でロールを作成、編集、インポートする方法を理解できます。
ログ	`RobotLogs` の一部である INFO レベルのログを確認できます。プロセス、実行ロボット、および失敗を含むイベントログに関する情報が含まれます。このアイコンを選択すると、選択したテストケースの [ログ] タブに移動し、失敗の詳細が表示されます。
実行の詳細	入力値や出力値などの引数の詳細情報を確認できます。また、実行やロボットの詳細情報 (プロジェクト、マシン、ロボットなど) も表示できます。
影響を受ける要件	実行されたテストケースに割り当てられた要件を確認できます。このタブからは、影響を受ける要件に直接移動できます。
添付ファイル	以下が表示されます。 [ドキュメントを添付] アクティビティを使用してアップロードされた添付ファイル Orchestrator からリンクされている、テストケースの結果の添付ファイル

アクティビティカバレッジを表示する

注: アクティビティカバレッジの計算は、Orchestrator で作成され、カバレッジの計算が有効化されているテストセットでのみ使用できます。カバレッジの計算を有効化する方法について詳しくは、「Orchestrator でテストセットを作成する」をご覧ください。

前提条件: Orchestrator にパブリッシュしたテストケースを Test Manager にもリンクします。アクティビティカバレッジを Test Manager に表示するには、テストケースを Orchestrator と Test Manager の両方にリンクする必要があります。

Orchestrator でテストセットを作成または編集するときに、[カバレッジの計算を有効化] を選択します。
Test Manager を開き、Orchestrator からテストセットをリンクします。
テストセットを開き、[その他のオプション] を選択してから、[自動テストを実行] を選択します。
アクティビティカバレッジは、自動テスト実行でのみ利用可能です。
[テスト結果] に移動し、実行したテストセットを開きます。
[アクティビティカバレッジ] タブに移動し、テスト実行中にカバーされたアクティビティに関する情報を確認します。