- 基本情報
- プロジェクト管理
- プロジェクトの運用とユーティリティ
- Test Manager の設定
- ALM ツールとの連携
- API 連携
Test Manager ガイド
テスト セットの実行を開始すると、Test Manager で以下のプロセスが実行されます。
- テスト実行が Test Manager の [テスト結果] セクションに作成されます。これはテスト結果のコンテナーとして機能します。
- 実行されたテスト セット内のすべてのテスト ケースに対して、空のテスト ケース ログが生成されます。このログはテスト実行に添付され、関連するテスト結果を保持します。
- 実行を続けると、Test Manager によって、各テスト ケース ログに結果と、関連するログ情報が記録されていきます。
下の図は、Test Manager でテスト セットを実行するプロセスを表したものです。
こうしたフローを採用していることから、テスト セットの実行後にテスト セットまたは関連するテスト ケースにどのような変更を加えたとしても、変更前の実行結果には影響しません。テスト セットを削除した場合でも、すべてのテスト実行について、元の結果が保持されます。
プロジェクトを表示できるユーザー
すべてのユーザー ロールがテスト結果を確認できます。
詳しくは、「ユーザーとグループのアクセス管理」をご覧ください。
To view test executions, open Test Results in Test Manager. The execution of each test set is listed as a test execution entry. To understand how the test executions work behind the scenes, see Test Results.
テスト実行を分析することで、以下の操作を行えます。
- Orchestrator で手動または自動で実行したテストの結果を検索する。
- テスト実行の進行状況を確認する。
- 実行されたテスト セットを開きます。
- ログと添付ファイルを調べる。
- アプリケーション ライフサイクル管理ツールと連携している場合は、Test Manager から直接、不具合管理システム内に不具合を作成する。詳細については、「ALM ツールとの連携」をご覧ください。
既定では、テスト実行は実行が終了した日付に基づいて並べ替えられます。現在実行中および保留中のテスト実行は、先頭に表示されます。
各テスト実行のステータスは、ステータスごとに割り当てられた次の色によって識別できます。
- 緑: 合格したテスト ケース
- 赤: 失敗したテスト ケース
- 灰: 最終的な結果のないテスト ケース (まだ実行されてはいないが、現在実行中のテスト セットの一部であるものなど)
自動化されたテストの結果
The results from automated test executions are imported from Orchestrator automatically. To have your automated tests imported to Test Manager, you need to meet the following condition: The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.
テスト結果を上書きする
テスト ケースの結果の上書きは、現在のテスト結果がアプリケーションの実際の動作を正確に反映しておらず、再実行は効果的なソリューションではないシナリオで役立ちます。テスト ケースのテスト結果を上書きしたり、必要に応じて上書き操作をクリアしたりできます。
- [テスト結果] に移動して、テスト結果を開きます。
- [結果] タブからテスト ケース ログを開きます。
- [アサーション] タブで、[タスク] > [結果を上書き] を選択します。
- [テスト結果を上書き] ウィンドウで、次のフィールドを設定します。
- 変更後の結果 - 結果を逆のステータス ([合格]/[不合格]) で上書きするか、結果を [なし] に設定するかを選択します。
- コメント - 結果を上書きする理由を入力します。
- [確認] を選択します。
上書きしたテスト結果のステータスの横には、
アイコンが表示されます。アイコンを選択すると、上書きの詳細を表示できます。
- 上書き操作をクリアする場合は、テスト ケース ログの結果ステータスの横にある
- [詳細を上書き] ウィンドウで、[上書きをクリア] を選択します。
- [詳細を上書き] ウィンドウで、[上書きをクリア] を選択します。
- 上書き操作を編集する場合は、テスト ケース ログの結果ステータスの横にある
- 変更を行い、[確定] をクリックします。
ナビゲーションと検索
テスト結果をすばやく見つけるには、検索機能とフィルターを使用します。ページ内の移動には、ページネーション機能を設定・使用します。または、階層リンクを使用してページ間を移動することもできます。
- フィルター - フィルターで検索対象を絞り込むことができます。たとえば、テスト結果を実行の種類、実行が完了した日時、またはステータスで検索できます。適用したフィルターは自動的に保存され、クリアされるまでアクティブな状態に保たれます。
- 検索 - テスト結果をキー、実行の種類、またはステータス (検索用語は完全に一致する必要があります) で検索するには、検索バーを使用します。ページ上部の検索バーを使用してテスト結果を検索できます。
テスト実行結果を使用する
テスト実行の詳細な結果を確認するには [テスト結果] に移動し、エントリをクリックして詳細ビューを開きます。一般的なテスト実行の詳細ビューには、実行開始日時と期間に関する情報および実行ログが表示されます。
[報告日] フィルターを使用して、テスト実行のすべての結果に 1 つの日付を設定できます。この機能は、一部のテスト ケースが夜 12 時前後に実行されるような夜間のテスト実行を行う場合に便利です。この機能を使用しないと、レポート内で結果が複数の異なる日付に分かれて表示されます。
[結果] セクションでは、テスト セット内で実行されたすべてのテスト ケースを確認できます。個々のテスト ケースに応じた操作を実行できます。詳しくは、「実行ログ」をご覧ください。
また、[テスト セット] ページのエントリを右クリックして [テスト セットを開く] を選択するか、テスト実行内から直接、実行されたテスト セットを開くこともできます。
実行ログ
テスト レポートの一部として、実行の詳細 (データ バリエーションやスクリーンショットなど)、失敗したアサーションと成功したアサーション、実行イベントの詳細ログなどの情報が実行ログに保持されます。
テスト ケース ログを開くには [テスト結果] に移動し、テスト実行を開いてテスト ケースのキーをクリックします。
以下の表に、テスト ケースの実行時に収集される情報を示します。
|
テスト実行レポート |
説明 |
|---|---|
|
アサーション | 失敗または成功したアサーション (例: [式を検証] アクティビティ)、および関連するスクリーンショット (テスト ケースの実行中に取得された場合) を確認できます。
実行時に Orchestrator でスクリーンショットが作成されるようにするには、次のリソースをご覧ください。
|
|
ログ | RobotLogs の一部である INFO レベルのログを確認できます。プロセス、実行ロボット、および失敗を含むイベント ログに関する情報が含まれます。
このアイコン |
|
実行の詳細 | 入力値や出力値などの引数の詳細情報を確認できます。また、実行やロボットの詳細情報 (プロジェクト、マシン、ロボットなど) も表示できます。 |
|
影響を受ける要件 | 実行されたテスト ケースに割り当てられた要件を確認できます。このタブからは、影響を受ける要件に直接移動できます。 |
| 添付ファイル | 以下が表示されます。
|
を選択すると、選択したテスト ケースの [ログ] タブに移動し、失敗の詳細が表示されます。
アクティビティ カバレッジを表示する
前提条件: Orchestrator または Test Manager で、目的のテスト セットのアクティビティ カバレッジを有効化します。
- テスト セットを開き、[その他のオプション]
を選択してから、[自動テストを実行] を選択します。
- [テスト結果] に移動し、実行したテスト セットを開きます。
- [アクティビティ カバレッジ] タブに移動し、テスト実行中にカバーされたアクティビティに関する情報を確認します。
結果から不具合を作成する
お使いの外部の不具合管理システムを Test Manager と連携している場合、実行ログを含む不具合レポートを外部の不具合管理システムに作成できます。詳細については、「ALM ツールとの連携」をご覧ください。
実行ログから不具合を作成するには、テスト ケース ログを開き [タスク] をクリックして [不具合を作成] を選択します。不具合が作成されたら、実行ログのリンクを使用して連携されている外部ツールにアクセスできます。
関連記事
You can synchronize execution results with external tools, as part of the Application Lifecycle Management tool integration. Information that is gathered during execution, such as results, logs, timestamps, and other details is synchronized with the tool that you have integrated with Test Manager.
現時点では、不具合の同期のために有効化できる接続は 1 つのプロジェクトにつき 1 つのみである点にご注意ください。
- To synchronize defects, you need to configure a connector in Test Manager. See available connections in Test Manager.
- 最初にテスト セットを実行しておく必要があります。
不具合を作成する
不具合を作成するには、[テスト結果] ページでテスト ケースのログにアクセスします。
不具合が作成され、外部ツールに同期されます。同期された不具合があるテスト実行結果に移動すれば、不具合を直接ツール (Atlassian Jira など) で開くことができます。
不具合のリンクを解除する
外部ツールから不具合のリンクを解除した場合、ツール内で作成されたエントリは変更されません。Test Manager では、テスト実行結果は外部ツールとリンクされません。
- [テスト結果] に移動します。
- テスト結果を開いて [タスク] をクリックします。
- [不具合のリンクを解除] を選択します。
