- Test Suite の利用を開始する
- Studio
- Orchestrator
- Test Manager
テスト結果を分析する
テスト実行を表示するには、Test Manager で [実行] を開きます。各テストの実行が、テスト実行エントリとしてリストに表示されます。背後でのテスト実行の動作を理解するには、「実行」をご覧ください。
テスト実行を分析することで、以下の操作を行えます。
- Orchestrator で手動または自動で実行したテストの結果を検索する。
- テスト実行の進行状況を確認する。
- 実行されたテスト セットを開きます。
- ログと添付ファイルを調べる。
- アプリケーション ライフサイクル管理ツールと連携している場合は、Test Manager から直接、不具合管理システム内に不具合を作成する。詳細については、「ALM ツールとの連携」をご覧ください。
既定では、テスト実行は実行が終了した日付に基づいて並べ替えられます。現在実行中および保留中のテスト実行は、先頭に表示されます。
各テスト実行のステータスは、ステータスごとに割り当てられた次の色によって識別できます。
- 緑: 合格したテスト ケース
- 赤: 失敗したテスト ケース
- 灰: 最終的な結果のないテスト ケース (まだ実行されてはいないが、現在実行中のテスト セットの一部であるものなど)
自動化されたテスト実行の結果は、Orchestrator から自動的にインポートされます。自動化されたテストを Test Manager にインポートするには、以下の条件を満たす必要があります。
- 自動化されたテストは、Test Manager プロジェクトのテスト セットの一部である必要があります。詳細については、自動化されたテストに関する説明をご覧ください。
注: Orchestrator からのテスト実行に、Test Manager の複数のプロジェクトからのテスト ケースの結果が保持されている場合、Test Manager 内ではテスト実行が分割されます。結果は、テスト ケースが存在していたプロジェクトごとに表示されます。
テスト ケースの結果の上書きは、現在のテスト結果がアプリケーションの実際の動作を正確に反映しておらず、再実行は効果的なソリューションではないシナリオで役立ちます。テスト ケースのテスト結果を上書きしたり、必要に応じて上書き操作をクリアしたりできます。
- [実行] に移動して、テスト結果を開きます。
- [結果] タブからテスト ケース ログを開きます。
- [アサーション] タブで、[タスク] > [結果を上書き] を選択します。
- [テスト結果を上書き] ウィンドウで、次のフィールドを設定します。
- 変更後の結果 - 結果を逆のステータス ([合格]/[不合格]) で上書きするか、結果を [なし] に設定するかを選択します。
- コメント - 結果を上書きする理由を入力します。
- [確認] を選択します。
上書きしたテスト結果のステータスの横には、
アイコンが表示されます。アイコンを選択すると、上書きの詳細を表示できます。
図 1. 「テスト結果が正常に上書きされました」のメッセージ
- 上書き操作をクリアする場合は、テスト ケース ログの結果ステータスの横にある
- [詳細を上書き] ウィンドウで、[上書きをクリア] を選択します。
図 2. [詳細を上書き] メニュー
- [詳細を上書き] ウィンドウで、[上書きをクリア] を選択します。
- 上書き操作を編集する場合は、テスト ケース ログの結果ステータスの横にある
- 変更を行い、[確定] をクリックします。
テスト結果をすばやく見つけるには、検索機能とフィルターを使用します。ページ内の移動には、ページネーション機能を設定・使用します。または、階層リンクを使用してページ間を移動することもできます。
- フィルター - フィルターで検索対象を絞り込むことができます。たとえば、以下の条件でテスト結果を検索できます。
- ラベル
- 実行の種類
- 実行完了日時
- Status
適用したフィルターは自動的に保存され、クリアされるまでアクティブな状態に保たれます。
- 検索 - テスト結果をキー、実行の種類、またはステータス (検索用語は完全に一致する必要があります) で検索するには、検索バーを使用します。ページ上部の検索バーを使用してテスト結果を検索できます。
テスト結果の詳細を確認するには、[実行] に移動します。
- テスト セット: テスト結果は、テスト実行 (テスト セット) 別にグループ化されます。
- テスト ケース: テスト実行の属性を除いた条件に基づいて結果をフィルター処理する、複数件の実行の分析ビュー
関連する結果チップを選択することで、[ テスト ケース ] ビューからテスト ケースの実行ログにアクセスできます。 手動実行時にテスト ケースの事後条件が満たされなかった場合、テスト ケースのログに [情報 ] アイコン と共に例外が表示されます。 例外メッセージは次のとおりです: 実行中の例外。詳細については、ログを表示します。 このメッセージを選択すると、対応するテスト ケース ログの [ 実行の詳細 ] タブに移動します。
[報告日] フィルターを使用して、テスト実行のすべてのテスト結果にわたって統一された日付を設定できます。この機能は、一部のテスト ケースが夜 12 時前後に実行されるような夜間のテスト実行を行い、結果が別々の日付に分割されるのを防ぐ場合に便利です。
[結果] タブでは、テスト セット内の実行されたすべてのテスト ケースを確認し、必要に応じて操作を実行できます。詳細については、「実行ログ」のセクションをご覧ください。
また、[テスト セット] ページのエントリを右クリックして [テスト セットを開く] を選択するか、テスト実行内から直接、実行されたテスト セットを開くこともできます。
テスト レポートの一部として、実行の詳細 (データ バリエーションやスクリーンショットなど)、失敗したアサーションと成功したアサーション、実行イベントの詳細ログなどの情報が実行ログに保持されます。
テスト ケース ログを開くには、[ 実行] に移動し、テスト実行を開いて、テスト ケースの キーまたは結果を選択します。
以下の表に、テスト ケースの実行時に収集される情報を示します。
|
テスト実行レポート |
説明 |
|---|---|
|
アサーション | 失敗または成功したアサーション (例: [式を検証] アクティビティ)、および関連するスクリーンショット (テスト ケースの実行中に取得された場合) を確認できます。
実行時に Orchestrator でスクリーンショットが作成されるようにするには、次のリソースをご覧ください。
|
|
ログ | RobotLogs の一部である INFO レベルのログを確認できます。プロセス、実行ロボット、および失敗を含むイベント ログに関する情報が含まれます。
このアイコン |
|
実行の詳細 | 入力値や出力値などの引数の詳細情報に加え、実行やロボットの詳細 (プロジェクト、マシン、ロボットなど) も確認できます。 このセクションでは、テスト ケースが事後条件を満たしているかどうかも示します。 |
|
影響を受ける要件 | 実行されたテスト ケースに割り当てられた要件を確認できます。このタブからは、影響を受ける要件に直接移動できます。 |
| 添付ファイル | 次の情報を表示できます。
|
を選択すると、選択したテスト ケースの [ログ] タブに移動し、失敗の詳細が表示されます。
- すべてのテスト実行のログをダウンロードするには、[実行] から [Excel にエクスポート] を選択します。
- 特定のテスト実行のテスト ケース ログをダウンロードするには、[実行] からテスト実行を選択して、[Excel にエクスポート] を選択します。
ログを Excel ファイルにエクスポートする方法について詳しくは、「データをエクスポートする」をご覧ください。
前提条件: Orchestrator または Test Manager で、目的のテスト セットのアクティビティ カバレッジを有効化します。
- テスト セットを開き、[その他のオプション]
を選択してから、[自動テストを実行] を選択します。
- [実行] に移動し、実行したテスト セットを開きます。
- [アクティビティ カバレッジ] タブに移動し、テスト実行中にカバーされたアクティビティに関する情報を確認します。
図5. アクティビティ カバレッジの例の概要
お使いの外部の不具合管理システムを Test Manager と連携している場合、実行ログを含む不具合レポートを外部の不具合管理システムに作成できます。詳細については、「ALM ツールとの連携」をご覧ください。
実行ログから不具合を作成するには、テスト ケース ログを開き、[タスク] をクリックして [不具合を作成] を選択します。不具合が作成されたら、実行ログのリンクを使用して連携されている外部ツールにアクセスできます。
