- Test Suite の利用を開始する
- Studio
- Orchestrator
- Testing ロボット
- Test Manager
テスト結果
テスト セットの実行を開始すると、Test Manager で以下のプロセスが実行されます。
- テスト実行が Test Manager の [テスト結果] セクションに作成されます。これはテスト結果のコンテナーとして機能します。
- 実行されたテスト セット内のすべてのテスト ケースに対して、空のテスト ケース ログが生成されます。このログはテスト実行に添付され、関連するテスト結果を保持します。
- 実行を続けると、Test Manager によって、各テスト ケース ログに結果と、関連するログ情報が記録されていきます。
下の図は、Test Manager でテスト セットを実行するプロセスを表したものです。
こうしたフローを採用していることから、テスト セットの実行後にテスト セットまたは関連するテスト ケースにどのような変更を加えたとしても、変更前の実行結果には影響しません。テスト セットを削除した場合でも、すべてのテスト実行について、元の結果が保持されます。
プロジェクトを表示できるユーザー
すべてのユーザー ロールがテスト結果を確認できます。
詳しくは、「ユーザーとグループのアクセス管理」をご覧ください。
テスト実行を表示するには、Test Manager で [テスト結果] を開きます。各テストの実行が、テスト実行エントリとしてリストに表示されます。背後でのテスト実行の動作を理解するには、「テスト結果」をご覧ください。
テスト実行を分析することで、以下の操作を行えます。
- Orchestrator で手動または自動で実行したテストの結果を検索する。
- テスト実行の進行状況を確認する。
- 実行されたテスト セットを開きます。
- ログと添付ファイルを調べる。
- アプリケーション ライフサイクル管理ツールと連携している場合は、Test Manager から直接、不具合管理システム内に不具合を作成する。詳細については、「ALM ツールとの連携」をご覧ください。
既定では、テスト実行は実行が終了した日付に基づいて並べ替えられます。現在実行中および保留中のテスト実行は、先頭に表示されます。
各テスト実行のステータスは、ステータスごとに割り当てられた次の色によって識別できます。
- 緑: 合格したテスト ケース
- 赤: 失敗したテスト ケース
- 灰: 最終的な結果のないテスト ケース (まだ実行されてはいないが、現在実行中のテスト セットの一部であるものなど)
自動化されたテスト実行の結果は、Orchestrator から自動的にインポートされます。自動化されたテストを Test Manager にインポートするには、以下の条件を満たす必要があります。
- 自動化されたテストは、Test Manager プロジェクトのテスト セットの一部である必要があります。詳細については、自動化されたテストに関する説明をご覧ください。
注: Orchestrator からのテスト実行に、Test Manager の複数のプロジェクトからのテスト ケースの結果が保持されている場合、Test Manager 内ではテスト実行が分割されます。結果は、テスト ケースが存在していたプロジェクトごとに表示されます。
テスト ケースの結果の上書きは、現在のテスト結果がアプリケーションの実際の動作を正確に反映しておらず、再実行は効果的なソリューションではないシナリオで役立ちます。テスト ケースのテスト結果を上書きしたり、必要に応じて上書き操作をクリアしたりできます。
- [テスト結果] に移動して、テスト結果を開きます。
- [結果] タブからテスト ケース ログを開きます。
- [アサーション] タブで、[タスク] > [結果を上書き] を選択します。
- [テスト結果を上書き] ウィンドウで、次のフィールドを設定します。
- 変更後の結果 - 結果を逆のステータス ([合格]/[不合格]) で上書きするか、結果を [なし] に設定するかを選択します。
- コメント - 結果を上書きする理由を入力します。
- [確認] を選択します。
上書きしたテスト結果のステータスの横には、
アイコンが表示されます。アイコンを選択すると、上書きの詳細を表示できます。
- 上書き操作をクリアする場合は、テスト ケース ログの結果ステータスの横にある
- [詳細を上書き] ウィンドウで、[上書きをクリア] を選択します。
- [詳細を上書き] ウィンドウで、[上書きをクリア] を選択します。
- 上書き操作を編集する場合は、テスト ケース ログの結果ステータスの横にある
- 変更を行い、[確定] をクリックします。
テスト結果をすばやく見つけるには、検索機能とフィルターを使用します。ページ内の移動には、ページネーション機能を設定・使用します。または、階層リンクを使用してページ間を移動することもできます。
- フィルター - フィルターで検索対象を絞り込むことができます。たとえば、テスト結果を実行の種類、実行が完了した日時、またはステータスで検索できます。適用したフィルターは自動的に保存され、クリアされるまでアクティブな状態に保たれます。
- 検索 - テスト結果をキー、実行の種類、またはステータス (検索用語は完全に一致する必要があります) で検索するには、検索バーを使用します。ページ上部の検索バーを使用してテスト結果を検索できます。
詳細なテスト結果を表示するには、[ テスト結果] に移動します。
- テスト セット: テスト実行内での標準的な結果追跡用です。
- テスト ケース: テスト実行属性を除外した条件に基づいて結果をフィルター処理する場合のクロス実行分析用。
[報告日] フィルターを使用して、テスト実行のすべてのテスト結果にわたって統一された日付を設定できます。この機能は、一部のテスト ケースが夜 12 時前後に実行されるような夜間のテスト実行を行い、結果が別々の日付に分割されるのを防ぐ場合に便利です。
[ 結果 ] セクションでは、テスト セット内で実行されたすべてのテスト ケースを確認し、必要に応じてそれぞれのテストを実行できます。 詳細については、「 実行ログ」 セクションをご覧ください。
また、[テスト セット] ページのエントリを右クリックして [テスト セットを開く] を選択するか、テスト実行内から直接、実行されたテスト セットを開くこともできます。
テスト レポートの一部として、実行の詳細 (データ バリエーションやスクリーンショットなど)、失敗したアサーションと成功したアサーション、実行イベントの詳細ログなどの情報が実行ログに保持されます。
テスト ケース ログを開くには [テスト結果] に移動し、テスト実行を開いてテスト ケースのキーをクリックします。
以下の表に、テスト ケースの実行時に収集される情報を示します。
|
テスト実行レポート |
説明 |
|---|---|
|
アサーション | 失敗または成功したアサーション (例: [式を検証] アクティビティ)、および関連するスクリーンショット (テスト ケースの実行中に取得された場合) を確認できます。
実行時に Orchestrator でスクリーンショットが作成されるようにするには、次のリソースをご覧ください。
|
|
ログ | RobotLogs の一部である INFO レベルのログを確認できます。プロセス、実行ロボット、および失敗を含むイベント ログに関する情報が含まれます。
このアイコン |
|
実行の詳細 | 入力値や出力値などの引数の詳細情報を確認できます。また、実行やロボットの詳細情報 (プロジェクト、マシン、ロボットなど) も表示できます。 |
|
影響を受ける要件 | 実行されたテスト ケースに割り当てられた要件を確認できます。このタブからは、影響を受ける要件に直接移動できます。 |
| 添付ファイル | 以下が表示されます。
|
を選択すると、選択したテスト ケースの [ログ] タブに移動し、失敗の詳細が表示されます。
前提条件: Orchestrator または Test Manager で、目的のテスト セットのアクティビティ カバレッジを有効化します。
- テスト セットを開き、[その他のオプション]
を選択してから、[自動テストを実行] を選択します。
- [テスト結果] に移動し、実行したテスト セットを開きます。
- [アクティビティ カバレッジ] タブに移動し、テスト実行中にカバーされたアクティビティに関する情報を確認します。
お使いの外部の不具合管理システムを Test Manager と連携している場合、実行ログを含む不具合レポートを外部の不具合管理システムに作成できます。詳細については、「ALM ツールとの連携」をご覧ください。
実行ログから不具合を作成するには、テスト ケース ログを開き、[タスク] をクリックして [不具合を作成] を選択します。不具合が作成されたら、実行ログのリンクを使用して連携されている外部ツールにアクセスできます。
アプリケーション ライフサイクル管理ツールとの連携機能の一部として、実行結果を外部ツールに同期できます。実行中に収集された情報 (結果、ログ、タイムスタンプ、その他の詳細など) は、Test Manager と連携したツールに同期されます。
現時点では、不具合の同期のために有効化できる接続は 1 つのプロジェクトにつき 1 つのみである点にご注意ください。
- 不具合を同期するには、Test Manager でコネクタを設定する必要があります。Test Manager で利用可能なコネクタはこちらをご覧ください。
- 最初にテスト セットを実行しておく必要があります。
不具合を作成するには、[テスト結果] ページでテスト ケースのログにアクセスします。
不具合が作成され、外部ツールに同期されます。同期された不具合があるテスト実行結果に移動すれば、不具合を直接ツール (Atlassian Jira など) で開くことができます。
不合格のテスト レポートは、AI (人工知能) を利用してテスト結果の実際の概要を提供します。このレポートを生成するには、テスト結果の特定のセットを選択します。作成した各レポートは保存され、いつでも [テスト結果] の [インサイト] タブからアクセスできます。
レポートには最大 5 つのセクションを含めることができ、各セクションには自動テストで発生した問題が表示されます。 [ 表示 ] を選択して、影響を受けたテスト ケースを表示し、検索します。
| 名前 | 説明 |
|---|---|
| 概要 | レポート対象として選択したテスト結果の概要です。平均エラー率、テスト セットのエラー率、およびエラーの重大度別の割合に関する情報が表示されます。 |
| 失敗した上位のテスト | 最も頻繁に失敗したテスト ケースが表示され、そのテスト ケースに直接アクセスできます。 |
| 一般的なエラー | テスト実行中に発生する最も一般的なエラーを明らかにします。 |
| エラー パターン | エラーが分類され、それに基づいて失敗のパターンを特定できます。これにより、トラブルシューティングや解決が容易になります。 |
| 推奨 | 選択したテスト実行で発生したエラーを防止するためのベスト プラクティスが提供されます。 |
- プロジェクトを Test Manager で開きます。
- [テスト結果] に移動し、[インサイトを生成] を選択します。
- [ 結果 ] テーブルで、レポートに含めるテスト結果を選択します。
- 必要に応じて、テスト結果を次の条件でフィルター処理できます。
- キーワード - 検索 バーを使用します。
- 実行の種類 - 実行の種類です。
- 実行完了 - 実行完了時刻です。
- ステータス - 実行ステータスです。
- [レポートを生成] を選択します。
生成プロセスが完了すると、レポートのステータス ([準備完了] または [失敗]) を示すアプリ内通知とメールが届きます。
- レポートの準備ができたら、[ Insights レポートの準備ができました] 通知または電子メール通知で [レポートを開く] を選択して、レポートにアクセスします。 レポートが失敗した場合は、レポートを再生成できます。
- レポートの各セクションで [ 表示 ] を選択すると、特定のエラーまたは推奨事項の影響を受けたテスト ケースを表示できます。
- [テスト結果] 内の [インサイト] タブに移動します。
- 必要に応じて、インサイト レポートの名前を変更するには、[ その他のオプション] を選択し、[ 名前の変更] を選択します。
- [ダウンロード]
ボタンを選択します。
不合格のテスト レポートが DOCX ファイルとしてダウンロードされます。
AI Trust Layer ガバナンス ポリシーを使用すると、組織内における AI を利用した機能の使用を管理できます。AI を利用した機能にはすべてのメンバーが既定でアクセスできますが、必要に応じて、このポリシーを使用してアクセスを制限できます。AI Trust Layer のガバナンス ポリシーを使用すると、AI を利用した特定の機能、またはそのすべての機能に対するユーザーのアクセスを、ユーザー、グループ、テナントのレベルで制限できます。さらに、ユーザーがアクセスできる AI 製品を指定することもできます。このガバナンス ポリシーは、Automation Ops で作成、変更、実装できます。
AI Trust Layer のガバナンス ポリシーをデプロイしながら、AI を利用したテスト機能を使用する場合は、ポリシーの [機能トグル] 内の [Test Manager の機能を有効化] で [はい] を選択します。
組織のガバナンス ポリシーを作成、設定、デプロイする方法については、以下のリソースをご覧ください。
