テスト結果

ダッシュボードとレポートの機能を使いこなすには、Test Manager でテスト結果がどのように整理されるかを理解することが非常に重要です。

Test Manager の基本概念の 1 つに、テストがどう設計されていたのか、いつ実行されたのかを、テスト結果から判断できなければならないという原則があります。テストケースが更新された場合、または実行後に削除された場合でも、この原則には従う必要があります。

テストセットにも、この原則が同様に適用されます。最初の実行後にセットからテストケースが削除されても、実行結果にはセット全体の結果が含まれている必要があります。

テストセットの実行を開始すると、Test Manager で以下のプロセスが実行されます。

テスト実行が Test Manager の [テスト結果] セクションに作成されます。これはテスト結果のコンテナーとして機能します。
実行されたテストセット内のすべてのテストケースに対して、空のテストケースログが生成されます。このログはテスト実行に添付され、関連するテスト結果を保持します。
実行を続けると、Test Manager によって、各テストケースログに結果と、関連するログ情報が記録されていきます。

注: テスト実行が作成されるたびに、元のテストセットの関連するテストケースすべてに対して、テストケースログが追加されます。つまり、元のテストセットを更新または削除しても、既存のテスト実行の一貫性が保たれます。

下の図は、Test Manager でテストセットを実行するプロセスを表したものです。

こうしたフローを採用していることから、テストセットの実行後にテストセットまたは関連するテストケースにどのような変更を加えたとしても、変更前の実行結果には影響しません。テストセットを削除した場合でも、すべてのテスト実行について、元の結果が保持されます。

テスト実行を表示するには、プロジェクトナビゲーションの [テスト結果] を選択します。それぞれがテストセットの実行に対応する、テスト実行のリストが表示されます。

テスト結果を分析する

プロジェクトナビゲーションから [テスト結果] を選択すると、テスト結果を表示できます。以下の作業を行える便利な機能です。

Orchestrator から手動または自動で実行したテストの結果を確認する
実行中のテストの進捗を確認する
ログやスクリーンショットなどの結果に基づいて詳細を分析する
Test Manager から直接、不具合管理システム内に不具合を作成する

概要リスト

概要には、使用可能なすべてのテスト実行が、実行の完了した日付に従って表示されます。実行中、キャンセル済み、保留中のテスト実行も表示されます。実行中および保留中のテスト実行は、常にリストの先頭に表示されます。

結果の列には、各テスト実行の結果の概要が表示されます。さらに、結果の列は、特定のテストセットの実行結果を簡単に把握できるよう色分けされます。

緑 - 合格したテストケース
赤 - 失敗したテストケース
灰 - 結果のないテストケース (まだ実行されてはいないが、現在実行中のテストセットの一部であるものなど)

自動化されたテストの結果

自動化されたテストの結果は、常に UiPath Orchestrator から自動的にインポートされます。テストケースの実行による特定の結果がインポートされるようにするには、以下の要件を満たしている必要があります。

Orchestrator のインスタンスが、この Test Manager インスタンスに割り当てられていること (こちらを参照)。
テストケースが、この Test Manager インスタンス上のいずれかのプロジェクトに存在すること (こちらを参照)。

自動化されたテストの結果は、対応するテストケースが存在するプロジェクトにインポートされます。

注: Orchestrator からのテスト実行に、Test Manager の複数のプロジェクトからのテストケースの結果が保持されている場合、Test Manager 内ではテスト実行が分割されます。結果は、テストケースが存在していたプロジェクトごとに表示されます。

テスト実行の結果にドリルダウンする

テスト実行の詳細な結果を確認するには、[テスト結果] ページのテスト実行名をクリックします。テスト実行の詳細ビューが開きます。

[概要] タブでは、開始日時、実行期間、累積結果などの実行に関する基本情報を確認できます。

[報告日] では、このテスト実行の結果に割り当てる日付を選択できます。この機能は、たとえば夜間にテストが実行され、一部のテストケースが夜 12 時より前、その他のテストケースがそれより後に実行された場合の結果を処理するときなどに便利です。そのような場合、レポート内の日付が無作為に分けられてしまうためです。報告日の設定機能により、実際にテストが実行された日時に関係なく、すべての結果に特定の日付を割り当てることができます。

一番下には、このテスト実行で失敗したすべてのテストケースのリストが、追加情報とともに表示されます。

[結果] タブには、このテスト実行内のすべてのテストケースの結果がリストされます。

リスト内の各項目は、1 つのテストケースの実行を表しています。テストケースのキーをクリックすると、そのテストケースに移動します。結果のラベルをクリックすると、あらゆるログ情報と、その特定のテストケースの実行中に収集されたスクリーンショットが保存された、テストケースログが表示されます。

テストケースログ

結果のラベルをクリックすると、その特定の結果のテストケースログが開きます。このログには、実行中に収集されたあらゆるデータが保存されています。テストで実行されたすべてのステップに関する詳細な情報や、発生したイベント (表示されたエラーメッセージなど) に関するデータです。さらに、実行中に取得されたすべてのスクリーンショットもテストケースログの一部として表示されます。