テスト結果を分析する

テスト実行を表示するには、Test Manager で [ 実行 ] を開きます。各テストの実行が、テスト実行エントリとしてリストに表示されます。背後でのテスト実行の動作を理解するには、「 実行」をご覧ください。

テスト実行を分析することで、以下の操作を行えます。

• Orchestrator で手動または自動で実行したテストの結果を検索する。
• テスト実行の進行状況を確認する。
• 実行されたテスト セットを開きます。
• ログと添付ファイルを調べる。
• アプリケーション ライフサイクル管理ツールと連携している場合は、Test Manager から直接、不具合管理システム内に不具合を作成する。詳細については、「ALM ツールとの連携」をご覧ください。

既定では、テスト実行は実行が終了した日付に基づいて並べ替えられます。現在実行中および保留中のテスト実行は、先頭に表示されます。

各テスト実行のステータスは、ステータスごとに割り当てられた次の色によって識別できます。

• 緑: 合格したテスト ケース
• 赤: 失敗したテスト ケース
• 灰: 最終的な結果のないテスト ケース (まだ実行されてはいないが、現在実行中のテスト セットの一部であるものなど)

自動化されたテストの結果

自動化されたテスト実行の結果は、Orchestrator から自動的にインポートされます。自動化されたテストを Test Manager にインポートするには、以下の条件を満たす必要があります。

• 自動化されたテストは、同じテナントの任意のプロジェクトの Test Manager のテスト ケースに関連付けられている必要があります。詳細については、 自動化されたテスト に関する説明、および 「オートメーションを選択する」をご覧ください。
  注:

  Orchestrator からのテスト実行に、Test Manager の複数のプロジェクトからのテスト ケースの結果が保持されている場合、Test Manager 内ではテスト実行が分割されます。結果は、テスト ケースが存在していたプロジェクトごとに表示されます。

ユーザー ライセンスに基づいて結果を表示する

表示できる自動テスト実行結果は、ご使用のユーザー ライセンスによって以下のように決定されます。

• Pro または Plus ライセンス: ランタイムの種類が TestAutomation である Testing ロボットで実行された結果またはテスト ケースのログのみを表示および操作できます。ランタイムの種類が AppTest である App Testing ロボットで実行された結果やテスト ケースのログは無効化されているため、操作できません。
• App Tester または App Test Developer ライセンス: Testing ロボットと App Testing ロボットの両方 (TestAutomation と AppTest の両方のランタイムの種類を含む) で実行された結果またはテスト ケースのログを表示および操作できます。

ライセンスについて詳しくは、「ユニファイド プライシング: Test Manager のライセンス」をご覧ください。

テスト実行のライブ ストリーミングを表示する

テスト実行またはテスト セットでライブ ストリーミングを有効化している場合は、実行の完了後に録画にアクセスできます。

ライブ ストリーミングの録画を表示するには、以下の手順を実行します。

1. Go to the Results section of the test execution.
2. [ビデオ] 列で [ライブ] を選択します。

このタブに、ライブ ストリーミング中にキャプチャされたテスト実行の録画が表示されます。

テスト結果を上書きする

テスト ケースの結果の上書きは、現在のテスト結果がアプリケーションの実際の動作を正確に反映しておらず、再実行は効果的なソリューションではないシナリオで役立ちます。テスト ケースのテスト結果を上書きしたり、必要に応じて上書き操作をクリアしたりできます。

1. [実行] に移動して、テスト結果を開きます。
2. [結果] タブからテスト ケースのログを開きます。
3. [アサーション] タブで、[タスク] > [結果を上書き] を選択します。
4. [テスト結果を上書き] ウィンドウで、次のフィールドを設定します。
   1. 変更後の結果 - 結果を逆のステータス ([合格]/[不合格]) で上書きするか、結果を [なし] に設定するかを選択します。
   2. コメント - 結果を上書きする理由を入力します。
5. [確認] を選択します。 上書きしたテスト結果のステータスの横には、 アイコンが表示されます。アイコンを選択すると、上書きの詳細を表示できます。

図 1.「テスト結果が正常に上書きされました」のメッセージ

6. Optionally, if you want to clear the override operation, select the next to the result status of a test case log.

1. [詳細を上書き] ウィンドウで、[上書きをクリア] を選択します。

図 2. [詳細を上書き] メニュー

7. Optionally, if you want to edit the override operation, select the next to the result status of a test case log.

1. 変更を行い、[確定] をクリックします。

ナビゲーションと検索

テスト結果をすばやく見つけるには、検索機能とフィルターを使用します。ページ内の移動には、ページネーション機能を設定・使用します。または、階層リンクを使用してページ間を移動することもできます。

1. フィルター - フィルターで検索対象を絞り込むことができます。たとえば、以下の条件でテスト結果を検索できます。
   1. ラベル
   2. 実行の種類
   3. 実行完了日時
   4. ステータスフィルターは自動的に保存され、クリアされるまでアクティブな状態に保たれます。
2. 検索 - テスト結果をキー、実行の種類、またはステータス (検索用語は完全に一致する必要があります) で検索するには、検索バーを使用します。ページ上部の検索バーを使用してテスト結果を検索できます。

テスト実行結果を使用する

テスト結果の詳細を確認するには、[実行] に移動します。

[ 結果 ] タブで [ 表示: ] を選択し、テスト結果の表示方法を選択します。次のいずれかのビューを選択できます。

• テスト セット: テスト結果は、テスト実行 (テスト セット) 別にグループ化されます。

• テスト ケース: テスト実行の属性を除いた条件に基づいて結果をフィルター処理する、複数件の実行の分析ビュー

  

詳細ビューを開くには、エントリを選択します。一般的なテスト実行の詳細ビューには、実行開始日時と期間に関する情報および実行ログが表示されます。

関連する結果のチップを選択することにより、[テスト ケース] ビューからテスト ケースの実行ログにアクセスできます。手動での実行中にテスト ケースの事後条件が満たされなかった場合、テスト ケースのログに例外が情報アイコンとともに表示されます。例外メッセージは「実行中に例外が発生しました。詳しくはログを確認してください。」です。このメッセージを選択すると、対応するテスト ケースのログの [実行の詳細] タブに移動します。

[報告日] フィルターを使用して、テスト実行のすべてのテスト結果にわたって統一された日付を設定できます。この機能は、一部のテスト ケースが夜 12 時前後に実行されるような夜間のテスト実行を行い、結果が別々の日付に分割されるのを防ぐ場合に便利です。

[ 結果 ] タブでは、テスト セット内の実行されたすべてのテスト ケースを確認し、必要に応じて操作を実行できます。詳細については、「 実行ログ 」のセクションをご覧ください。

また、[テスト セット] ページのエントリを右クリックして [テスト セットを開く] を選択するか、テスト実行内から直接、実行されたテスト セットを開くこともできます。

実行ログ

また、テスト レポートの一部として、実行ログには、実行の詳細 (データ バリエーションやスクリーンショットなど)、失敗および成功したアサーション、実行イベントの詳細なログなどの情報が保持されます。ロボット ログとアサーション ログは、テスト ケースの実行が開始されるとすぐにリアルタイムに利用できます。また、テストの実行に使用されたマシンと、実行に使用されたロボットを表示することもできます。

テスト ケースのログを開くには [実行] に移動し、テスト実行を開いてテスト ケースのキーまたは結果を選択します。

図 3. テスト ケースのログの実行の詳細の概要

以下の表に、テスト ケースの実行時に収集される情報を示します。

テスト実行レポート	説明
アサーション	失敗または成功したアサーション (例: [式を検証] アクティビティ)、および関連するスクリーンショット (テスト ケースの実行中に取得された場合) を確認できます。 実行時に Orchestrator でスクリーンショットが作成されるようにするには、次のリソースをご覧ください。 Orchestrator の既定のロール - 既定のロールにテスト ケース実行の成果物権限が割り当てられているかどうかを確認します。既定のロールにこの権限がない場合は、この権限を持つカスタム ロールを作成できます。 Orchestrator でロールを管理する - Orchestrator でロールを作成、編集、インポートする方法を理解できます。
ログ	RobotLogs の一部である INFO レベルのログを確認できます。プロセス、実行ロボット、および失敗を含むイベント ログに関する情報が含まれます。 このアイコン を選択すると、選択したテスト ケースの [ログ] タブに移動し、失敗の詳細が表示されます。
実行の詳細	入力値や出力値などの引数の詳細情報を確認できます。また、実行およびロボットの詳細情報 (プロジェクト、マシン、ロボットなど) も表示できます。このセクションには、テスト ケースが事後条件を満たしているかどうかも表示されます。
影響を受ける要件	実行されたテスト ケースに割り当てられた要件を確認できます。このタブからは、影響を受ける要件に直接移動できます。
添付ファイル	次の情報を表示できます。 [ドキュメントを添付] アクティビティを使用してアップロードされた添付ファイル Orchestrator からリンクされている、テスト ケースの結果の添付ファイル

You can check test logs (Assertions, Robots) as soon as the execution status changes to Running.

1. Go to Execution.
2. 実行を選択します。
3. Select the Results tab. Check if the execution status is Running. Select the test case key.
4. Check the following tabs which get populated every ten seconds, as the execution progresses: Assertions, Logs, and Healing Logs. Note that Healing Logs are available only for Test Cloud users.

実行の詳細

テスト ケースのログの [実行の詳細] タブには、テスト ケースの事前条件と事後条件に関する情報が表示されます。

テスト実行中に事後条件が満たされなかった場合、「Condition Not Met (条件を満たしていません。)」という警告が表示されるので、調査を行うことができます。

図 4.「Condition Not Met (条件を満たしていません)」の警告

実行ログをダウンロードする

プロジェクトの [実行] セクションから、実行を XLSX または PDF にエクスポートできます。実行ログをダウンロードしてテスト結果を詳しく分析できます。

すべてのテスト実行の実行ログをダウンロードする

すべてのテスト実行のログをダウンロードするには、以下の手順に従います。

1. プロジェクトの [実行] セクションに移動します。
2. [Excel にエクスポート] を選択します。

すべてのテスト実行が .xlsx ファイルにエクスポートされます。

特定の実行の実行ログをダウンロードする

When you download execution logs for an execution, you obtain a PDF or XLSX version of your test results.

To download test case logs for a specific test execution (all test cases within an execution), follow these steps:

1. プロジェクトの [実行] セクションに移動します。
2. テスト実行を選択します。
3. [エクスポート] を選択し、次のいずれかの出力を選択します。
   • Excel をダウンロード – ログを .xlsx ファイルでエクスポートします。
   • PDF をダウンロード – ログを .pdf ファイルでエクスポートします。

To download test case logs individually, follow these steps:

1. Go to Execution.
2. テスト実行を選択します。
3. In the Results tab, identify the test case log you want to download.
4. Go to the end of the row, select the vertical three-dot menu, and, from the context menu, select Export as PDF.
5. Alternatively, to download several, individual test case logs, select their check boxes, and from the upper right-hand corner of the results grid, select Export as PDF. The test case logs are exported as individual files in a .ZIP archive.

ログを XLSX ファイルまたは PDF ファイルにエクスポートする方法について詳しくは、「データをエクスポートする」をご覧ください。

アクティビティ カバレッジを表示する

注:

アクティビティ カバレッジは、自動テスト実行でのみ利用可能です。

前提条件: Orchestrator または Test Manager で、目的のテスト セットのアクティビティ カバレッジを有効化します。

1. テスト セットを開き、[その他のオプション] を選択してから、[自動テストを実行] を選択します。
2. [実行] に移動し、実行したテスト セットを開きます。
3. [アクティビティ カバレッジ] タブに移動し、テスト実行中にカバーされたアクティビティに関する情報を確認します。

図 5. アクティビティ カバレッジの例の概要

結果から不具合を作成する

お使いの外部の不具合管理システムを Test Manager と連携している場合、実行ログを含む不具合レポートを外部の不具合管理システムに作成できます。詳細については、「ALM ツールとの連携」をご覧ください。

実行ログから不具合を作成するには、テスト ケースのログを開き、[タスク] をクリックして [不具合を作成] を選択します。不具合が作成されたら、実行ログのリンクを使用して連携されている外部ツールにアクセスできます。

関連記事

• 一括操作
• データをエクスポートする