Test Suite
2023.10
Test Suite ユーザー ガイド
Last updated 2024年2月28日

テスト結果

テスト セットの実行を開始すると、Test Manager で以下のプロセスが実行されます。

  1. テスト実行が Test Manager の [テスト結果] セクションに作成されます。これはテスト結果のコンテナーとして機能します。
  2. 実行されたテスト セット内のすべてのテスト ケースに対して、空のテスト ケース ログが生成されます。このログはテスト実行に添付され、関連するテスト結果を保持します。
  3. 実行を続けると、Test Manager によって、各テスト ケース ログに結果と、関連するログ情報が記録されていきます。
注: テスト実行が作成されるたびに、元のテスト セットの関連するテスト ケースすべてに対して、テスト ケース ログが追加されます。つまり、元のテスト セットを更新または削除しても、既存のテスト実行の一貫性が保たれます。

下の図は、Test Manager でテスト セットを実行するプロセスを表したものです。



こうしたフローを採用していることから、テスト セットの実行後にテスト セットまたは関連するテスト ケースにどのような変更を加えたとしても、変更前の実行結果には影響しません。テスト セットを削除した場合でも、すべてのテスト実行について、元の結果が保持されます。

プロジェクトを表示できるユーザー

すべてのユーザー ロールがテスト結果を確認できます。

詳しくは、「ユーザーとグループのアクセス管理」をご覧ください。

テスト結果を分析する

テスト実行を表示するには、Test Manager で [テスト結果] を開きます。各テストの実行が、テスト実行エントリとしてリストに表示されます。背後でのテスト実行の動作を理解するには、「テスト結果」をご覧ください。



テスト実行を分析することで、以下の操作を行えます。

  • Orchestrator で手動または自動で実行したテストの結果を検索する。
  • テスト実行の進行状況を確認する。
  • 実行されたテスト セットを開きます。
  • ログと添付ファイルを調べる。
  • アプリケーション ライフサイクル管理ツールと連携している場合は、Test Manager から直接、不具合管理システム内に不具合を作成する。詳細については、「ALM ツールとの連携」をご覧ください。

既定では、テスト実行は実行が終了した日付に基づいて並べ替えられます。現在実行中および保留中のテスト実行は、先頭に表示されます。

各テスト実行のステータスは、ステータスごとに割り当てられた次の色によって識別できます。

  • : 合格したテスト ケース
  • : 失敗したテスト ケース
  • : 最終的な結果のないテスト ケース (まだ実行されてはいないが、現在実行中のテスト セットの一部であるものなど)

自動化されたテストの結果

自動化されたテスト実行の結果は、Orchestrator から自動的にインポートされます。自動化されたテストを Test Manager にインポートするには、以下の条件を満たす必要があります。

  • Test Manager を Orchestrator と連携する
  • 自動化されたテストは、Test Manager プロジェクトのテスト セットの一部である必要があります。詳細については、自動化されたテストに関する説明をご覧ください。

    注: Orchestrator からのテスト実行に、Test Manager の複数のプロジェクトからのテスト ケースの結果が保持されている場合、Test Manager 内ではテスト実行が分割されます。結果は、テスト ケースが存在していたプロジェクトごとに表示されます。

テスト結果を上書きする

テスト ケースの結果の上書きは、現在のテスト結果がアプリケーションの実際の動作を正確に反映しておらず、再実行は効果的なソリューションではないシナリオで役立ちます。テスト ケースのテスト結果を上書きしたり、必要に応じて上書き操作をクリアしたりできます。

  1. [テスト結果] に移動して、テスト結果を開きます。
  2. [結果] タブからテスト ケース ログを開きます。
  3. [アサーション] タブで、[タスク] > [結果を上書き] を選択します。
  4. [テスト結果を上書き] ウィンドウで、次のフィールドを設定します。
    1. 変更後の結果 - 結果を逆のステータス ([合格]/[不合格]) で上書きするか、結果を [なし] に設定するかを選択します。
    2. コメント - 結果を上書きする理由を入力します。
  5. [確認] を選択します。

    上書きしたテスト結果のステータスの横には、 アイコンが表示されます。アイコンを選択すると、上書きの詳細を表示できます。

    docs image
  6. 上書き操作をクリアする場合は、テスト ケース ログの結果ステータスの横にある docs image を選択します。
    1. [詳細を上書き] ウィンドウで、[上書きをクリア] を選択します。
      docs image
  7. 上書き操作を編集する場合は、テスト ケース ログの結果ステータスの横にある docs image を選択します。
    1. 変更を行い、[確定] をクリックします。

テスト実行結果を使用する

テスト実行の詳細な結果を確認するには [テスト結果] に移動し、エントリをクリックして詳細ビューを開きます。一般的なテスト実行の詳細ビューには、実行開始日時と期間に関する情報および実行ログが表示されます。

[報告日] フィルターを使用して、テスト実行のすべての結果に 1 つの日付を設定できます。この機能は、一部のテスト ケースが夜 12 時前後に実行されるような夜間のテスト実行を行う場合に便利です。この機能を使用しないと、レポート内で結果が複数の異なる日付に分かれて表示されます。

[結果] セクションでは、テスト セット内で実行されたすべてのテスト ケースを確認できます。個々のテスト ケースに応じた操作を実行できます。詳しくは、「実行ログ」をご覧ください。

また、[テスト セット] ページのエントリを右クリックして [テスト セットを開く] を選択するか、テスト実行内から直接、実行されたテスト セットを開くこともできます。



実行ログ

テスト レポートの一部として、実行の詳細 (データ バリエーションやスクリーンショットなど)、失敗したアサーションと成功したアサーション、実行イベントの詳細ログなどの情報が実行ログに保持されます。

テスト ケース ログを開くには [テスト結果] に移動し、テスト実行を開いてテスト ケースのキーをクリックします。



以下の表に、テスト ケースの実行時に収集される情報を示します。

テスト実行レポート

説明

アサーション

失敗または成功したアサーション (例: [式を検証] アクティビティ)、および関連するスクリーンショット (テスト ケースの実行中に取得された場合) を確認できます。
実行時に Orchestrator でスクリーンショットが作成されるようにするには、次のリソースをご覧ください。
  • Orchestrator の既定のロール - 既定のロールにテスト ケース実行の成果物権限が割り当てられているかどうかを確認します。既定のロールにこの権限がない場合は、この権限を持つカスタム ロールを作成できます。
  • Orchestrator でロールを管理する - Orchestrator でロールを作成、編集、インポートする方法を理解できます。

ログ

RobotLogs の一部である INFO レベルのログを確認できます。プロセス、実行ロボット、および失敗を含むイベント ログに関する情報が含まれます。

このアイコン を選択すると、選択したテスト ケースの [ログ] タブに移動し、失敗の詳細が表示されます。

実行の詳細

入力値や出力値などの引数の詳細情報を確認できます。また、実行やロボットの詳細情報 (プロジェクト、マシン、ロボットなど) も表示できます。

影響を受ける要件

実行されたテスト ケースに割り当てられた要件を確認できます。このタブからは、影響を受ける要件に直接移動できます。
添付ファイル以下が表示されます。
  • [ドキュメントを添付] アクティビティを使用してアップロードされた添付ファイル
  • Orchestrator からリンクされている、テスト ケースの結果の添付ファイル

アクティビティ カバレッジを表示する

注: アクティビティ カバレッジは、自動テスト実行でのみ利用可能です。

前提条件: Orchestrator または Test Manager で、目的のテスト セットのアクティビティ カバレッジを有効化します。

  1. テスト セットを開き、[その他のオプション] docs image を選択してから、[自動テストを実行] を選択します。
  2. [テスト結果] に移動し、実行したテスト セットを開きます。
  3. [アクティビティ カバレッジ] タブに移動し、テスト実行中にカバーされたアクティビティに関する情報を確認します。


結果から不具合を作成する

お使いの外部の不具合管理システムを Test Manager と連携している場合、実行ログを含む不具合レポートを外部の不具合管理システムに作成できます。詳細については、「ALM ツールとの連携」をご覧ください。

実行ログから不具合を作成するには、テスト ケース ログを開き[タスク] をクリックして [不具合を作成] を選択します。不具合が作成されたら、実行ログのリンクを使用して連携されている外部ツールにアクセスできます。

不具合の同期

アプリケーション ライフサイクル管理ツールとの連携機能の一部として、実行結果を外部ツールに同期できます。実行中に収集された情報 (結果、ログ、タイムスタンプ、その他の詳細など) は、Test Manager と連携したツールに同期されます。

現時点では、不具合の同期のために有効化できる接続は 1 つのプロジェクトにつき 1 つのみである点にご注意ください。

注:
  • 不具合を同期するには、Test Manager でコネクタを設定する必要があります。Test Manager で利用可能なコネクタはこちらをご覧ください。
  • 最初にテスト セットを実行しておく必要があります。

不具合を同期できるユーザー

不具合の同期は、読み取り専用のロール以外のすべてのユーザー ロールが行えます。

詳しくは、「ユーザーとグループのアクセス管理」をご覧ください。

不具合を作成する

不具合を作成するには、[テスト結果] ページでテスト ケースのログにアクセスします。

  1. [テスト結果] に移動します。
  2. テスト結果を開き、テスト ケースのキーをクリックしてログを開きます。
  3. [タスク] をクリックして [不具合を作成] を選択します。


不具合が作成され、外部ツールに同期されます。同期された不具合があるテスト実行結果に移動すれば、不具合を直接ツール (Atlassian Jira など) で開くことができます。



不具合のリンクを解除する

外部ツールから不具合のリンクを解除した場合、ツール内で作成されたエントリは変更されません。Test Manager では、テスト実行結果は外部ツールとリンクされません。

  1. [テスト結果] に移動します。
  2. テスト結果を開いて [タスク] をクリックします。
  3. [不具合のリンクを解除] を選択します。

Was this page helpful?

サポートを受ける
RPA について学ぶ - オートメーション コース
UiPath コミュニティ フォーラム
UiPath ロゴ (白)
信頼とセキュリティ
© 2005-2024 UiPath. All rights reserved.