テスト実行

概要

重要:

テスト管理機能は Test Manager に移動されました。このため、新しいテナントでは、 テスト オートメーション用の Orchestrator API を使用するか、 CI/CD との連携を使用する方法以外では、Orchestrator のユーザー インターフェイスから直接テスト ケースを実行することはできません。テスト ケースを実行するには、代わりに Test Manager を使用します。

ここでは、テスト実行の管理方法について説明します。テスト実行とは、任意のテスト セットによる、ある特定の時点における実行結果を、変更不可能な形で記録する機能です。これに対して、テスト セットはいつでも変更できます。別のアプリケーション バージョンを対象とすることや、選択するテスト ケースを変更することができるからです。

注:

自動テスト実行のタイムアウトの既定値は 4 日間で、これは変更できません。4 日間を超える自動テスト実行は [キャンセル済み] とマークされます。

前提条件: テスト実行を行うには、Robot ロールが割り当てられている必要があります。

Integration Service のコネクションを指定したテスト ケースを実行する

特定の Integration Service のコネクションを使用して作成したテスト ケースがあるテスト ケースとプロジェクトでは、Studio での設計段階で使用したコネクション以外のコネクションを実行時に割り当てることはできません。

たとえば、Integration Service のコネクションを指定したテスト ケースを作成し、Orchestrator にパブリッシュして単独で実行すると、実行時に特定のコネクションを割り当てるオプションを使用できません。

Integration Service から Orchestrator へのコネクションをプロセスとして使用するテスト ケースを指定した Studio プロジェクトをパブリッシュすると、プロセスの [パッケージ要件] で実行時にコネクションを設定するオプションを利用できます。

注:

テスト ケースの [ パッケージ要件 ] でコネクションを設定すると、設計時に Studio で選択したコネクションが引き続き使用されます。

テスト セットを再実行する

重要:

新しいテナントでは、 テスト オートメーション用の Orchestrator API を使用してのみ、テスト セットを再実行できます。

以前に実行したテスト セットを再実行できます。そのテスト ケースの新しい結果によって、[テスト実行] ページに表示されている前のテスト ケースの結果が上書きされます。

カバレッジの計算が有効化されているテスト セットのテスト ケースは再実行できませんので、ご注意ください。

1. Orchestrator にログインします。
2. フォルダーを開きます。
3. [テスト] > [テスト実行] に移動します。
4. テスト実行を選択し、[その他のアクション] > [詳細] に移動します。
5. テスト ケースを選択して、[その他のアクション] > [再実行] に移動します。
6. 実行ターゲットを設定します。
   • ユーザー: その特定のフォルダーに割り当てられたユーザーをドロップダウン リストから選択します。既定では [すべてのユーザー] に設定されています。
   • マシン: ドロップダウン リストからマシン リソースを選択します。
7. (任意) テスト ケースのカスタム引数を定義して、テスト セット レベルで既定値を上書きします。引数を定義するには、引数を含むパッケージをパブリッシュしておく必要があります。
8. [実行] をクリックして確定します。

既知の制限事項

テスト セットを Orchestrator で再実行した場合、その結果は Test Manager に同期されません。Test Manager から直接、テストを実行して再実行することをお勧めします。

テスト実行のカバレッジ

重要:

どのテナントでも、テスト実行のカバレッジは利用できません。テストのアクティビティ カバレッジは Test Manager で確認できます。詳しくは、「 アクティビティ カバレッジを表示する」をご覧ください。

重要:

どのテナントでも、テスト管理機能は Test Manager に移動されています。このため、テスト スケジュールは Orchestrator では利用できなくなっており、テスト ケースやテスト セットを Orchestrator から直接実行することはできません。ただし、テスト オートメーション用の Orchestrator API を使用するか、Test Manager と CI/CD のネイティブ連携を使用して、引き続きテスト ケースとテスト セットを実行できます。

テスト実行時にカバーされたアクティビティに関する情報を表示できます。このオプションはアクティビティ カバレッジと同様に、Studio でも使用できます。

重要:

既存または新規のテスト セットにこのオプションを選択した場合、アクティビティ カバレッジの計算機能を利用できます。詳しくは、「テスト ケースを作成する」をご覧ください。

1. Orchestrator で目的のフォルダーを開きます。
2. [テスト] > [テスト実行] に移動します。
3. テスト実行を選択し、[その他のアクション] > [詳細] に移動します。
4. [カバレッジ] タブに移動して、カバレッジの詳細を確認します。

カバレッジ ファイルは [添付ファイル] タブにアップロードされます。

図 1. [カバレッジ] タブ

テスト実行を分析する

テスト実行を分析して、実行が失敗した、またはスタックしたインスタンスの詳細を把握できます。

注:

[ オートメーション] > [ジョブ > ジョブの詳細] に移動すると、失敗したテスト実行のスクリーンショットを表示できます。この機能を活用するには、アプリケーション レベルで実行メディアを有効にする必要があります。詳細については、「 実行メディアのアクセス許可」を参照してください。

図 2. 実行の詳細

テスト実行の内容は、次のような操作によって確認できます。

アクション	説明	手順
実行の詳細	実行結果の添付ファイル、データ バリエーション、スクリーンショットなどの、ロボットの詳細情報を表示します。 実行メディアに対する権限を持っている必要があります。	Orchestrator で目的のフォルダーを開きます。 [テスト] > [テスト実行] に移動します。 テスト実行を選択し、[その他のアクション] > [詳細] に移動します。 [詳細] をクリックすると、実行の詳細が表示されます。
アサーションを表示	失敗した、または成功したアサーションを表示します。	Orchestrator で目的のフォルダーを開きます。 [テスト] > [テスト実行] に移動します。 テスト実行を選択し、[その他のアクション] > [詳細] に移動します。 テスト ケースを選択し、[その他のアクション] > [アサーションを表示] に移動します。
ログを表示	実行イベントの詳細ログを表示およびエクスポートします。	Orchestrator で目的のフォルダーを開きます。 [テスト] > [テスト実行] に移動します。 テスト実行を選択し、[その他のアクション] > [詳細] に移動します。 テスト ケースを選択し、[その他のアクション] > [ログを表示] に移動します。 [エクスポート] をクリックして、テスト実行の詳細を CSV 形式で取得します。

テスト実行 API

アイテム関連のアクティビティに関するクエリの実行には、API を通じて内部で使用できるバックグラウンド タスクを使用できます。Orchestrator の権限に関する詳細は、「ロールについて」をご覧ください。テスト オートメーション API の詳細は、「テスト オートメーション API のアクセス許可」をご覧ください。