Test Suite

テストを実行する

テストは手動または自動で実行できます。手動テストを実行する場合は Test Manager から呼び出されますが、自動で実行する場合は Test Manager から呼び出されて Orchestrator で実行されます。さらに、1 回のテストセット実行内で、個々のテストケースを手動または自動で実行できます。これにより、実行の種類が [混合] に変わります。

テストケースを実行するには、まずテストセットを作成する必要があり、それが後から実行されます。すべてのテストケースを一度に実行するのではなく、個別に実行する場合は、テストセットから保留中の実行を作成できます。どの実行からでも、個々のテストケースを自動または手動で実行できます。

条件

Test Manager で作成されたテストセットと、Orchestrator からリンクされているテストセットには、[手動で実行] と [自動テストを実行] の両方を使用できます。
テストセットに含まれているテストケースバージョンのみが実行されます。新しいテストケースを実行する場合は、テストセットに新しいバージョンを割り当てる必要があります。Orchestrator のテストセットの場合は、最新のパッケージがパブリッシュされていることを確認する必要があります。

自動での実行

自動実行とは、Orchestrator からリンクされたテストセット、または Test Manager で作成された、Studio からリンクされたテストケースがあるテストセットを実行することを意味します。

手動での実行

手動での実行とは、手動ステップのあるテストケースを含む、Test Manager で作成されたテストセットを実行することです。手動での実行は、Test Manager で作成されたテストセットと、Orchestrator からリンクされたテストセットに対して可能です。

手動テストを実行する

テストセットを手動で実行する

Test Manager のテストセットも Orchestrator からリンクされたテストセットも、どちらも手動で実行できます (テストケースに手動のステップが定義されている場合)。詳しくは、「テストを実行する」をご覧ください。

プロジェクトを Test Manager で開き、[テストセット] に移動します。
テストセットを選択し、縦三点リーダーをクリックします。
[手動で実行] を選択します。手動実行アシスタントが新しいウィンドウで開きます。ポップアップブロッカーが、このウィンドウを開くことができるように設定されていることを確認してください。

テスト結果の詳細については、「テスト結果を分析する」をご覧ください。

注:

手動のステップを一切含まないテストケースは実行時にスキップされ、結果は一切生成されません。
自動化されたテストケースに手動のステップを定義して、手動で実行することもできます。

テストセットを開き、[実行] をクリックしてドロップダウンから [手動] を選択することもできます。

手動実行アシスタント

手動実行アシスタントでは、一連の手動テストを 1 つずつ順に実行できます。テストセット内の次のテストケースに進むには、各手動ステップに結果を設定する必要があります。

手動実行アシスタントを使用して各ケースのステップを処理し、成功または失敗としてマークする必要があります。

[セットの実行に失敗] または [セットの実行に成功] を使用して、各ケースのステップをマークします。特定の結果に関する詳細がわかるようなコメントを追加します (特に失敗の場合)。[ここまでのセットが成功] をクリックすると、連続する複数のステップを合格として設定できます。

テストケースの最後のステップに結果を割り当てたら [次へ] をクリックできます。これによって、テストセットの次のテストケースに進むことができます。最後のテストケースが終了したら、[完了] をクリックして実行を完全に終了します。

自動化されたテストを実行する

[自動テストを実行] を使用して、すべてのテストセットを実行できます。Test Manager にリンクされているテストケースに対して Orchestrator が呼び出されます。Orchestrator からリンクされたテストセットを実行するには、Orchestrator でテストセットを作成する必要があります。

テストセットに Studio からリンクされたテストケースが含まれる場合も、自動化されたテストを実行できます。詳細については、「テストを実行する」をご覧ください。

条件

重要: [自動テストを実行] オプションを使用するには、テストセットに 1 つ以上の自動化されたテストケースが含まれている必要があります。

自動テスト実行のタイムアウトの既定値は 12 時間です。12 時間を超える自動テスト実行は [キャンセル済み] とマークされます。
Orchestrator からリンクされたテストセットのテスト実行には、最新のパッケージバージョンで Orchestrator テナントプロセスフィードにパブリッシュされたテストケースのみが含まれます。新しいテストケースを実行する場合は、Orchestrator で新しいパッケージバージョンをパブリッシュしてから、Test Manager にテストセットをリンクする必要があります。
お使いの Test Manager のテストセットに複数の Studio プロジェクトのテストケースが含まれている場合、テストケースの数が最も多いプロジェクトが実行対象とみなされます。したがって、実行されるのはそのプロジェクトのテストケースのみです。この場合、Test Manager 内に「複数のパッケージのテストケースが選択されました。一部のテストケースは、このテストセットの実行時には実行されません。」というメッセージが表示されます。
Orchestrator からリンクされたテストセットがある場合に限り、複数の Studio プロジェクトのテストケースを含むテストセットを実行できます。
テストセットに複数の Studio プロジェクト内で重複するテストケースが含まれる場合、プロジェクト名で降順に並べ替えられます。リストの先頭にあるプロジェクトのテストケースのみが実行されます。

自動化されたテストセットを実行する

プロジェクトを Test Manager で開き、[テストセット] に移動します。
テストセットを選択し、縦三点リーダーをクリックします。
[自動テストを実行] を選択します。
テスト結果の詳細については、「テスト結果を分析する」をご覧ください。
注:
- 実行できないテストケースは、Orchestrator での実行中にスキップされます。
- 実行されないテストケースでは、結果なしのテストケースログが生成されます。

テストセットを開き、[実行] をクリックしてドロップダウンから [自動] を選択することもできます。

混合テストセットを実行する

混合テストを実行するには、過去のテスト結果から手動テストと自動化されたテストの両方を実行します。混合テストを再実行すると、常にテストケースの最新バージョンが使用されます。

混合テストセットを実行する

プロジェクトを Test Manager で開き、[テスト結果] に移動します。
手動のテストケースと自動化されたテストケースの両方を含むテストセットを選択します。
両方の種類のテストケースを選択してから、[自動テストを実行] を選択します。
テスト結果の [実行の種類] が [手動] または [自動] から [混合] に切り替わることを確認します。

保留中の実行を作成する - プレビュー

保留中のテスト実行は、テストセットの実行中に行われる通常のテスト実行に似ていますが、唯一の違いはテストがすぐには実行されない点です。保留中の実行では、テストセットの各テストケースに「なし」の結果が割り当てられるため、テストを後で開始したり、まとめて実行したり、個別に実行したりできます。

保留中の実行を使用できる状況

テストを後で実行する場合、または一度にすべてを実行せずに、テストセットの現在の状態を反映したい場合。
一部のテストは手動で実行され、他のテストは自動で実行されることになっている場合。
実行済みのテストに、選択したテストケースを含むテストセットの現在のステートを反映させたい場合。

テスト実行は元のテストセットから独立しており、割り当てられているテストケースはすべて、実行の静的なメンバーになります。テストセットが更新されても、テストセットの特定のセットのテストが実行で使用されるようにするには、保留中の実行を作成します。

保留中の実行を作成する手順

プロジェクトを Test Manager で開き、[テストセット] に移動します。
[タスク] を選択し、[保留中の実行を作成] を選択します。実行準備が整ったテストセットのレプリカが作成されます。保留中の実行が自動的に開き、[テスト結果] が表示されます。

実行順序を適用する

テストセットまたはテスト実行内のテストケースに特定の実行シーケンスを設定できます。この順序によって、テストケースの最初の実行シーケンスが決まります。ただし、テスト実行内の順序を変更しても、テストセット内の順序には影響しません。つまり、テストセット内で設定したシーケンスと、テスト実行内で設定したシーケンスは、互いに独立して動作します。

注: 静的に割り当てられたテストケースにのみ、特定の実行順序を適用することができます。動的に割り当てられたテストケースは、静的に割り当てられたテストケースが完了した後でのみ、ランダムな順序で続けて実行されます。

手順

プロジェクト内のどこでテストケースを並べ替えるかを決定します。
- テストセット内
- テスト実行内
[実行順序を適用] トグルをオンにします。
- [テストセット]、[設定] タブの順に移動し、[実行順序を適用] トグルを選択します。
- または、テスト実行内で並べ替える場合は、[テスト結果]、[設定] タブの順に移動し、[実行順序を適用] トグルを有効化します。
実行順序を有効化したら、テストケースが表示されているタブに戻ります。実行順序の適用をアクティブ化した場所に応じて、以下の手順を実行します。
- [テストセット] 内の場合は、[テストケース] に戻って [並べ替え] を選択します。
- [テスト結果] 内の場合は、[結果] に戻って [並べ替え] を選択します。
[テストケースを並べ替え] ビューが開き、テストケース実行の順序を並べ替えることができます。
テストケースをドラッグアンドドロップして、テストセットまたはテスト実行内でテストケースを並べ替えます。
テストケースの並べ替えが完了したら、[保存] を選択します。

テストセットを実行すると、テストケースが先ほど保存した順序で実行されます。

テスト実行を再実行する

テスト実行を再実行すると、古い実行結果は削除されて、新しい結果に置き換えられます。テスト実行結果を置き換えたくない場合は、テストセットを再度実行します。これにより、以前のテスト実行結果とは別のテスト実行結果が新しく生成されます。

再実行を行うことができる定義済みのユーザーロールは、Test Manager、Test Executor、Manual Tester です。

テストセットの実行を再実行する

[テスト結果] に移動し、以下のいずれかを選択します。
- 再実行するテスト実行の [その他のオプション] を選択します。
- テスト実行を開いて [タスク] を選択します。
以下のいずれかを選択します。
- 手動で再実行 (手動テスト実行でのみ利用可能)
- 自動で再実行 (自動テスト実行でのみ利用可能)
[再実行] ダイアログが表示されます。
[確認] を選択して手動ステップを実行するか、自動テストセットが完了するまで待機します。

注:
テストセットの実行を再実行した場合、アクティビティカバレッジは表示されなくなりました。

テストケースの実行を再実行する

1 つ以上のテストケース実行を再実行できます。データドリブンなテストケースの場合、一度に再実行できるテストケース実行は 1 つだけです。データドリブンなテストケースの複数の実行を一括して実行することはできません。

注: テストケースの新しいバージョンをパブリッシュした場合でも、再実行するバージョンは、テスト実行に記録されたものと同じバージョンです。

[テスト結果] に移動し、テストセット実行を開きます。
1 つ以上のテストケース実行のチェックボックスをオンにしてから、[再実行] を選択し、選択した項目を再実行します。
以下のいずれかを選択します。
- 手動で再実行 (手動テスト実行でのみ利用可能)
- 自動で再実行 (自動テスト実行でのみ利用可能)
[再実行] ダイアログが表示されます。
[確認] を選択して手動ステップを実行するか、自動テストケースが完了するまで待機します。