テストを実行する

テストは手動または自動で実行できます。手動のテスト実行は Test Manager から呼び出されますが、自動のテスト実行は Test Manager から呼び出されて Orchestrator で実行されます。さらに、1 件のテスト セット実行内の個々のテスト ケースを手動または自動で実行できます。これを行うと、実行の種類が [混合] に変わります。

テスト ケースを実行するには、まずテスト セットを作成する必要があり、それが後から実行されます。すべてのテスト ケースを一度に実行するのではなく、個別に実行する場合は、テスト セットに保留中の実行を作成できます。どのテスト実行からでも、個々のテスト ケースを自動または手動で実行できます。

条件

• Test Manager で作成されたテスト セットと、Orchestrator からリンクされているテスト セットには、[手動で実行] と [自動テストを実行] の両方を使用できます。
• テスト セットに含まれているテスト ケース バージョンのみが実行されます。新しいテスト ケースを実行する場合は、テスト セットに新しいバージョンを割り当てる必要があります。Orchestrator のテスト セットの場合は、最新のパッケージがパブリッシュされていることを確認する必要があります。
• 実行順序が有効な場合、テスト セットから個々のテスト ケースを実行することはできません。

自動での実行

自動実行とは、Orchestrator からリンクされたテスト セット、または Test Manager で作成された、Studio からリンクされたテスト ケースがあるテスト セットを実行することを意味します。

手動での実行

手動での実行とは、手動ステップのあるテスト ケースを含む、Test Manager で作成されたテスト セットを実行することです。手動での実行は、Test Manager で作成されたテスト セットと、Orchestrator からリンクされたテスト セットに対して可能です。

手動テストを実行する

手動での実行をユーザーに割り当てる

手動テスト用のテスト ケースの実行をユーザーに割り当て、そのユーザーに期限日を設定することで、作業をテスト プロジェクト内で分散できます。手動実行は任意のユーザーに割り当てることができますが、テストを実行する権限が必要であることに注意してください。

前提条件

手動テスト用のテスト ケース ログを割り当てるか割り当て解除するには、ユーザーのロールの 1 つに [テスト ケースの実行の割り当ての変更] タスクの権限が必要です。既定では、このタスクの権限は Test Manager の定義済みのロールに組み込まれています。

手動実行を割り当てる

1 つまたは複数の手動実行をユーザーに割り当てるには、次の手順を実行します。

1. プロジェクトの [実行] セクションに移動します。
2. テスト実行の名前を選択して開きます。
   注: 種類に関係なく、すべてのテスト実行を選択できます。これはその目的が、以前の実行で使用された方法に関係なく、ユーザーによる手動実行を容易にすることであるためです。
3. 次のいずれかの方法で、手動テスト用のテスト ケースの実行を割り当てます。
   • 単一の手動テスト用のテスト ケースの実行を割り当てるには、目的のテスト ケースの [その他のオプション] を選択してから、[割り当て] を選択します。
   • 複数の手動テスト用のテスト ケースの実行を割り当てるには、目的の手動テスト用のテスト ケースのキーの横にあるチェック ボックスをオンにしてから、[割り当て] を選択します。

   [割り当て] ダイアログ ボックスが開きます。

4. [担当者] フィールドに、テスト ケースを割り当てるユーザーのユーザー名またはメール アドレスを入力します。

   テスト ケースを割り当てるユーザーに、テストを実行する権限があることを確認してください。

5. [期限日を設定] フィールドに、ユーザーがテスト ケースを実行する期限日を入力します。

   日付の形式は「月/日/年」です。

   この手順には、日付の選択を使用することもできます。

6. [割り当て] を選択して操作を完了します。

   これらのイベントに関する通知に登録している場合、テスト ケースが割り当てられたことを示す通知がユーザーに送信されます。

ヒント: 割り当てと期限日は、テスト ケースの実行ログのヘッダーから変更することもできます。

図 1. [割り当て] ダイアログ ボックスの概要

手動実行の割り当てを解除する

1 つまたは複数の手動実行の割り当てをユーザーから解除するには、次の手順を実行します。

1. プロジェクトの [実行] セクションに移動します。
2. 対象のテスト実行の名前を選択して開きます。
3. 次のいずれかの方法で、手動テスト用のテスト ケースの実行の割り当てを解除します。
   • 単一の手動テスト用のテスト ケースの実行を割り当て解除するには、目的のテスト ケース横のチェックボックスを選択してから、[割り当てをクリア] を選択します。
   • 複数の手動テスト用のテスト ケースの実行を割り当て解除するには、目的の手動テスト用のテスト ケースのキーの横にあるチェック ボックスをオンにしてから、[割り当てをクリア] を選択します。

   これらのイベントに関する通知に登録している場合、テスト ケースの割り当てが解除されたことを示す通知がユーザーに送信されます。

手動実行の期限日のスケジュールを設定する

手動テスト用のテスト ケースの実行に期限日を設定できます。テスト ケース ログを実行せずにその日が過ぎると、期限日が強調表示されます。

手動テスト用のテスト ケースの実行に期限日を設定するには、次の手順を実行します。

1. プロジェクトの [実行] セクションに移動します。
2. 手動テストのテスト実行を選択して開きます。
3. テスト ケース ログを開きます。
4. [期限日] フィールドに、テスト ケース ログのヘッダーから期限日を入力します。形式は「月/日/年」です。

   日付の選択を使用して日付を選択することもできます。

   注: 期限日は、手動テスト用のテスト ケースの実行をユーザーに割り当てるときに設定することもできます。

テスト セットを手動で実行する

Test Manager のテスト セットも Orchestrator からリンクされたテスト セットも、どちらも手動で実行できます (テスト ケースに手動のステップが定義されている場合)。

1. プロジェクトを Test Manager で開き、[テスト セット] に移動します。
2. 実行するテスト セットの [その他のオプション] を選択します。
3. [手動で実行] を選択します。
   手動実行アシスタントが新しいウィンドウで開きます。ポップアップ ブロッカーを使用している場合は、このウィンドウを開くことができるように設定してください。

テスト結果の詳細については、「テスト結果を分析する」をご覧ください。

注: 自動化されたテスト ケースに手動のステップを定義して、手動で実行することもできます。

テスト セットを開き、[実行] を選択してドロップダウン リストから [手動] を選択することもできます。

手動実行アシスタント

手動実行アシスタントでは、一連の手動テストを 1 つずつ順番に実行できます。テスト セット内の次のテスト ケースに進むには、各手動ステップに結果を設定する必要があります。手動実行アシスタントを使用して各ケースのステップを処理し、成功または失敗としてマークする必要があります。

図 2. 手動実行アシスタントを使用して手動テストを実行する

1. テスト ケースの各ステップの進行状況をマークするには、[セットが不合格] または [セットが合格] を選択します。
2. 特にステップを不合格としてマークする場合は、コメントを追加して結果に関する具体的な情報を提供します。
3. ステップをマークした後に、後続の複数のステップを合格として設定できます。そのためには、[ここまでのセットが合格] を選択します。
4. 最後のステップに結果を割り当ててテスト ケースを完了したら、[次へ] を選択します。

   この操作によって、テスト セット内の次のテスト ケースに進むことができます。

5. テスト セットの最後のテスト ケースに到達するまで、手順 1 から 4 を繰り返します。
6. 手動テストに対して事後条件が指定されている場合は、テスト ケースの最後のステップに結果を割り当てた後に事後条件を検証します。
   1. 事後条件が満たされている場合は、[条件を満たしている] を選択します。
   2. 事後条件が満たされていない場合は、[条件を満たしている] を未選択のままにします。
7. 最後のテスト ケースが完了したら、[完了] を選択して実行プロセス全体を完了します。

手動テストの実行時に添付ファイルをアップロードする

手動テストの実行にさらに詳細を追加するには、以下の手順を実行して添付ファイルをアップロードします。

1. プロジェクトの [テスト セット] に移動して、手動テスト セットを開きます。
2. [実行] > [手動] を選択します。

   手動実行アシスタントが開き、実行準備が整った最初の手動テスト用のテスト ケースが表示されます。

3. テストの手動実行を開始します。
4. ファイルを添付するテスト ステップに到達したら、[その他のオプション] > [添付ファイルをアップロード] に移動します。

   マシンのファイル エクスプローラーが開き、アップロードするファイルを選択できます。

   添付ファイルの種類に応じて、次の操作が可能です。

   • 画像の場合は、[ビュー] を選択してプレビューを確認します。
   • 他のファイルの種類の場合は、[ダウンロード] を選択して添付ファイルを取得します。

結果: 手動テストの実行が完了したら、添付ファイルをアップロードしたテスト ケースのログを開きます。添付ファイルは [添付ファイル] 列に表示され、ファイルの種類に応じて添付ファイルを表示またはダウンロードできます。

テスト ケースを同時に実行する

手動テスト用のテスト ケースを他のユーザーと同時に実行できます。これにより、手動テスト セットの実行中でもテスト ケースを再実行できます。テスト ケース ログのステータスは、テストの開始と終了の両方を含む最新のユーザー アクティビティに従って常に更新されます。ユーザーが以前に完了したテスト ケース ログの再実行を開始すると、ステータスの更新が直ちに行われます。再実行プロセス中は以前の結果は保持されません。過去の実行の記録は維持されますが、新しい結果によって古い実行が上書きされます。つまり、テスト ケース ログには最新の実行の結果が反映されます。

テスト ケースの最後の実行者を特定する

手動実行の [結果] タブの [実行者] 列には、テスト ケース ログを最後に実行したユーザーのユーザー名が表示されます。この情報は、自分自身または他のユーザーがテスト ケースに対して次のいずれかの操作を実行するたびに更新されます。

• 手動テスト セットを初めて実行する
• 手動テスト実行の保留中の実行を行う
• 手動実行からテスト ケース ログを再実行する

テスト ケース ログを追跡する

特定のテスト実行中にテスト ケース ログを再実行すると、Test Manager はテスト ケース ログの履歴を保持せず上書きします。ただし、[最新実行結果] タブでは、異なるテスト実行にわたる各テスト ケースの実行履歴や、関連するユーザーの詳細を確認できます。

自動化されたテストを実行する

[自動テストを実行] を使用して、すべてのテスト セットを実行できます。Test Manager にリンクされているテスト ケースに対して Orchestrator が呼び出されます。Orchestrator からリンクされたテスト セットを実行するには、Orchestrator でテスト セットを作成する必要があります。

テスト セットに Studio からリンクされたテスト ケースが含まれる場合も、自動化されたテストを実行できます。詳細については、「テストを実行する」をご覧ください。

条件

重要: [自動テストを実行] オプションを使用するには、テスト セットに 1 つ以上の自動化されたテスト ケースが含まれている必要があります。

• 自動テスト実行のタイムアウトの既定値は 4 日間で、これは変更できません。4 日間を超える自動テスト実行は [キャンセル済み] とマークされます。
• Orchestrator からリンクされたテスト セットのテスト実行には、最新のパッケージ バージョンで Orchestrator テナント プロセス フィードにパブリッシュされたテスト ケースのみが含まれます。新しいテスト ケースを実行する場合は、Orchestrator で新しいパッケージ バージョンをパブリッシュしてから、Test Manager にテスト セットをリンクする必要があります。
• お使いの Test Manager のテスト セットに複数の Studio プロジェクトのテスト ケースが含まれている場合、テスト ケースの数が最も多いプロジェクトが実行対象とみなされます。したがって、実行されるのはそのプロジェクトのテスト ケースのみです。この場合、Test Manager 内に「複数のパッケージのテスト ケースが選択されました。一部のテスト ケースは、このテスト セットの実行時には実行されません。」というメッセージが表示されます。

  Orchestrator からリンクされたテスト セットがある場合に限り、複数の Studio プロジェクトのテスト ケースを含むテスト セットを実行できます。

• テスト セットに複数の Studio プロジェクト内で重複するテスト ケースが含まれる場合、プロジェクト名で降順に並べ替えられます。リストの先頭にあるプロジェクトのテスト ケースのみが実行されます。

自動化されたテスト セットを実行する

1. プロジェクトを Test Manager で開き、[テスト セット] に移動します。
2. テスト セットを選択し、縦三点リーダーをクリックします。
3. [自動テストを実行] を選択します。

   テスト結果の詳細については、「テスト結果を分析する」をご覧ください。

   注:

   • 実行できないテスト ケースは、Orchestrator での実行中にスキップされます。
   • 実行されないテスト ケースでは、結果なしのテスト ケース ログが生成されます。

テスト セットを開き、[実行] をクリックしてドロップダウンから [自動] を選択することもできます。

混合テスト セットを実行する

混合テストを実行するには、過去のテスト結果から手動テストと自動化されたテストの両方を実行します。混合テストを再実行すると、常にテスト ケースの最新バージョンが使用されます。

混合テスト セットを実行する

1. プロジェクトを Test Manager で開き、[実行] に移動します。
2. 手動のテスト ケースと自動化されたテスト ケースの両方を含むテスト セットを選択します。
3. 両方の種類のテスト ケースを選択してから、[自動テストを実行] を選択します。

   テスト結果の [実行の種類] が [手動] または [自動] から [混合] に切り替わることを確認します。

保留中の実行を作成する

保留中のテスト実行は、テスト セットの実行中に行われる通常のテスト実行に似ていますが、唯一の違いはテストがすぐには実行されない点です。保留中の実行では、テスト セットの各テスト ケースに「なし」の結果が割り当てられるため、テストを後で開始したり、まとめて実行したり、個別に実行したりできます。

保留中の実行を使用できる状況

• テストを後で実行する場合、または一度にすべてを実行せずに、テスト セットの現在の状態を反映したい場合。
• 一部のテストは手動で実行され、他のテストは自動で実行されることになっている場合。
• 実行済みのテストに、選択したテスト ケースを含むテスト セットの現在のステートを反映させたい場合。

テスト実行は元のテスト セットから独立しており、割り当てられているテスト ケースはすべて、実行の静的なメンバーになります。テスト セットが更新されても、テスト セットの特定のセットのテストが実行で使用されるようにするには、保留中の実行を作成します。

保留中の実行を作成する手順

1. プロジェクトを Test Manager で開き、[テスト セット] に移動します。
2. [タスク] を選択し、[保留中の実行を作成] を選択します。実行準備が整ったテスト セットのレプリカが作成されます。保留中の実行が自動的に開き、[実行] が表示されます。

実行順序を適用する

テスト セットまたはテスト実行内のテスト ケースに特定の実行シーケンスを設定できます。この順序によって、テスト ケースの最初の実行シーケンスが決まります。ただし、テスト実行内の順序を変更しても、テスト セット内の順序には影響しません。つまり、テスト セット内で設定したシーケンスと、テスト実行内で設定したシーケンスは、互いに独立して動作します。

注: 静的に割り当てられたテスト ケースにのみ、特定の実行順序を適用することができます。動的に割り当てられたテスト ケースは、静的に割り当てられたテスト ケースが完了した後でのみ、ランダムな順序で続けて実行されます。

手順

1. プロジェクト内のどこでテスト ケースを並べ替えるかを決定します。
   • テスト セット内
   • テスト実行内
2. [実行順序を適用] トグルをオンにします。
   • [テスト セット]、[設定] タブの順に移動し、[実行順序を適用] トグルを選択します。
   • または、テスト実行内で並べ替える場合は、[実行]、[設定] タブの順に移動し、[実行順序を適用] トグルを有効化します。
3. 実行順序を有効化したら、テスト ケースが表示されているタブに戻ります。実行順序の適用をアクティブ化した場所に応じて、以下の手順を実行します。
   • [テスト セット] 内の場合は、[テスト ケース] に戻って [並べ替え] を選択します。
   • [実行] 内の場合は、[結果] に戻って [並べ替え] を選択します。
   [テスト ケースを並べ替え] ビューが開き、テスト ケース実行の順序を並べ替えることができます。
4. テスト ケースをドラッグ アンド ドロップして、テスト セットまたはテスト実行内でテスト ケースを並べ替えます。
5. テスト ケースの並べ替えが完了したら、[保存] を選択します。

テスト セットを実行すると、テスト ケースが先ほど保存した順序で実行されます。

テスト実行を再実行する

テスト実行を再実行すると、古い実行結果は削除されて、新しい結果に置き換えられます。テスト実行結果を置き換えたくない場合は、テスト セットを再度実行します。これにより、以前のテスト実行結果とは別のテスト実行結果が新しく生成されます。

再実行を行うことができる定義済みのユーザー ロールは、Test Manager、Test Executor、Manual Tester です。

テスト セットの実行を再実行する

1. [実行] に移動し、以下のいずれかを選択します。
   • 再実行するテスト実行の [その他のオプション] を選択します。
   • テスト実行を開いて [タスク] を選択します。
2. 以下のいずれかを選択します。
   • 手動で実行
   • 自動テストを実行
3. 手動ステップを実行するか、自動テスト セットが完了するまで待ちます。
   手記： テスト セットの実行を再実行した場合、アクティビティ カバレッジは表示されなくなりました。

テスト ケースの実行を再実行する

1 つ以上のテスト ケース実行を再実行できます。データ ドリブンなテスト ケースの場合、一度に再実行できるテスト ケース実行は 1 つだけです。データ ドリブンなテスト ケースの複数の実行を一括して実行することはできません。

注: テスト ケースの新しいバージョンをパブリッシュした場合でも、再実行するバージョンは、テスト実行に記録されたものと同じバージョンです。

1. [実行] に移動し、テスト セットの実行を開きます。
2. 1 つ以上のテスト ケース実行のチェックボックスをオンにしてから、[実行] を選択します。
3. 以下のいずれかを選択します。
   • 手動
   • 自動化済み
4. 手動ステップを実行するか、自動テスト ケースが完了するまで待機します。

自動化されたテストの実行のトラブルシューティング

パッケージが Orchestrator で見つからなかったため、自動実行を開始できませんでした。実行できるのは、Orchestrator にパブリッシュされたパッケージのテスト ケースのみです。

解決策

Studio パッケージを Orchestrator にパブリッシュする必要があります。この問題は、テスト ケースが Studio から Test Manager にリンクされていても、パッケージがまだ Orchestrator にパブリッシュされていない場合に発生します。

実行可能なバージョンが見つからなかったため、テスト ケースを実行できませんでした。実行できるのは、最新のパッケージ バージョンで Orchestrator にパブリッシュされたテスト ケースのみです。

解決策

この問題は、テスト セットのテスト ケースが、最新の Studio パッケージで Orchestrator にパブリッシュされていない場合に発生します。Orchestrator に Studio パッケージのプロセス/リリースがない場合にも、同じエラーが発生することがあります。

このテスト セットには自動化されたテスト ケースが存在しないため、自動実行を開始できませんでした。

解決策

[自動テストを実行] を使用するには、1 つ以上の自動化されたテスト ケースが存在する必要があります。詳しくは、「条件」をご覧ください。

テスト セットの実行中にエラーが発生しました。もう一度お試しください。

解決策

上記以外の何らかの理由でテスト セットの実行が失敗する場合は、UiPath サポート サービスに支援を依頼してください。