Generate tests for requirements

重要:

この機能は現在、監査プロセスの一部であり、レビューが完了するまで FedRAMP 承認の一部とは見なされません。現在レビュー中の機能の完全なリストについては、こちらをご覧ください。

This page lists guidelines and best practices to effectively generate test cases using Autopilot^TM in Test Manager.

要件の説明

このセクションでは、Test Manager の要件の主な特性について概説します。

要件には、多くの場合、機能面 (ソフトウェアが実行すべきこと)、パフォーマンス面 (動作速度)、ユーザビリティ (使いやすさ)、セキュリティ (動作の安全性) などの品質面に影響する特定の機能についての記述が含まれます。

1. 要件の目的

AI models, such as Autopilot^TM, rely on specificity for correctly interpreting requirements. Broad or vague descriptions might lead to irrelevant, or incorrect test cases. To mitigate this, start with a concise, yet precise user-focused statement that outlines the requirement's purpose. Focus on enforcing the ultimate benefit to the user.

例: 生命保険のアプリケーションの場合、次のように開始できます。

私は保険契約者になる可能性があるため、保険料を計算して、予想される費用を把握したいと思います。

これにより、ユーザーにとっての期待されるメリットが明らかになり、その要件をテストするための明確な目標が設定されます。

2. アプリケーションロジック

The efficiency of Autopilot^TM in generating accurate and detailed test steps largely depends on its understanding of the user journey and application sequence. So, it's crucial to detail the specific interactions that the user will have with the application and the subsequent application responses (from the start of the application up to the final test action) is key. This helps Autopilot^TM understand the chronological order of operations, leading to more accurate and detailed test steps.

例: 保険料の計算機能の場合、ワークフローを次のように記述します。

ユーザーはメイン画面から操作を開始し、メインメニューから「見積もりを取得」画面に移動する。次に、年齢や性別などの個人データを指定されたフォームフィールドに入力する。利用可能なオプションから希望の保険適用範囲と保険期間を選択する。ユーザーが「保険料を計算」をクリックすると、アプリケーションは保険料を計算して次の画面に表示する。

3. 承認基準

Clear, measurable acceptance criteria are vital for setting application expectations and guiding Autopilot^TM to verify specific outcomes. They should encompass both positive and negative scenarios, including situations where users may not follow prescribed usage, may input invalid data, or when the application may reach an error state. Criteria should also consider non-functional factors like security, usability, and scalability. Without well-defined acceptance criteria, Autopilot^TM might generate inadequate test cases.

例: 生命保険アプリケーションの保険料の計算機能については、次のいずれかの例のような具体的な承認基準を指定します。

システムは、ユーザーの年齢を考慮して保険料を計算する必要がある。25 歳を超えたら毎年、基本保険料 100 ドルに 5 ドルずつ追加する必要がある。
システムは、関連する健康リスクの増加に伴い、喫煙者の保険料を 50 ドル引き上げる必要がある。
ユーザーが 18 歳未満の年齢を入力した場合、システムはエラーメッセージを表示する必要がある。
同時接続ユーザー数が 1000 以下の場合、保険料計算プロセスは 3 秒を超えてはならない。

追加の指示

This section provides guidelines so you can allow Autopilot^TM to focus on aspects that should be considered when generating test cases.

Guide Autopilot^TM by providing additional instructions in the Provide Additional Guidance screen. Use the out-of-the-box prompts from the Prompt Library, which help generate end-to-end test cases from flow diagrams, generate tests for valid end-to-end scenarios, generate tests to find elusive issues, generate end-to-end tests from flow diagrams, and generate tests to find elusive issues. You can also add your own custom prompts to the Prompt Library, especially those you frequently use for manual test case generation.

To generate a specific number of test cases, instruct Autopilot^TM with commands like "Generate the top 20 test cases for this requirement." By default, Autopilot^TM generates expected results only for the final test step in each test case. To generate expected results for each test step, use "Generate expected results for each test step". Additionally, Autopilot^TM can generate preconditions and/or postconditions for manual test cases upon request. Specify what to include or exclude, as the preconditions and postconditions are not generated by default.

サポートドキュメント

This section lists supporting documents you can provide to Autopilot^TM. These documents are additional information that complement the description of a requirement in Test Manager. These documents are intended to enhance the understanding of Autopilot about a requirement, enabling it to generate more accurate and useful test cases for a requirement.

プロセス図

アプリケーション内でのステップバイステップの操作を示すために、ユースケース図、フローチャート、またはプロセス図を、画像または BPMN ファイルとして含めることを検討してください。プロセス図は、Autopilot が特定の要件を満たすうえで重要な、ユーザーアクティビティの連続した論理的なフローを把握するのに役立ちます。これらのプロセス表現に基づいて、Autopilot は、アプリケーションの実際のワークフローと厳密に一致した、より正確なテストケースを生成できます。

モックアップとワイヤーフレーム

Autopilot が理解しやすくなるよう、UI/UX の要件を示す視覚的な図を追加することを検討してください。これは、新しいフロントエンド機能をテストするときに特に役立ち、レイアウト、ユーザー操作、およびテストする要素を明確に示すのに役立ちます。

コンプライアンス文書

In regulated industries such as healthcare, finance, or telecommunications, consider including compliance and regulatory documents. These guidelines often apply universally across various requirements (for example: user stories or use cases) in Test Manager. By uploading these documents, you enable Autopilot to integrate compliance standards into the test cases it generates for each requirement, not just those directly linked to specific compliance criteria. This approach ensures that all test cases adhere to industry regulations and that compliance is consistently addressed across all requirements tested by Autopilot.

ディスカッションの記録

特定の要件に関する議論の記録を含めることを検討してください。開発者、製品の所有者、およびテスターが関与するオンラインプラットフォームを使用した会議または仮想セッションの記録などです。議論の記録は、チームメンバーが要件をどのように解釈しているか、または要件の実装をどう計画しているかに関する洞察と、生成されるテストケースの精度を大幅に向上させることができるコンテキストを Autopilot に提供します。