- Test Cloud の利用を開始する
- Test Cloud の組織を管理する
- Test Cloud を使用する
Test Cloud ユーザー ガイド
要件に合わせてテストを生成する
このページでは、Test Manager で AutopilotTM を使用して効果的なテスト ケースを生成するためのガイドラインとベスト プラクティスを示します。
このセクションでは、Test Manager の要件の主な特性について概説します。
要件には、多くの場合、機能面 (ソフトウェアが実行すべきこと)、パフォーマンス面 (動作速度)、ユーザビリティ (使いやすさ)、セキュリティ (動作の安全性) などの品質面に影響する特定の機能についての記述が含まれます。
AutopilotTM などの AI モデルで要件が正しく解釈されるようにするには、要件をより具体的に記述する必要があります。漠然とした曖昧な記述では、無関係な、または誤ったテスト ケースが生成される可能性があります。それを軽減するには、要件の目的の概要を説明した、簡潔でありながら正確な、ユーザーを中心に据えたステートメントから始めます。ユーザーに最終的なメリットをもたらすことを重視します。
例: 生命保険のアプリケーションの場合、次のように開始できます。
私は保険契約者になる可能性があるため、保険料を計算して、予想される費用を把握したいと思います。
これにより、ユーザーにとっての期待されるメリットが明らかになり、その要件をテストするための明確な目標が設定されます。
AutopilotTM が正確で詳細なテスト ステップを効率的に生成できるかどうかは、ユーザー ジャーニーとアプリケーション シーケンスの理解に大きく依存します。そのため、ユーザーがアプリケーションと行う具体的な操作と、その後のアプリケーションの応答 (アプリケーションの開始から最終的なテスト アクションまで) を詳細に記述することが重要です。これにより、 AutopilotTM は操作の時系列を把握し、より正確で詳細なテスト ステップを実行できるようになります。
例: 保険料の計算機能の場合、ワークフローを次のように記述します。
ユーザーはメイン画面から操作を開始し、メイン メニューから「見積もりを取得」画面に移動する。次に、年齢や性別などの個人データを指定されたフォーム フィールドに入力する。利用可能なオプションから希望の保険適用範囲と保険期間を選択する。ユーザーが「保険料を計算」をクリックすると、アプリケーションは保険料を計算して次の画面に表示する。
明確かつ測定可能な承認基準は、アプリケーションの期待値を設定し、AutopilotTM で特定の結果が検証されるようにするために不可欠です。これには、ユーザーが規定の使用法に従わない可能性がある場合、無効なデータが入力される可能性がある場合、アプリケーションがエラー状態になる可能性がある場合など、ポジティブ/ネガティブの両方のシナリオを含める必要があります。また、セキュリティ、使いやすさ、スケーラビリティなどの、機能以外の要因も考慮する必要があります。明確に定義された承認基準がないと、AutopilotTM で不適切なテスト ケースが生成される可能性があります。
例: 生命保険アプリケーションの保険料の計算機能については、次のいずれかの例のような具体的な承認基準を指定します。
- 「システムは、ユーザーの年齢を考慮して保険料を計算する必要があります。25歳を超える年ごとに、基本保険料の100ドルに5ドルの増分を追加する必要があります。
- 「この制度は、関連する健康リスクが高まるため、喫煙者の保険料を50ドル引き上げなければならない」。
- 「ユーザーが 18 歳未満の年齢を入力すると、システムはエラー メッセージを表示する必要があります。」
- 「同時ユーザー数が 1000 人以下の場合、プレミアムの計算プロセスは 3 秒以上かかるべきではありません」。
このセクションでは、AutopilotTM が考慮事項を念頭に置いてテスト ケースを生成できるようにするためのガイドラインを示します。
[ 追加ガイダンスを提供] 画面で追加の指示を入力して、 Autopilot TM をガイドします。のすぐに使えるプロンプトを使用します。このプロンプトは、フロー図からエンドツーエンドのテスト ケースを生成したり、有効なエンドツーエンドのシナリオのテストを生成したり、とらえどころのない問題を見つけるためのテストを生成したり、フロー ダイアグラムからエンドツーエンドのテストを生成したりするのに役立ちます。また、プロンプト ライブラリに独自のカスタム プロンプト (特に手動テスト用のテスト ケースの生成に頻繁に使用するプロンプト) を追加することもできます。
特定の数のテスト ケースを生成するには、「この要件に対して上位 20 個のテスト ケースを生成してください」のようなコマンドを使用して AutopilotTM に指示します。既定では、AutopilotTM は、各テスト ケース内の最後のテスト ステップで期待される結果のみを生成します。各テスト ステップで期待される結果を生成するには、「各テスト ステップで期待される結果を生成してください」という指示を使用します。さらに、AutopilotTM により、要求に応じて手動テスト用のテスト ケースの事前条件/事後条件を生成できます。事前条件と事後条件は既定では生成されないため、含める条件または除外する条件を指定してください。
このセクションでは、AutopilotTM に提供可能なサポート ドキュメントを示します。これらのドキュメントは、Test Manager の要件の説明を補足する追加情報です。これらのドキュメントは、Autopilot が要件をより深く理解し、要件に対してより正確で有用なテスト ケースを生成できるようにすることを目的としています。
アプリケーション内でのステップバイステップの操作を示すために、ユース ケース図、フローチャート、またはプロセス図を、画像または BPMN ファイルとして含めることを検討してください。プロセス図は、Autopilot が特定の要件を満たすうえで重要な、ユーザー アクティビティの連続した論理的なフローを把握するのに役立ちます。これらのプロセス表現に基づいて、Autopilot は、アプリケーションの実際のワークフローと厳密に一致した、より正確なテスト ケースを生成できます。
Autopilot が理解しやすくなるよう、UI/UX の要件を示す視覚的な図を追加することを検討してください。これは、新しいフロントエンド機能をテストするときに特に役立ち、レイアウト、ユーザー操作、およびテストする要素を明確に示すのに役立ちます。
医療、金融、電気通信などの規制対象の業界では、コンプライアンスおよび規制に関する文書を含めることを検討してください。これらのガイドラインは、多くの場合、Test Manager のさまざまな要件 (ユーザー ストーリーやユース ケースなど) に例外なく適用されます。これらの文書をアップロードすることで、Autopilot は、特定のコンプライアンス基準に直接リンクされているテスト ケースだけでなく、要件ごとに生成されるテスト ケースにコンプライアンス標準を統合できます。これにより、すべてのテスト ケースが業界の規制に準拠し、Autopilot によってテストされるすべての要件で一貫してコンプライアンスを遵守できます。
このセクションでは、AutopilotTM の現在の制限事項の概要を説明します。
Autopilot では、さまざまな種類のファイルを処理できます。ファイルの種類に応じて、その特定のコンテンツを処理できます。次のリストに、Autopilot に提供できるファイルの種類と、各種類で Autopilot が処理できるコンテンツの種類を示します。
- テキスト コンテンツのみを処理 – Autopilot は、次の種類のファイルのテキスト コンテンツのみを処理します。
- TXT
- BPMN
- CSV
- テキストと画像の両方のコンテンツを処理 – Autopilot は、次の種類のファイルのテキストと画像の両方を処理します。
- DOCX
- XLSX
- PNG
- JPG
Autopilot の入力トークン容量は 128,000 で、これは約 96,000 語、つまり 512,000 文字に相当します。
要件の説明とサポート ドキュメントがこれらの制限を超えないようにしてください。
ドキュメントのおおよそのトークン数を確認するには、ドキュメントを TXT ファイルとして開き、その内容を OpenAI トークナイザー ツールにコピーします。提供されるトークン数は概算です。実際のトークン数はもっと多くなる可能性があります。
