- スタート アップ ガイド
- ベスト プラクティス
- データ プライバシー
- Autopilot のチャット
- オートメーションを生成する
- テストを生成する
- Autopilot for Everyone
要件の評価、テストの生成、テキストからコードへの変換、テスト データ、結果の分析にわたる Autopilot for Testers のガイダンスと制限事項。
Autopilot は、テスト ライフサイクル全体でタスクを自動化し強化するのに役立ちます。以下のベスト プラクティスと制限事項は、Autopilot for Testers の精度と使いやすさを向上させるのに役立ちます。機能別に整理されています。
要件の評価、手動テストの生成、およびテスト結果の分析は、Test Manager に適用されます。デリバリー モデルの完全な内訳については、「 Test Manager の機能の可用性」をご覧ください。テキストをコードに変換する、手動テストを自動化する、およびテスト データを生成するは Studio に適用されますが、以下のバージョン要件が適用されます。
要件の評価
Autopilot は、要件の品質を評価し、機能強化を提案します。次のガイドラインに従うことで、これらの評価の妥当性と精度が向上します。
- 明確で完全な要件と測定可能な承認基準があれば、より正確な評価が生成されます。
- セキュリティ チェックやパフォーマンス チェックなど、焦点を絞った評価を行うと、より関連性の高い提案が返されます。
- ガイドラインや仕様などのサポート ファイルによって、Autopilot に追加のコンテキストを提供できます。
追加の指示
[ 追加指示を出す ] 画面に追加の指示を入力して、評価の指針を立てることができます。
プロンプト ライブラリには、パフォーマンス関連の側面、セキュリティ関連の側面、一貫性、明確性、完全性などの観点から要件を分析する、すぐに使えるプロンプトが用意されています。また、頻繁に評価するソフトウェア品質属性のプロンプト ライブラリに独自のカスタム プロンプトを追加して、チーム全体の評価を標準化することもできます。
Autopilot が返す品質強化提案の数を制御するには、指示にその数を含めます。例: 「この要件に対して品質向上のための提案の上位 20 個を生成し、優先度でランク付けしてください」
サポート ドキュメント
サポート ドキュメントは、追加情報で要件の説明を補完します。Autopilot は、要件を形成および評価する際に、要件の説明とそのサポート ドキュメントの両方を考慮し、ドキュメント自体の機能強化を提案します。
- セキュリティ ガイドライン — セキュリティ ガイドライン、ポリシー ドキュメント、またはセキュリティ監査の結果です。Autopilot は、ドキュメント内の不整合や、要件記述のセキュリティ面と照合して確認します。
- アクセシビリティ ガイドライン — アクセシビリティ ガイドライン、監査レポート、またはユーザー アクセシビリティの仕様です。Autopilot は、要件の説明のアクセシビリティ基準と照合します。
- コンプライアンス チェックリスト — コンプライアンス チェックリスト、規制の概要、または業界のコンプライアンス要件です。Autopilot は、要件の説明のコンプライアンス基準と照合して、規制遵守のギャップを特定します。
機能制限
サポートされているファイルの種類
以下の形式でファイルをアップロードできます。
- テキスト コンテンツのみを処理 – TXT、BPMN、CSV
- テキストと画像コンテンツの両方を処理 – DOCX、XLSX、PNG、JPG、PDF
入力トークンの容量
Autopilot の入力トークンの容量は 128,000 トークンで、約 96,000 単語 (512,000 文字) に相当します。要件の説明とサポート ドキュメントはこの制限内に収めてください。これは製品レベルの制限であり、基になるモデルのコンテキスト ウィンドウおよび出力トークンの制限とは別です。これらについては、「 サポートされるモデルと制限事項」をご覧ください。
概算として、100 トークンは約 75 単語または 400 文字に相当します。
ドキュメントのトークン数を推定するには、ドキュメントを TXT ファイルとして保存し、その内容を OpenAI トークナイザー ツールに貼り付けます。結果は概算であり、実際の数はもっと多くなる可能性があります。
提案の生成
Autopilot は一度に最大 50 件の提案を生成します。数値を指定しない場合、Autopilot は上位 15 件の提案を生成します。
手動テストの生成
Autopilot は、要件やサポート ドキュメントから手動テスト用のテスト ケースとテスト ステップを生成します。テストの品質は、指定する要件の品質に大きく依存します。
要件の説明
整形式の要件には、その目的、アプリケーション ロジック、および明確な承認基準が記述されます。要件は、多くの場合、機能、パフォーマンス、使いやすさ、セキュリティなどの品質面に関連しています。
要件の目的
Autopilot は特異性に依存しています。漠然とした曖昧な記述では、無関係なテスト ケースや誤ったテスト ケースが生成される可能性があります。ユーザーにとってのメリットを強調した、要件の目的について、ユーザーを中心に簡潔に説明することから始めます。
例: 「潜在的な保険契約者として、潜在的な費用を理解できるように保険料を計算したいと思います。」
アプリケーション ロジック
生成されるテスト ステップの精度は、Autopilot がユーザー ジャーニーとアプリケーション シーケンスをどの程度理解しているかによって異なります。フローの開始から最終的なテストの実施まで、ユーザーがアプリケーションに対して行った具体的な操作とアプリケーションの応答を記述します。
例: 「ユーザーはメイン画面から開始し、メイン メニューから [見積を取得] 画面に移動します。年齢や性別などの個人データを入力し、希望する保険の補償範囲と保険契約期間を選択します。「保険料の計算」を選択すると、保険料が計算され、次の画面に表示されます。」
承認基準
明確かつ測定可能な承認基準により、Autopilot が特定の結果を検証できるようにします。ポジティブ/ネガティブの両方のシナリオをカバーします。無効な入力やエラーの状態、およびセキュリティ、使いやすさ、スケーラビリティなどの機能以外の要因などです。承認基準がないと、Autopilot で不適切なテスト ケースが生成される可能性があります。
例:
- システムはユーザーの年齢に基づいて保険料を計算します。25歳を超えたら毎年、基本保険料100ドルに5ドルが加算されます。」
- 「このシステムは、関連する健康リスクが高いため、喫煙者の保険料を 50 ドル引き上げます。」
- ユーザーが 18 歳未満の年齢を入力すると、エラー メッセージが表示されます。」
- 「同時接続ユーザー数が 1,000 人以下の場合、保険料の計算は 3 秒以内に完了します。」
追加の指示
[ 追加指示を出す ] 画面に追加の指示を入力して、生成にフォーカスを当てることができます。
プロンプト ライブラリには、フロー ダイアグラムからエンドツーエンドのテスト ケースを生成したり、有効なエンドツーエンドのシナリオのテストを生成したり、わかりにくい問題が表面化するテストを生成したりできる、すぐに使えるプロンプトが用意されています。また、頻繁に生成するシナリオ用の独自のカスタム プロンプトを追加することもできます。
既定では、Autopilot は次のような動作でテスト ケースを生成します。
- 期待される結果は、各テスト ケース内の最後のテスト ステップでのみ生成されます。すべてのステップで期待される結果を生成するには、「各テスト ステップで期待される結果を生成してください」などの指示を含めます。
- 事前条件と事後条件は、要求があった場合にのみ生成されます。どちらも既定では生成されないため、含める内容を指定してください。
- テスト ケースの数は固定されているわけではありません。テスト ケースの数を制御するには、指示に数を含めます (例: 「この要件に対して上位 20 個のテスト ケースを生成してください」)。
サポート ドキュメント
サポート ドキュメントは要件の説明を補完し、Autopilot がより正確なテスト ケースを生成するのに役立ちます。
- プロセス図 — ユース ケース図、フローチャート、プロセス図を、画像または BPMN ファイルとして表します。これらは、Autopilot がユーザー アクティビティの連続した論理的なフローを追跡するのに役立ちます。
- モックアップとワイヤーフレーム — UI/UX 要件の視覚的なダイアグラムです。レイアウト、ユーザー操作、テストする要素が明確になり、新しいフロントエンド機能をテストする際に役立ちます。
- コンプライアンス ドキュメント — 医療、金融、電気通信などの規制対象業界向けのコンプライアンスおよび規制に関するドキュメントです。Autopilot は、特定のコンプライアンス基準にリンクされているテスト ケースだけでなく、生成されるすべてのテスト ケースにこれらの標準を統合します。
- ディスカッションのトランスクリプト — 開発者、製品所有者、テスターの間での要件の議論のトランスクリプトです。チームが要件をどのように解釈するか、または実装する計画を伝えます。
機能制限
サポートされているファイルの種類
以下の形式でファイルをアップロードできます。
- テキスト コンテンツのみを処理 – TXT、BPMN、CSV
- テキストと画像コンテンツの両方を処理 – DOCX、XLSX、PNG、JPG、PDF
入力トークンの容量
Autopilot の入力トークンの容量は 128,000 トークンで、約 96,000 単語 (512,000 文字) に相当します。要件の説明とサポート ドキュメントはこの制限内に収めてください。これは製品レベルの制限であり、基になるモデルのコンテキスト ウィンドウおよび出力トークンの制限とは別です。これらについては、「 サポートされているモデルと制限事項」をご覧ください。トークン数を見積もるには、「 要件の評価」に記載されているトークナイザーのガイダンスを使用します。
テスト ケースの生成
Autopilot は一度に最大 50 個のテスト ケースを生成します。数値を指定しない場合、Autopilot は 10 個のテスト ケースを生成します。
テキストをコードに変換する
Autopilot は、Studio のコード化されたオートメーション内で自然言語のプロンプトをコードに変換します。プロンプトをコードに変換するには、コード化されたオートメーションのコンテキスト メニューの [ コードを生成 ] アクションを使用します。Autopilot は、C# コードの生成、既存のコードのリファクタリング、UiPath オートメーションの生成が可能です。利用可能な方法については、「 コードを生成する」をご覧ください。
テキストをコードに変換するには、v2024.10.1 以降の Studio を使用します。
より良い結果を得るには:
- 言語と目標を指定します (例: 「この C# メソッドをリファクタリングしてください」)
- 短く直接的なプロンプトにする
プロンプトの例
- 以下のメソッドをリファクタリングして、パフォーマンスを上げてください。
- 「入力パラメーター 'string1' と 'string2' を使用して、2 つの文字列の類似性を比較するメソッドを作成してください。」
- 「[製品] を選択します。」
- Orchestrator でジョブ「myDemoJob」を実行してください。
手動テストを自動化する
Studio を Test Manager にリンクすると、デスクトップ版の Studio の [テスト エクスプローラー] に、Test Manager プロジェクト内のすべてのテスト ケース (自動および手動の両方) が表示されます。Autopilot は、手動テスト用のテスト ケースを自動テスト ケースに変換します。方法については、「 手動テスト ケースからコード化されたテスト ケースを作成する」 および「 手動テスト ケースからローコードのテスト ケースを作成する」をご覧ください。
手動テストを自動化するには、v2024.10.1 以降のデスクトップ版の Studio を使用します。
一貫性のあるオブジェクト リポジトリを準備する
Autopilot は、UI Automation を使用して、手動テスト ステップを自動化されたステップに変換します。テスト対象の UI 要素を参照するには、Autopilot に各要素のオブジェクト リポジトリ参照が必要です。手動テスト ステップとオブジェクト リポジトリで同じコントロール名を使用します。
たとえば、「[ローン申請書を提出] を選択」という手動ステップの場合、Autopilot は [選択] アクティビティを生成し、[ ローン申請書を提出] という名前のオブジェクト リポジトリ要素を検索します。コントロール名に一貫性があると、変換がスムーズになります。
一般的なアクティビティ名を使用する
「Type 'john.doe@gmail.com」などの一般的な手動テスト ステップ「メール」フィールド」に、アクション (「入力」、文字を 入力 アクティビティとして認識)、データ (「john.doe@gmail.com」)、およびターゲット (「メール」、オブジェクト リポジトリの要素として認識) が含まれます。
次の表に、使用する手動ステップ動詞と、それらがマッピングする Studio アクティビティとコード化されたオートメーション API を示します。
フォーム入力を自動化する
データ入力が必要なフォームの場合は、「Fill Form (フォームを入力)」キーワードを使用して、Autopilot で自動化します。
この機能は、コード化されたテスト ケースを生成する場合にのみ使用できます。
たとえば、「Fill the form on the screen named 'myFormScreen' with the following values: Email: 'john.doe@gmail.com'ローン金額: '10000'、ローン期間: '3'」 Autopilot は、コード化されたオートメーション内で「Fill Form (フォームを入力)」コマンドを実行し、フォーム内で識別されたコントロール全体に値を入力します。
テスト データを生成する
Autopilot は、テスト ケース用の合成テスト データを生成します。テスト データの管理にはテスト作業の最大 50% が費やされる可能性があるため、時間を大幅に節約できます。
合成テスト データを生成するには、v2024.10.1 以降のデスクトップ版の Studio を使用します。
データ フィールドの引数を作成する
テスト データを生成する際、Autopilot はワークフロー内の既存の引数をプロンプトの指示と併せて考慮し、テスト ケース内で高いカバレッジを目指します。可能な場合は、ローカル変数や固定文字列値の代わりに引数を使用し、生成されるデータがワークフローの動的な要件に合致するようにします。
データの組み合わせ方法を選択する
既定では、Autopilot はコードまたはアクティビティのカバレッジが高いことを目指して、約 10 件のデータ レコードを生成します。テスト戦略で特定のアルゴリズム (ペアワイズや全組み合わせなど) が必要な場合は、そのアルゴリズムをプロンプトに含めます (例: 「すべての引数に対してテスト データを生成し、データ フィールドをペアごとに結合してください」)
データセットをカスタマイズする
特定の数のレコードを生成するや追加のフィールドを含めるなど、他のタスクを実行するよう Autopilot に指示できます。以下に例を示します。
- 最低 25 件のデータ レコードを生成してください。
- データセットに「Country」フィールドを含め、各レコードに個別の国の値を割り当ててください。
テスト結果を分析する
Autopilot は、不合格のテスト ケースに関するインサイトと、テスト ポートフォリオ全体の不合格率を下げるための推奨事項を示します。レポートの生成時に含めるテスト結果、特に不合格のテスト ケースを多く含めることで、インサイトがより効果的になります。その目的は、テストが不合格になる主な原因を理解することです。
各レポート セクションには、テスト結果の 1 つの領域が記載されています。
- よくあるエラー — 類似のエラー メッセージを意味的にグループ化して、最も頻繁に発生する問題を強調表示します。
- エラー パターン — 不合格だったテスト ケースをより広範なテーマに分類し、繰り返し発生する問題や体系的な問題を明らかにします。
- 推奨事項 — テスト実行を安定化するための次のステップをガイドするための実用的な推奨事項を提供します。