テスト オートメーションの失敗を分析する

Delegate を使用して、根本原因の特定や Jira の不具合のログからステークホルダーのレポートまで、エンドツーエンドのテスト失敗分析を自動化します。

テスト オートメーションの失敗を分析する

Delegate はテスト Analyst Assistant として機能できます。

Delegate を使用すると、エンドツーエンドのテスト失敗分析、根本原因の特定、ステークホルダーのレポートを自動化できます。

• エンドツーエンドのテスト オートメーション

Delegate は、単一のテスト ケースの実行にとどまらず、完全なテスト ワークフローをオーケストレーションします。テスト セット全体の分析、失敗の特定、診断ログのプル、複数のシステムにわたるデータの調整、不具合チケットの作成、サマリー レポートの提供をすべて、1 つの自然言語要求から行うことができます。

• 外部ツールとの連携

Delegate は、Test Manager 以外の外部アプリケーションやシステムと対話できます。Accrual Bank に Accrual Bank アプリと Accrual Bank Test Data Viewer アプリがあるとします。Delegate は両方のアプリにアクセスして、予想されるデータと実際のデータを照合したり、特定された問題に対して Jira バグ チケットを作成したり、Microsoft Outlook 経由で要約メールを送信したりできます。これらの連携により、 Delegate はテスト実行者から完全なテスト運用プラットフォームへと変わります。

• ルーチンの作成とスケジュール設定

複雑なワークフローが正常に実行された後、 Delegate はそれを再利用可能なルーチンとして保存できます。ルーチンは、ステップ、判断、および統合のシーケンス全体をキャプチャして、オンデマンドで再生したり、定義された間隔 (例: 24 時間ごと) で自動的に実行されるようにスケジュールしたりできます。これにより、手動での介入なしに継続的なテストが可能になります。

前提条件

• 「 最初のテスト ケースをセットアップして実行する 」のワンタイム設定を完了します。
• UiPath Test Manager でプロジェクト所有者または Test Manager のロールを持っている。
• チケットを作成するために、 Delegate で Jira 資格情報を設定しました。
• メール配信用に Microsoft Outlook を設定しました。
• 必要なアプリ (Accrual Bank Test Data Viewer アプリなど) がインストールされ、アクセスできるようになります。
• ユース ケースを定義しました。

Accrual Bank runs a suite of 15 automated and manual test cases every 24 hours to validate its loan processing operations. These tests cover loan application submission, approval workflow, interest calculation, repayment scheduling, and compliance reporting. When tests fail, the QA team must quickly identify root causes, reconcile data, log defects, and inform stakeholders. A report must be sent to the QA lead.

使い方

手順 1 — Test Manager のテスト セットにアクセスする

Open Delegate and describe the test set you want to analyze.たとえば、「Test Manager でローン業務のテスト セットを確認し、過去 24 時間に失敗したテストを教えてください」とします。Delegate は Test Manager に接続し、指定したテスト セットを見つけて、最新の実行結果を取得します。

手順 2 — 実行結果を分析する

Delegate : 実行結果をフィルター処理して、失敗したテスト ケースを特定します。Delegate は、成功したテストと失敗したテストの数、および失敗したケースの名前と ID を示す概要を表示します。For each failure, Delegate extracts the error message, stack trace (if available), and execution timestamp.

手順 3 — 失敗したテストのログをプルする

Delegate は、失敗した各テスト ケースの詳細な実行ログをダウンロードします。ログには、ステップごとの実行トレース、変数値、スクリーンショットの参照、例外の詳細が含まれます。ログは、さらなる分析と照合のためにローカルに保存されます。

手順 4 — テスト データ ビューアーでデータを調整する

Delegate は Accrual Bank Test Data Viewer アプリケーションを開き、実際のテスト実行データを予想されるベースライン データと比較します。Delegate は、レコードの欠落、値の誤り、データ同期の問題などの不一致を特定します。各不一致は、期待値、実際値、および重大度の評価とともに文書化されます。

ステップ 5 — Jira チケットを作成する

検証された不一致ごとに、 Delegate は Jira バグ チケットを自動的に作成します。チケットには、タイトル、説明、再現する手順、重要度、および Test Manager 実行ログとテスト データ ビューアーの比較スクリーンショットへのリンクが含まれます。Delegate は、影響を受けるコンポーネントに基づいて、適切な開発チームにチケットを割り当てます。

手順 6 — 概要レポートを送信する

Delegate が包括的な概要メールを作成し、Outlook 経由で QA リーダーに送信します。このレポートには、実行されたテストの合計数、成功/失敗の内訳、根本原因分析を含む失敗したテストのリスト、Jira チケットの参照、および次のステップの推奨事項が含まれます。

手順 7 — ルーチンを作成してスケジュールする

ワークフローが検証されたら、それをルーチンとして保存するよう Delegate に指示します。たとえば、「これを毎日のローン小切手というルーチンとして保存し、毎日午前 8 時に実行するようにスケジュールしてください」とします。

Delegate は、ルーチンをライブラリに格納し、スケジュールを構成します。ルーチンは自動的に実行され、人間の介入なしに完全な分析サイクルが実行されます。

期待される成果

• 毎日のテスト分析が完全に自動化され、手作業を 2 〜 3 時間からゼロに短縮します。
• すべてのテスト失敗は、詳細なログとスクリーンショットとともに Test Manager に記録されます。
• Jira チケットは障害検出から数分以内に作成されるため、不具合の解決が迅速化されます。
• 関係者は、アクショナブル インサイトを含む概要メールをタイムリーに受信します。
• このルーチンは 24 時間ごとに自律的に実行され、継続的な品質監視を保証します。

事後条件

一連のステップをルーチンに変換するように Delegate に依頼します。ルーチンを保存し、特定の日付または一定の間隔内で実行するようにスケジュールします。