- 基本情報
- プロジェクト管理
- ドキュメント
- 変更影響分析を使用する
- Test Cloud のアクセシビリティ テスト
- Autopilot で検索する
- プロジェクトの運用とユーティリティ
- Test Manager の設定
- ALM ツールとの連携
- API 連携
- トラブルシューティング
Test Manager ガイド
前提条件
利用可能な機能は、使用するクラウド プラットフォームによって異なります。詳しくは、「 Test Manager の利用可能な機能」をご覧ください。
Insights を使用したレポート作成を有効化するには、以下の手順を実行します。
- Test Manager インスタンスと同じテナントで Insights サービスを有効化します。 サービスを有効化するには、Automation Cloud の Organization Administrator のロールが必要です。
- Test Manager から、テナント レベルの設定 [Insights を使用したレポート作成を有効化] をアクティブ化します。 Insights との連携を有効化するには、Test Manager Administrator のテナント ロールが必要です。 設定のアクティブ化について詳しくは、「テナント レベルの設定」をご覧ください。
概要
Test Manager テナントで Insights との連携を有効化すると、そのテナント内のすべてのテスト プロジェクトの分析にアクセスできるようになります。Insights は特定のデータ モデルに基づいて Test Manager からデータを取得し、定義済みの [Test Manager 実行レポート] ダッシュボードにそのデータを表示します。このダッシュボードには、テナント内のすべてのテスト実行の概要が表示されます。
図 1. [Test Manager 実行レポート] ダッシュボード
Insights を使用したレポート作成を有効化すると、Test Manager のすべてのプロジェクトのデータが Insights にアップロードされます。そのため、Test Manager での権限を問わず、Insights へのアクセス権を持つすべてのユーザーが、これらのプロジェクトに関するレポートを生成できるようになります。
データ モデル
Insights は、Test Manager のテスト ケースのログを使用して、カスタマイズ可能なダッシュボードを生成します。Insights がダッシュボードの生成に使用するデータ モデルについて詳しくは、「Test Manager のデータ モデル」セクションをご覧ください。
Test Manager のデータ モデルでは、テスト ケース ログに「技術」と「機能」の 2 種類の結果が含まれます。実行中に技術的なエラーが発生しない限り、これらの結果は通常、同じです。技術的なエラーには、インフラストラクチャの中断、オートメーション エラー、またはその他のトリガーの不具合などがあります。これらのどのシナリオでも、技術的な結果の場合は、テストに「失敗」としてラベルが付けられます。機能的な結果は、業務上の検証結果を反映することのみが目的です。したがって、信頼できる結果がないためにエラーが発生した場合は、「結果なし」と示されます。
カスタム フィールドに基づいて Insights ダッシュボードを構築する
要件およびテスト セットのデータ オブジェクトに関連付けられたカスタム フィールドに基づいて、これらのデータ セットの Insights ダッシュボードを作成できます。
最大 5 つのカスタム フィールド セレクターと 5 つのディメンションを操作できます。
- プラットフォームにログインして Insights に移動します。
- [ ダッシュボード ] に移動してダッシュボードを追加します。
- ダッシュボードを開き、[ ダッシュボードを編集] を選択します。
- ツールバー上でホバーし、[ 追加] を選択します。
図 2.Insights のダッシュボードを追加
-
[ 可視化] を選択します。
-
[ Test Manager] で、ダッシュボードを作成するデータ オブジェクトを選択します。たとえば、[ 要件] を選択します。
-
[データ オブジェクト] カテゴリを展開します。この例では、[要件] を展開します。最大 5 つのカスタム フィールド セレクター ([フィルター専用フィールド] の下に [カスタム フィールド セレクター 1] などとしてリストされます) と 5 つのディメンション ([ディメンション] の下に [カスタム フィールド 1] などとしてリストされます) を持つことができます。5 つのカスタム フィールド セレクターと 5 つのカスタム フィールド ディメンションの間には、1 対 1 の対応があります。たとえば、[ カスタム フィールド セレクター 1 ] は [カスタム フィールド 1] に対応します。
-
[ フィルターのみのフィールド] から、1 つまたは複数のカスタム フィールド セレクターを選択します。
図 3.カスタム フィールドの選択
- ドロップダウンを展開すると、テナント内のデータ オブジェクトで使用可能なすべてのカスタム フィールドが表示されます。以下の例は、サンプル テナントで要件に応じて利用可能なカスタム フィールドを示しています。
図 4.カスタム フィールドの値
-
カスタム フィールド セレクターのカスタム フィールド値を選択します。
-
[ディメンション] からカスタム フィールドを選択します。たとえば、[ カスタム フィールド 1]、[ カスタム フィールド 2]、[ カスタム フィールド 3] を選択します。
-
[カスタム フィールド フィルター] から、必要な値を選択します。たとえば、[ 名前] と [ プロジェクト名] を選択します。
-
[ Measures] から必要な値を選択します。この例では、[ Total Test Case Count] を選択します。
-
選択した値がワークスペース エディターの右側に表示されます。
図 5.対策


15. ワークスペースの右上隅にある [ 実行] を選択します。
図 6.ダッシュボードを実行


16. データが読み込まれるまで待ちます。データは、表、グラフ、チャートなど、複数の形式で視覚化できます。
-
(オプション)列ごとにデータを並べ替えます。たとえば、データを優先度で並べ替えます。
-
ワークスペース エディターの右上隅にある [ 保存] を選択します。
-
鉛筆アイコンを選択するか、表名内をクリックして、ダッシュボードに正式な名前を付けます。この例では、ダッシュボードに「要件のカスタム フィールド」という名前を付けます。
-
表の端をドラッグして、表のサイズを変更します。
-
ツールバー メニューから、ダッシュボードのフィルターを追加します。
-
[ フィルター を追加] > [ フィルター] を選択します。
-
データ オブジェクトのフィルターを追加します。ここでは、[ 要件] です。データ オブジェクトを展開し ([要件])、 カスタム フィールド フィルターを展開し て、セレクターを選択します (例: カスタム フィールド フィルター セレクター 1)。
図 7.フィルター


24.[ フィルターを追加 ] ダイアログでフィルターの構成 (タイトル、コントロール、既定値) を続行し、[ 追加] を選択します。この例では、ラジオ ボタンを選択しました。
図 8.フィルターを追加


25. データ オブジェクト ([要件]) をもう一度展開し、セレクターの値を選択します。この例では、[ カスタム フィールド フィルター] > [ カスタム フィールド フィルター 1] を選択しました。
図 9.カスタム フィールド フィルター


26.[ フィルターを追加 ] ダイアログで構成 ([タイトル]、[コントロール]、[フィルター] オプション) を続行し、[ 追加] を選択します。この例では、[コントロール] フィールドから [高度な設定] を選択し、[既定値を設定] フィールドから [任意の値] を選択します。
図 10. フィルター条件


27.ダッシュボードで、追加したフィルターを確認します。この例では、[ カスタム フィールド フィルター セレクター 1 ] と [カスタム フィールド フィルター 1] を追加しました。最初のフィルターの下にある [ 次の 値] メニューを展開し、値 ([優先度]) を選択して [ 適用] を選択します。2 番目のフィルターの下にある [ 任意の値 ] メニューを展開し、演算子と値 ([高] または [中] を含む) を選択して、[ 適用] を選択します。
図 11.フィルター値


28. ワークスペース エディターの右上隅にある [ 更新 ] ボタンを選択します。
Test Manager のデータ モデル
用語と概念
Test Manager のデータ モデルの構造は、次の概念に基づいています。
| 概念 | 説明 |
|---|---|
| 探索 | 検索の出発点。 データは、Explore に表示されます。Explore は、その中のフィールドに対応する汎用エンティティと考えることができます。 |
| 表示 | ビューはデータのテーブルを表します。そのテーブルがデータベースにネイティブなものであるのか、それとも Looker の派生テーブル機能を使用して作成されているのかは関係ありません。 各ビュー内にはフィールド定義があり、それぞれのフィールド定義は通常、基になるテーブルの列または Looker の計算式に対応しています。 |
| Dimension | Explore 内のビューの一部である Dimension はグループ化可能なフィールドであり、クエリ結果のフィルター処理に使用できます。 Dimension は次のいずれかです。
|
| Measure | Explore 内のビューの一部である Measure パラメーターは、新しい Measure (集計) を宣言し、その Measure の名前を指定します。 integer 、string |
Dimension と Measure
利用可能な機能は、使用するクラウド プラットフォームによって異なります。詳しくは、「 Test Manager の利用可能な機能」をご覧ください。
要件、テスト セット、テスト実行の Dimension と Measure は、Test Cloud 経由で提供される場合にのみ、Test Manager で使用できます。
テスト ケースのログ
次の表で、テスト ケースのログで利用可能な Dimension と Measure について説明します。
| Dimension | 入力 | 説明 |
|---|---|---|
| 担当者のメール アドレス | string | テスト ケースが割り当てられたユーザーのメール アドレスです。 |
| オートメーション プロジェクト名 | string | テスト ケースにリンクされているオートメーションの名前です。 |
| 期限日 | Date | 手動テスト用のテスト ケースがスケジュールされた日付です。 |
| 実行開始日時 | Date | テスト実行が開始された日付です。 |
| 実行者 | string | テストを実行したユーザー名またはロボット名です。 |
| Execution End | Date | テスト実行が終了した日付です。 |
| 実行の種類 | string | 実行の種類です。
|
| ホスト マシン名 | string | マシンの名前です。 |
| プロジェクト名 | string | Test Manager プロジェクトの名前です。 |
| プロジェクトのプレフィックス | string | Test Manager プロジェクトのプレフィックスです。 |
| レポートの日付 | Date | テストが実行された日付です。 これは、時刻もタイムゾーンもない日付です。 |
| 結果 | string | テスト ケースの結果: [合格]、[失敗]、または [なし] |
| ロボット名 | string | テストを実行したロボットの名前です。 |
| テスト実行名 | string | テスト実行の名前。 |
表 2.テスト ケース ログの評価
| Measure | 入力 | 説明 |
|---|---|---|
| 合計数 | integer | テスト ケースのログの総数です。 |
| 成功回数 | string | 成功したテスト ケースのログの数です。 |
| 失敗回数 (技術的問題) | integer | 実行中に例外が発生した場合、技術的な結果では結果が 「失敗 」として示されます。 |
| 結果の回数なし (技術的問題) | integer | 技術的な結果では、実行中に例外が発生しても 結果が示されません 。 |
| 期間 (秒) | integer | 合計実行時間 (秒単位) です。 |
要件
次の表で、要件で利用可能な Dimension と Measure について説明します。
表 3. 要件の Dimension
| Dimension | 入力 | 説明 |
|---|---|---|
| プロジェクト名 | string | 名前を一意にし、読みやすくするために、プロジェクト名とプロジェクトのプレフィックスを組み合わせています。 |
| 名前 | string | 名前を一意にし、読みやすくするために、要件のキーとその名前を組み合わせています。 |
表 4. 要件の Measure
| Measure | 入力 | 説明 |
|---|---|---|
| テスト ケースの合計数 | integer | 要件に割り当てられているテスト ケースの数です。 |
| 自動テスト ケースの数 | integer | 要件に割り当てられている自動テスト ケースの数です。 |
| 手動テスト ケースの数 | integer | 要件に割り当てられている手動テスト用のテスト ケースの数です。 |
| 合格したテスト ケースの数 | integer | 要件に割り当てられているテスト ケースのうち、最新のテスト実行で合格したテスト ケースの数です。 |
| 失敗したテスト ケースの数 | integer | 要件に割り当てられているテスト ケースのうち、最新のテスト実行で失敗したテスト ケースの数です。 |
| 「なし」のテスト ケースの数 | integer | 要件に割り当てられているテスト ケースのうち、最新のテスト実行の結果がないテスト ケースの数です。 |
| 要件の合計数 | integer | 要件の合計数です。 |
テスト セット
次の表で、テスト セットで利用可能な Dimension と Measure について説明します。
割り当てられたテスト ケースの場合、テスト セット ビューには静的なテストの割り当てに関する情報が含まれます。
表 5. テスト セットの Dimension
| Dimension | 入力 | 説明 |
|---|---|---|
| プロジェクト名 | string | 名前を一意にし、読みやすくするために、プロジェクト名とプロジェクトのプレフィックスを組み合わせています。 |
| 名前 | string | 名前を一意にし、読みやすくするために、プロジェクト名とプロジェクトのプレフィックスを組み合わせています。 |
| ロボット名 | string | テスト セットを実行したロボットの名前です。 |
| ソース | string | テスト セットのソースです (Orchestrator または Test Manager)。 |
表 6.テスト セットの Measure
| Measure | 入力 | 説明 |
|---|---|---|
| テスト セットの合計数 | integer | テスト セットの数です。 |
| 自動テスト ケースの数 | string | テスト セットに含まれる自動化されたテスト ケースの数です。 |
| 手動テスト ケースの数 | integer | テスト セットに含まれる手動テスト用のテスト ケースの数です。 |
テスト実行
次の表で、テスト実行で利用可能な Dimension と Measure について説明します。
表 7. テスト実行の Dimension
| Dimension | 入力 | 説明 |
|---|---|---|
| プロジェクト名 | string | 名前を一意にし、読みやすくするために、プロジェクトのプレフィックスと名前を組み合わせています。 |
| 名前 | string | 名前を一意にし、読みやすくするために、実行 ID と名前を組み合わせています。 |
| テスト セット名 | string | 名前を一意にし、読みやすくするために、テスト セットのキーと名前を組み合わせています。 |
| 実行の種類 | string | 実行の種類です (手動、自動、混合)。 |
| ソース | string | 実行のソースです (TestManager、Orchestrator、または Studio)。 |
表 8. テスト実行の Measure
| Measure | 入力 |
|---|---|
| テスト実行の合計数 | integer |
| 手動の実行の数 | integer |
| 自動の実行の数 | integer |
| 混合の実行の数 | integer |
| テストの実行時間 (秒単位) | integer |