- 入门指南
- 项目管理
- 项目操作和实用程序
- Test Manager 设置
- ALM 工具集成
- API 集成
- 用于测试的编码智能体
- 故障排除
为 Test Manager 启用和配置 Insights 报告,以访问高级仪表板和分析测试结果。
先决条件
功能可用性取决于您使用的云平台。有关详细信息,请参阅Test Manager 功能可用性页面。
要启用 Insights 报告功能,请执行以下步骤:
- 在与 Test Manager 实例相同的租户上启用 Insights 服务。您需要 Automation Cloud 组织管理员角色才能启用服务。
- 在 Test Manager 中,激活“启用 Insights 报告”租户级设置。您需要Test Manager 管理员租户角色才能启用与 Insights 的集成。有关激活设置的更多信息,请访问租户级别设置。
概述
在 Test Manager 租户中启用 Insights 集成后,您将能够访问该租户中所有测试项目的分析。Insights 根据特定的数据模型从 Test Manager 检索数据,并通过Test Manager 执行报告预定义仪表板呈现。此仪表板概述了您的租户中的所有测试执行情况。
Insights 数据大约每 20 分钟刷新一次。此间隔是特意设计的(必须收集、处理和转换数据,以便在几秒钟内呈现报告),管理员或用户无法配置。
图 1.Test Manager 执行报告仪表板
当您使用 Insights 启用报告时,所有 Test Manager 项目中的数据都将上传到 Insights。因此,无论用户在 Test Manager 中的权限如何,只要其有权访问 Insights,便能够生成有关这些项目的报告。
数据模型
Insights 使用 Test Manager 中的测试用例日志生成可自定义的仪表板。有关 Insights 用于生成仪表板的数据模型的更多详细信息,请查看“Test Manager 数据模型”部分。
在 Test Manager 数据模型中,测试用例日志包含两种类型的结果:技术结果和功能结果。通常,这些结果是相同的,除非在执行过程中出现技术错误。技术错误可能包括基础架构中断、自动化错误或其他无法运行的触发因素。在这些场景中,技术结果都会将测试标记为失败。功能结果仅反映业务验证的结果。因此,如果出现错误,由于缺乏可靠的结果,它们表示“没有结果”。
基于自定义字段构建 Insights 仪表板
您可以根据与这些数据对象关联的自定义字段,为“需求”和“测试集”创建 Insights 仪表板。
您最多可以使用 5 个自定义字段选取器和 5 个维度。
- 登录到您的平台并导航到 Insights。
- 转到“仪表板” ,然后添加仪表板。
- 打开仪表板并选择“编辑仪表板” 。
- 将鼠标悬停在工具栏上,然后选择“添加” 。
图 2. “添加 Insights”仪表板
-
选择“可视化” 。
-
在“Test Manager”下,选择要为其创建仪表板的数据对象。例如,让我们选择“需求” 。
-
展开数据对象类别。在我们的示例中,展开需求。请注意,您最多可以有 5 个自定义字段选取器(在“仅筛选字段”下以“自定义字段选取器 1 ”形式列出,依此类推)和 5 个维度(在“维度”下以“自定义字段 1”形式列出)。5 个自定义字段选取器与 5 个自定义字段维度之间存在 1:1 对应关系。例如,自定义字段选取器 1对应于自定义字段 1 。
-
从“仅筛选字段”中,选择一个或多个自定义字段选取器。
图 3. 自定义字段选择
- 展开下拉列表,查看租户中数据对象的所有可用自定义字段。下面的示例显示了示例租户中可用的自定义字段,以满足要求。
图 4. 自定义字段值
-
为自定义字段选取器选择自定义字段值。
-
从“维度”中选择自定义字段。例如,选择自定义字段 1 、自定义字段 2和自定义字段 3 。
-
从 自定义字段筛选器中,选择所需的值。例如,选择名称和项目名称。
-
从“度量”中,选择所需的值。对于此示例,选择“测试用例总数” 。
-
您选择的值将显示在工作区编辑器的右侧。
图 5. 度量


15. 从工作区右上方选择“运行” 。
图 6.运行仪表板


16. 等待数据加载。数据可以多种格式可视化:表格、图形或图表。
-
(可选)对每列的数据进行排序。例如,按优先级对数据进行排序。
-
从工作区编辑器右上角,选择“保存” 。
-
选择铅笔图标,或在表名称内进行选择,为您的仪表板指定一个正式名称。在本示例中,我们将该仪表板命名为“Custom Field for Requirement”(需求自定义字段)。
-
通过拖动表格边缘调整表格大小。
-
从工具栏菜单中,为仪表板添加筛选条件。
-
选择“筛选器” > “添加筛选器” 。
-
为您的数据对象添加筛选器,在本例中为 需求。展开数据对象(需求),展开自定义字段筛选器然后选取一个选取器(例如,自定义字段筛选器选取器 1 )。
图 7. 筛选器


24.在“添加筛选器”对话框中,继续配置筛选器(标题、控件、默认值),然后选择“添加” 。在此示例中,我们选择了一个单选按钮。
图 8. 添加筛选器


25. 再次展开数据对象(要求),然后选取选取器值。在此示例中,我们选择了“自定义字段筛选器” > “自定义字段筛选器”1 。
图 9. 自定义字段筛选器


26.在“添加筛选器”对话框中,继续配置(标题、控件、筛选器选项),然后选择“添加” 。在本示例中,我们从“控件”字段中选择了“高级” ,而 是“配置默认值”字段中的任何值。
图 10. 筛选条件配置


27.在仪表板中,检查您添加的筛选条件。对于本示例,我们添加了“自定义字段筛选器选取器 1”和“自定义字段筛选器 1” 。在第一个筛选器下方,展开“为”菜单,选择一个值( “优先级”),然后选择“应用” 。在第二个筛选器下方,展开“任何值”菜单,选择一个运算符和一个值(包含“高”或“中” ),然后选择“应用” 。
图 11.筛选值


28. 选择工作区编辑器右上角的“刷新”按钮。
结果
已创建包含所选自定义字段、维度和筛选条件的 Insights 仪表板。该仪表板会显示所选测试对象的筛选数据,并可从 Insights 中访问。
Test Manager 数据模型
术语和概念
Test Manager 数据模型的结构基于以下概念:
| 概念 | 描述 |
|---|---|
| 探索 | 探索的起点。 数据通过“探索”显现,我们可以将其视为对应于其中字段的一般实体。 |
| 视图 | 视图表示数据表,无论该表是数据库原生的还是使用 Looker 的派生表功能创建的。 每个视图中都有字段定义,每个定义通常对应于基础表中的列或 Looker 中的计算。 |
| 维度 | 作为“探索”中视图的一部分,维度是一个可分组字段,可用于筛选查询结果。 它可以是以下值之一:
|
| 衡量 | 作为“探索”中视图的一部分,“度量”参数声明一个新度量(聚合)并指定该度量的名称。 integer 、 string 。 |
维度和度量
功能可用性取决于您使用的云平台。有关详细信息,请参阅Test Manager 功能可用性页面。
只有当通过 Test Cloud 交付时,Test Manager 中才提供“需求”、“测试集”和“测试执行”维度和度量。
测试用例日志
下表描述了测试用例日志的可用维度和度量。
| 维度 | 类型 | 描述 |
|---|---|---|
| 受分配人电子邮箱 | 字符串 | 测试用例分配到的用户的电子邮件地址。 |
| 自动化项目名称 | 字符串 | 链接到测试用例的自动化名称。 |
| 到期日期 | 日期 | 计划执行手动测试用例的日期。 |
| 执行开始时间 | 日期 | 测试执行的开始日期。 |
| 执行顺序 | 字符串 | 执行测试的用户名或机器人名称。 |
| 执行结束 | 日期 | 测试执行结束的日期。 |
| 执行类型 | 字符串 | 执行的类型:
|
| 主机名 | 字符串 | 计算机名称。 |
| 项目名称 | 字符串 | Test Manager 项目的名称。 |
| 项目前缀 | 字符串 | Test Manager 项目的前缀。 |
| 报告日期 | 日期 | 执行测试的日期。 这是一个不带时间也不带时区的日期。 |
| 结果 | 字符串 | 测试用例结果:“通过”、“失败”或“无”。 |
| 机器人名称 | 字符串 | 执行测试的机器人的名称。 |
| 测试执行名称 | 字符串 | 测试执行的名称。 |
表 2. 测试用例日志衡量指标
| 衡量指标 | 类型 | 描述 |
|---|---|---|
| 总计数 | 整数 | 测试用例日志的总数。 |
| 计数通过 | 字符串 | 通过的测试用例日志数。 |
| 计数失败(技术) | 整数 | 当执行期间发生异常时,技术结果会将结果指示为失败。 |
| 无结果计数(技术) | 整数 | 技术结果显示,执行期间发生异常时,不会产生任何结果。 |
| DurationInSeconds | 整数 | 总运行时间(以秒为单位)。 |
要求
下表描述了要求的可用维度和衡量指标。
表 3. 要求维度
| 维度 | 类型 | 描述 |
|---|---|---|
| 项目名称 | 字符串 | 项目名称和项目前缀的组合旨在使其具有唯一性并提高可读性。 |
| 名称 | 字符串 | 需求键及其名称的组合,旨在使其具有唯一性并提高可读性。 |
表 4. 要求衡量指标
| 衡量 | 类型 | 描述 |
|---|---|---|
| 测试用例总数 | 整数 | 分配给需求的测试用例数量。 |
| 自动测试用例计数 | 整数 | 分配给需求的自动化测试用例的数量。 |
| 手动测试用例计数 | 整数 | 分配给需求的手动测试用例数量。 |
| 通过的测试用例计数 | 整数 | 分配给需求并在最近一次测试运行中通过的测试用例数量。 |
| 失败的测试用例计数 | 整数 | 在最近的测试运行中分配给需求的测试用例数量。 |
| 无测试用例计数 | 整数 | 分配给需求但在最近的测试运行中没有结果的测试用例数量。 |
| 需求总数 | 整数 | 需求总数。 |
测试集
下表描述了测试集的可用维度和度量。
对于已分配的测试用例,测试集视图包含有关静态测试分配的信息。
表 5. 测试集维度
| 维度 | 类型 | 描述 |
|---|---|---|
| 项目名称 | 字符串 | 项目名称和项目前缀的组合旨在使其具有唯一性并提高可读性。 |
| 名称 | 字符串 | 项目名称和项目前缀的组合旨在使其具有唯一性并提高可读性。 |
| 机器人名称 | 字符串 | 执行测试集的机器人的名称。 |
| 来源 | 字符串 | 测试集的来源:Orchestrator 或 Test Manager。 |
表 6.测试集度量
| 衡量 | 类型 | 描述 |
|---|---|---|
| 测试集总数 | 整数 | 测试集的数量。 |
| 自动测试用例计数 | 字符串 | 测试集中自动化测试用例的数量。 |
| 手动测试用例计数 | 整数 | 测试集中的手动测试用例数量。 |
测试执行
下表描述了测试执行的可用维度和衡量指标。
表 7. 测试执行维度
| 维度 | 类型 | 描述 |
|---|---|---|
| 项目名称 | 字符串 | 项目前缀和名称的组合,以使其唯一并提高可读性。 |
| 名称 | 字符串 | 执行 ID 和名称的组合,用于确保其唯一并提高可读性。 |
| 测试集名称 | 字符串 | 测试集密钥和名称的组合,用于使其唯一并提高可读性。 |
| 执行类型 | 字符串 | 执行类型:“手动”、“自动”、“无”或“混合”。 |
| 来源 | 字符串 | 执行的来源:Test Manager、Orchestrator 或 Studio。 |
表 8.测试执行衡量指标
| 衡量 | 类型 |
|---|---|
| 测试执行总数 | 整数 |
| 手动执行类型计数 | 整数 |
| 自动执行类型计数 | 整数 |
| 混合执行类型计数 | 整数 |
| 测试执行的持续时间(秒) | 整数 |