Test Suite 用户指南
测试结果
当您开始执行测试集时,Test Manager 将经历以下过程:
- 系统将在 Test Manager 的“测试结果”部分中创建测试执行。这将用作测试结果的容器。
- 对于已执行的测试集中的每个测试用例,都会生成一个空的测试用例日志。此日志会附加到测试执行,并将保存其关联的测试结果。
- 随着执行的继续,Test Manager 会在每个测试用例日志中填充结果和相关日志信息。
下图说明了在 Test Manager 中执行测试集的过程。
因此,在执行测试集后,对测试集或其关联的测试用例进行的任何更改都不会影响先前执行的结果。即使删除测试集,所有测试执行也保持不变。
谁可以查看项目
所有用户角色都可以查看测试结果。
有关更多信息,请参阅“用户和组访问管理”。
要查看测试执行情况,请在 Test Manager 中打开测试结果。每个测试的执行都作为测试执行条目列出。要了解测试执行在后台的工作方式,请参阅“测试结果”。
通过分析测试执行,您可以采取以下操作:
- 查找已通过 Orchestrator 手动或自动执行的测试结果。
- 检查运行测试执行的进度。
- 打开已执行的测试集。
- 检查日志和附件。
- 如果您有应用程序生命周期管理工具集成,则直接从 Test Manager 中创建缺陷管理系统。有关更多信息,请参阅“ALM 工具集成”。
默认情况下,测试执行根据执行完成日期进行排序。当前正在运行和待处理的执行位于顶部。
您可以通过分配给每个测试执行的颜色代码来识别状态,如下所示:
- 绿色:通过的测试用例。
- 红色: 失败的测试用例。
- 灰色: 没有明确结果的测试用例,例如尚未执行但属于当前正在执行的测试集的一部分的测试用例。
自动化测试执行的结果会自动从 Orchestrator 导入。要将自动化测试导入 Test Manager,您需要满足以下条件:
- 。
-
自动化测试需要是 Test Manager 项目测试集的一部分。有关更多信息,请参阅“自动化测试”。
注意:如果 Orchestrator 中的测试执行包含 Test Manager 中多个项目的测试用例的结果,则测试执行将在 Test Manager 中拆分。结果显示在测试用例所在的项目中。
在当前测试结果未准确反映应用程序的实际行为且重新执行不是有效解决方案的情况下,覆盖测试用例的结果可能会有所帮助。您可以覆盖测试用例的测试结果,然后根据需要清除操作。
- 导航到“测试结果”并打开测试结果。
- 从“结果”选项卡中打开测试用例日志。
- 在“断言”选项卡中,选择“任务”>“覆盖结果”。
- 在“覆盖测试结果”窗口中,配置以下字段:
- 将结果更改为 - 选择是否要覆盖具有相反状态(通过/失败)的结果,或将结果设置为“无”。
- “评论”- 输入覆盖结果的原因。
- 选择“确认”。
您覆盖的测试结果在测试结果状态旁边具有以下图标:。选择图标,即可查看覆盖详细信息。
- 或者,如果要清除覆盖操作,请选择测试用例日志的结果状态旁边的图标 。
- 在“覆盖详细信息”窗口中,选择“清除覆盖”。
- 在“覆盖详细信息”窗口中,选择“清除覆盖”。
- 或者,如果要编辑覆盖操作,请选择测试用例日志的结果状态旁边的图标 。
- 执行更改,然后单击“确认”。
要快速查找测试结果,请使用搜索功能和筛选器。使用并配置分页器,在页面中导航。或者,您可以使用面包屑导航在页面之间导航。
- 筛选器 - 您可以使用筛选器来缩小搜索范围。 例如,您可以按执行类型、执行完成时间或状态搜索测试结果。 筛选器将自动保存并保持活动状态,直到您将其清除。
- 搜索 - 使用搜索栏按键、执行类型或状态查找测试结果(需要完整的搜索词匹配)。您可以使用页面顶部的搜索栏来查找测试结果。
要从测试执行中获取详细结果,请转到“测试结果”并单击一个条目以打开详细视图。典型的测试执行详细视图会显示有关执行开始时间、持续时间和执行日志的信息。
您可以使用“报告日期”筛选器为测试执行的所有结果设置单个日期。当您在一夜之间运行测试时,这非常有用,其中一些测试用例在午夜之前和之后执行。否则,结果将在报告中的不同日期之间拆分。
在“结果”部分中,您可以检查测试集中已执行的所有测试用例。您可以对每个测试用例执行操作。有关更多信息,请参阅“执行日志”
您也可以通过右键单击“ 测试集 ” 页面中的条目并选择“ 打开测试集” 打开已执行的测试集,也可以直接在测试执行中打开。
作为测试报告的一部分,执行日志保存诸如执行详细信息(例如,数据变化和屏幕截图)、失败和通过的断言以及执行事件的详细日志等信息。
要打开测试用例日志,请转到“测试结果”,打开测试执行,然后单击测试用例“密钥”。
在下表中,您可以查看在测试用例执行期间收集的信息类型。
测试执行报告 |
描述 |
---|---|
断言 | 查看失败或通过的断言(例如,验证表达式活动),以及在测试用例执行期间截取的相关屏幕截图。
要确保 Orchestrator 在执行期间截取屏幕截图,请访问以下资源:
|
日志 | 查看 RobotLogs 中的 INFO 级别日志,其中包含有关流程、执行机器人和事件日志(包括失败)的信息。
选择 图标以转到所选测试用例的“ 日志 ” 选项卡,以获取有关失败的详细说明。 |
执行详情 | 查看参数详细信息,例如输入和输出值,以及执行和机器人详细信息(例如,项目、计算机、机器人)。 |
受影响的要求 | 查看分配给已执行的测试用例的要求。您可以使用此选项卡直接转到受影响的需求。 |
附件 | 查看:
|
先决条件:在 Orchestrator 或 Test Manager 中针对所需测试集启用活动覆盖率。
- 打开测试集,选择 “更多选项” 然后 执行自动化。
- 转到“测试结果”并打开您执行的测试集。
- 转到“活动覆盖率”选项卡,并调查有关测试执行期间所涵盖活动的信息。
作为应用程序生命周期管理工具集成的一部分,您可以将执行结果与外部工具同步。执行期间收集的信息(例如结果、日志、时间戳和其他详细信息)将与您与 Test Manager 集成的工具同步。
请注意,目前每个项目只能有一个整体上启用缺陷同步的连接。
- 要同步缺陷,您需要在 Test Manager 中配置连接器。查看 Test Manager 中的可用连接。
- 您需要先执行测试集。
您可以在“测试结果”页面中访问测试用例日志时创建缺陷。
系统将创建缺陷并将其与您的外部工具同步。您可以导航到具有同步缺陷的测试执行结果,直接在工具中打开缺陷(例如 Atlassian Jira)。