分析测试结果
To view test executions, open Execution in Test Manager. The execution of each test set is listed as a test execution entry. To understand how the test executions work behind the scenes, see Execution.
通过分析测试执行,您可以采取以下操作:
- 查找已通过 Orchestrator 手动或自动执行的测试结果。
- 检查运行测试执行的进度。
- 打开已执行的测试集。
- 检查日志和附件。
- Create defects in your defect management system directly from Test Manager, if you have an Application Lifecycle Management tool integration. For more information, see ALM Tool Integration.
默认情况下,测试执行根据执行完成日期进行排序。当前正在运行和待处理的执行位于顶部。
您可以通过分配给每个测试执行的颜色代码来识别状态,如下所示:
- 绿色:通过的测试用例。
- 红色: 失败的测试用例。
- 灰色: 没有明确结果的测试用例,例如尚未执行但属于当前正在执行的测试集的一部分的测试用例。
The results from automated test executions are imported from Orchestrator automatically. To have your automated tests imported to Test Manager, you need to meet the following conditions:
- The automated test needs to be part of a test set on your Test Manager project. For more information, see Automated Tests.
Note: If a Test Execution from Orchestrator holds results for test cases from several projects in Test Manager, the test execution is split in Test Manager. The results appear in the projects where the test cases are.
在当前测试结果未准确反映应用程序的实际行为且重新执行不是有效解决方案的情况下,覆盖测试用例的结果可能会有所帮助。您可以覆盖测试用例的测试结果,然后根据需要清除操作。
- 导航到“执行”并打开测试结果。
- 从“结果”选项卡中打开测试用例日志。
- 在“断言”选项卡中,选择“任务”>“覆盖结果”。
- 在“覆盖测试结果”窗口中,配置以下字段:
- 将结果更改为 - 选择是否要覆盖具有相反状态(通过/失败)的结果,或将结果设置为“无”。
- “评论”- 输入覆盖结果的原因。
- 选择“确认”。
您覆盖的测试结果在测试结果状态旁边具有以下图标:。选择图标,即可查看覆盖详细信息。
图 1.“已成功覆盖测试结果”消息
- 或者,如果要清除覆盖操作,请选择测试用例日志的结果状态旁边的图标 。
- 在“覆盖详细信息”窗口中,选择“清除覆盖”。
图 2. “覆盖”详细信息菜单
- 在“覆盖详细信息”窗口中,选择“清除覆盖”。
- 或者,如果要编辑覆盖操作,请选择测试用例日志的结果状态旁边的图标 。
- 执行更改,然后单击“确认”。
要快速查找测试结果,请使用搜索功能和筛选器。使用并配置分页器,在页面中导航。或者,您可以使用面包屑导航在页面之间导航。
- 筛选器- 您可以使用筛选器来缩小搜索范围。例如,您可以按以下条件搜索测试结果:
- 标签
- 执行类型
- 已完成执行
- 状态
筛选器将自动保存并保持活动状态,直到您将其清除。
- 搜索 - 使用搜索栏按键、执行类型或状态查找测试结果(需要完整的搜索词匹配)。您可以使用页面顶部的搜索栏来查找测试结果。
要查看详细的测试结果,请转到执行。
- 测试集:测试结果按测试执行(测试集)分组。
- 测试用例:根据不包括测试执行属性的条件筛选结果时用于交叉执行分析。
您可以使用“报告日期”筛选器针对测试执行的所有结果设置统一日期。当您在一夜之间运行测试时,这非常有用,其中一些测试用例在午夜之前和之后执行,以防止结果拆分到单独的日期。
在“结果”选项卡中,您可以检查测试集中所有已执行的测试用例,并根据需要对每个用例执行操作。 有关更多信息,请参阅执行日志部分。
您也可以通过右键单击“ 测试集 ” 页面中的条目并选择“ 打开测试集” 打开已执行的测试集,也可以直接在测试执行中打开。
作为测试报告的一部分,执行日志保存诸如执行详细信息(例如,数据变化和屏幕截图)、失败和通过的断言以及执行事件的详细日志等信息。
要打开测试用例日志,请转到 “执行”,打开测试执行,然后单击测试用例“键” 。
在下表中,您可以查看在测试用例执行期间收集的信息类型。
测试执行报告 |
描述 |
---|---|
断言 | 查看失败或通过的断言(例如,验证表达式活动),以及在测试用例执行期间截取的相关屏幕截图。
要确保 Orchestrator 在执行期间截取屏幕截图,请访问以下资源:
|
日志 | 查看 RobotLogs 中的 INFO 级别日志,其中包含有关流程、执行机器人和事件日志(包括失败)的信息。
选择 图标以转到所选测试用例的“ 日志 ” 选项卡,以获取有关失败的详细说明。 |
执行详情 | 查看参数详细信息,例如输入和输出值,以及执行和机器人详细信息(例如,项目、计算机、机器人)。 |
受影响的要求 | 查看分配给已执行的测试用例的要求。您可以使用此选项卡直接转到受影响的需求。 |
附件 | 查看:
|
- 要下载所有测试执行的日志,请执行以下操作:从“执行” ,选择 “导出到 Excel” 。
- 要下载特定测试执行的测试用例日志,请执行以下操作:从 “执行”中,选择一个测试执行,然后选择“导出到 excel” 。
请访问导出数据,查看有关将日志导出到 Excel 文件的更多详细信息。
Prerequisites: Enable activity coverage for the desired test sets either in Orchestrator or Test Manager.
- 打开测试集,选择 “更多选项” 然后 执行自动化。
- 转到“执行”,并打开您执行的测试集。
- 转到“活动覆盖率”选项卡,并调查有关测试执行期间所涵盖活动的信息。
图 4.活动覆盖率示例概述
You can create defect reports including the execution log to your external defect management system, if you already have it integrated with Test Manager. For more information, see ALM Tool Integration.
要从执行日志中创建缺陷,您需要打开测试用例日志,单击“任务”,然后选择“创建缺陷”。创建缺陷后,执行日志中将显示一个链接,您可借此访问集成的外部工具。