Test Suite 用户指南
测试结果
Test Manager 中的测试结果提供已执行的测试集的设计、执行、更新或删除信息。
当您开始执行测试集时,Test Manager 将经历以下过程:
- 系统将在 Test Manager 的“测试结果”部分中创建测试执行。这将用作测试结果的容器。
- 对于已执行的测试集中的每个测试用例,都会生成一个空的测试用例日志。此日志会附加到测试执行,并将保存其关联的测试结果。
- 随着执行的继续,Test Manager 会在每个测试用例日志中填充结果和相关日志信息。
下图说明了在 Test Manager 中执行测试集的过程。
因此,在执行测试集后,对测试集或其关联的测试用例进行的任何更改都不会影响先前执行的结果。即使删除测试集,所有测试执行也保持不变。
要查看测试执行情况,请在 Test Manager 中打开测试结果。每个测试的执行都作为测试执行条目列出。要了解测试执行在后台的工作方式,请参阅“测试结果”。
通过分析测试执行,您可以采取以下操作:
- 查找已通过 Orchestrator 手动或自动执行的测试结果。
- 检查运行测试执行的进度。
- 检查日志和附件。
- 如果您有应用程序生命周期管理工具集成,则直接从 Test Manager 中创建缺陷管理系统。
默认情况下,测试执行根据执行完成日期进行排序。当前正在运行和待处理的执行位于顶部。
您可以通过分配给每个测试执行的颜色代码来识别状态,如下所示:
- 绿色: 通过的测试用例。
- 红色: 失败的测试用例。
- 灰色: 没有明确结果的测试用例,例如尚未执行但属于当前正在执行的测试集的一部分的测试用例。
自动化测试执行的结果会自动从 Orchestrator 导入。要将自动化测试导入 Test Manager,您需要满足以下条件:自动化测试需要是 Test Manager 项目测试集的一部分。有关更多信息,请参阅自动化测试。
要从测试执行中获取详细结果,请转到“测试结果”并单击一个条目以打开详细视图。典型的测试执行详细视图会显示有关执行开始时间、持续时间和执行日志的信息。
您可以使用“报告日期”筛选器为测试执行的所有结果设置单个日期。当您在一夜之间运行测试时,这非常有用,其中一些测试用例在午夜之前和之后执行。否则,结果将在报告中的不同日期之间拆分。
在“结果”部分中,您可以检查测试集中已执行的所有测试用例。您可以对每个测试用例执行操作。有关更多信息,请参阅执行日志
作为测试报告的一部分,执行日志保存诸如执行详细信息(例如,数据变化和屏幕截图)、失败和通过的断言以及执行事件的详细日志等信息。
要打开测试用例日志,请转到“测试结果”,打开测试执行,然后单击测试用例“密钥”。
在下表中,您可以查看在测试用例执行期间收集的信息类型。
测试执行报告 |
描述 |
---|---|
断言 |
查看失败或通过的断言(例如,验证表达式活动),以及在测试用例执行期间截取的相关屏幕截图。 要确保 Orchestrator 在执行期间截取屏幕截图,请访问以下资源:
|
日志 |
查看作为
RobotLogs 一部分的 INFO 级别日志,其中包含有关流程、执行机器人和事件日志的信息。
|
执行详情 |
查看参数详细信息,例如输入和输出值,以及执行和机器人详细信息(例如,项目、计算机、机器人)。 |
受影响的要求 |
查看分配给已执行的测试用例的要求。您可以使用此选项卡直接转到受影响的需求。 |
如果外部缺陷管理系统已与 Test Manager 集成,则可以创建缺陷报告,包括执行日志。有关详细信息,请参阅“缺陷同步”。
作为应用程序生命周期管理工具集成的一部分,您可以将执行结果与外部工具同步。执行期间收集的信息(例如结果、日志、时间戳和其他详细信息)将与您与 Test Manager 集成的工具同步。
请注意,目前每个项目只能有一个整体上启用缺陷同步的连接。
- 要同步缺陷,您需要在 Test Manager 中配置连接器。查看 Test Manager 中的可用连接。
- 您需要先执行测试集。
您可以在“测试结果”页面中访问测试用例日志时创建缺陷。
系统将创建缺陷并将其与您的外部工具同步。您可以导航到具有同步缺陷的测试执行结果,直接在工具中打开缺陷(例如 Atlassian Jira)。