根据“生成-部署-测试”工作流运行自动化测试
备注
本主题在标准环境和 SCVMM 环境中进行测试时适用。但是,涉及环境快照的步骤仅适用于 SCVMM 环境。
你可使用“生成-部署-测试”工作流在实验室环境下运行自动测试,方法是对工作流的生成进行排队,或配置按计划间隔运行的工作流。 有关创建“生成-部署-测试”工作流和计划工作流的信息,请参阅自动化“生成-部署-测试”工作流。 例如,你可以在服务器上构建并部署应用程序的每日生成,并使用客户端在该服务器上运行测试。 运行自动测试后,你可以分析测试结果以检查生成质量。 每次完成“生成-部署-测试”工作流后,都将保存测试结果。 你可使用这些结果来查看你的生成的稳定程度并确定是否为手动测试使用该生成。
如果你使用的是 SCVMM 环境,你也可以使用生成结果连接到在部署应用程序后创建的实验室环境的快照。 这使你能够在测试失败后查看环境状态,甚至能在新测试运行使用干净快照还原环境后进行查看。
本主题介绍如何运行或计划“生成-部署-测试”工作流,以在标准环境或 SCVMM 环境中运行自动测试,然后查看测试结果。 此外,本主题说明了在使用 SCVMM 环境时,如何从生成结果中连接后期部署快照。
使用下面的过程可在实验室环境中通过“生成-部署-测试”工作流对应用程序运行自动测试,然后分析测试结果:
检查系统必备
启动生成
从生成结果连接到环境
查看和分析生成的测试结果
先决条件
在实验室环境中配置并运行计划的测试之前,请使用此列表验证是否已完成以下任务:
系统必备任务
配置测试控制器。 请参阅在实验室环境中设置测试控制器。
使用 Team Foundation Server 管理来配置生成控制器和生成代理。 请参阅如何配置生成计算机。
创建一个实验室环境并将其配置为带有应用程序所需的角色。 请参阅测试实验室环境。
(建议)如果你使用的是 SCVMM 环境,则拍摄一张该环境的快照以用作工作流的干净状态。 请参阅对 SCVMM 环境使用环境快照。
将自动测试添加到测试计划。 请参阅在 Microsoft 测试管理器中自动化测试用例。
为你的自动测试创建测试设置,然后将测试分配给实验室环境中的角色。 请参阅使用 Microsoft 测试管理器为自动系统测试创建测试设置。
创建“生成-部署-测试”工作流。 请参阅自动化“生成-部署-测试”工作流。
启动生成
你可通过为生成排队来从工作流中运行自动测试。
为你的生成排队
若要启动“生成-部署-测试”工作流,请在“生成”文件夹中打开你的生成定义的快捷菜单,然后选择**“使新生成入队”**。
此时将显示**“为生成排队”**对话框。
验证你的工作流的信息,然后选择**“排队”**。
生成资源管理器视图随即出现。
若要在进行生成时查看“生成摘要”视图,请双击你的生成。
你便可以在进行生成时查看状态。
(可选)若要在进行生成时查看实验室环境,请打开 Microsoft 测试管理器,找到**“实验室中心”,选择“实验室”**,然后在列表中选择你的环境。
如果“生成-部署-测试”工作流成功完成,则将看到绿色选中标记。 如果存在错误,则可以选择**“查看日志”**以查看详细信息。
从生成结果连接到环境
如果测试在工作流过程中失败,则你可能需要连接到实验室环境以调查问题。 可以连接到后期部署快照(如果在生成工作流中选择此选项且使用的是 SCVMM 环境),也可以连接到当前状态下的环境,如下图所示:
从生成结果连接到环境
从团队资源管理器中的**“生成”文件夹中,打开包含工作流的生成定义的快捷菜单,并指向“查看生成”**。
此时将显示**“生成资源管理器”**视图。
若要查看已完成的生成,请选择**“已完成”**选项卡。
双击要查看的生成。
此时将显示“生成摘要”视图。
选择“查看环境快照 <生成名称和编号>”旁边的链接。
此时将显示**“连接到环境”**对话框。
-
备注
此步骤仅适用于 SCVMM 环境。如果你使用的是标准环境,请跳过此步骤。
如果你使用的是 SCVMM 环境,并且需要连接到部署应用程序后拍摄的快照,请选择**“连接到此环境中的快照”**。
备注
通过连接到此快照,会丢弃在此后期部署快照之后进行的所有更改。如果要保留任何更改,请连接到当前状态下的环境,在拍摄快照之后,再还原为后期部署快照。有关如何拍摄快照的信息,请参见How to: Save the Current State of Your Environment。
若要在从工作流运行任何测试之后连接到当前状态下的环境,请选择**“连接到当前状态下的环境”**。
选择**“连接”**。
此时将显示 Microsoft 环境查看器,你已连接到环境中。 现在,可以调查任何问题。
查看和分析“生成-部署-测试”工作流的测试结果
可以在生成摘要中查看测试结果摘要。 但是,也可以使用 Microsoft 测试管理器查看和分析测试结果,因为这些结果将存储为测试计划的一部分。 这将显示在下图中。 请参阅报告测试计划的测试进度。
从 Microsoft 测试管理器查看和分析测试结果
打开 Microsoft 测试管理器。
备注
若要显示 Microsoft 测试管理器窗口,请选择“开始”,然后选择“所有程序”。指向“Microsoft Visual Studio 2013”,然后选择“Microsoft 测试管理器”。
若要查看测试结果,请选择中心组切换器上的下箭头,然后选择**“测试中心”**。
在中心组菜单栏上,选择**“测试”**,然后从在生成工作流中使用的测试套件层次结构中选择一个测试套件。
你可以查看在生成工作流中所选的配置的测试结果。
若要分析完整的测试运行,请选择**“分析测试运行”**。
此时将显示**“分析测试运行”**活动。 它显示此测试计划的所有测试运行。
备注
运行标题会反映生成定义的名称。运行 ID 显示在生成的生成摘要页中,以帮助标识运行。
双击某个测试运行将其打开并查看详细信息。 此时将显示该测试运行的详细信息。
(可选)若要更新测试运行的标题,使其更能体现其意义,请在**“标题”**中键入新名称。
(可选)如果测试未通过,可以更新未通过的原因。 选择**“解决方法”**,然后从列表中选择未通过的原因。
(可选)若要向测试结果添加注释,请选择**“注释”图标。 键入你的注释,然后选择“保存注释”**。
(可选)若要查看单个测试的详细信息,请双击该测试。
此时将显示测试结果。 其中包含测试运行的详细信息、为此测试结果收集的数据附件以及该测试的测试结果历史记录。 你可以关闭此视图以返回到测试运行。
备注
如果你确定存在 Bug,则可以从此视图创建 Bug。
若要保存对该测试运行所做的任何更改,请在工具栏上选择**“保存”**。