自动化测试协同管理要解决的是执行结果如何被追踪、交接和闭环。落地时先划定纳入管理的测试资产,再建立从用例变更到缺陷闭环的流程,明确测试开发、业务测试、研发和发布负责人的交付物,最后用执行看板、失败归因率和缺陷回流时长检查机制是否真正运转。本文按这条路径展开,并说明 ONES 在流程承载上的衔接位置。
要点总览(TL;DR)
- 先划定纳入协同管理的六类资产:用例、脚本标识、执行任务、测试环境、执行结果、缺陷;脚本编写与框架选型不进入管理流程。
- 按五步流程运转:建立用例与脚本对应关系、配置执行任务与触发方式、结果回传与失败分类、失败分流与缺陷创建、修复验证与结果归档,每步都有输入、动作、输出和完成标志。
- 角色分工按环节固定:测试开发负责对应关系与执行配置,业务测试判断业务影响并创建缺陷,研发修复,测试负责人维护看板与归因统计,发布负责人确认放行。
- 失败归属采用默认规则加例外清单:默认按最近一次变更来源判定,间歇性失败等例外由测试负责人裁定并记录。
- 落地验收看四项:用例与脚本对应覆盖率、执行结果回传完整性、失败归因明确度、缺陷回流时长;首次运行两周后完整核对一次。
先定协同范围:哪些自动化测试资产要纳入管理
协同管理的第一步是圈定对象。范围过宽会把脚本编写、框架维护等工程活动混进管理流程,导致责任不清;范围过窄则执行结果无法回流到研发,自动化投入难以转化为质量判断依据。建议把以下六类资产纳入协同管理。
- 测试用例:作为验证意图的载体,需要能追溯到对应需求或研发任务,并保留变更记录。
- 自动化脚本标识:只管理脚本的编号、所属用例、维护人和最近变更时间,用于建立用例与执行结果的对应关系,不涉及脚本内部实现。
- 执行任务:一次自动化执行的配置单元,包含执行范围、触发方式、执行环境和负责人。
- 测试环境:记录执行所用环境及其可用状态,避免失败结果因环境问题被误判为产品缺陷。
- 执行结果:通过、失败、阻塞、跳过等结果及失败分类,是后续分流的事实依据。
- 缺陷:由失败结果转化而来,需要与用例、执行任务、需求建立关联,并跟踪到修复验证。
脚本编写方法、框架选型、AI 辅助用例生成与缺陷分析属于相邻主题,本文不展开。首批纳入范围可按三条标准排序:影响发布判断的用例优先,跨角色交接频繁的用例优先,失败后需要回流研发修复的用例优先。满足两条以上的用例和脚本先纳入,其余登记在册、暂不进入流程。
| 资产类型 | 纳入协同管理 | 暂不纳入 |
|---|---|---|
| 测试用例 | 用例内容、关联需求、变更记录 | 用例设计方法论 |
| 自动化脚本 | 脚本标识、所属用例、维护人、最近变更 | 脚本编写、框架选型 |
| 执行任务 | 执行范围、触发方式、环境、负责人 | 执行机资源调度细节 |
| 测试环境 | 环境标识、可用状态、使用登记 | 环境搭建与运维操作 |
| 执行结果 | 结果状态、失败分类、回传时间 | 日志采集与存储实现 |
| 缺陷 | 缺陷单、关联用例与执行任务、修复状态 | 缺陷根因的代码级分析 |
核心操作步骤:从用例变更到缺陷闭环的五步流程
流程设计的关键是每一步都有明确的输入、动作、输出和完成标志,让交接有据可查。以下五步适用于大多数采用定时回归加提交触发的团队,可按发布节奏裁剪。
| 步骤 | 输入 | 动作 | 输出 | 完成标志 |
|---|---|---|---|---|
| 一、建立用例与脚本对应关系 | 用例清单、脚本清单 | 为每条纳入范围的用例登记脚本标识、维护人和最近变更时间;用例变更时同步更新对应关系 | 用例—脚本对应表 | 纳入范围内每条用例都有脚本标识或明确标注“暂无自动化” |
| 二、配置执行任务与触发方式 | 对应表、环境清单、发布计划 | 按回归范围配置定时任务,按代码提交配置触发任务,保留手动触发入口用于临时验证 | 执行任务清单及触发规则 | 每个执行任务都有负责人、执行环境和触发条件 |
| 三、执行结果回传与失败分类 | 执行任务、执行日志 | 执行结束后回传结果,按产品缺陷、脚本问题、环境问题、数据问题分类失败项 | 带分类的执行结果记录 | 每次执行的全部失败项都有分类,无“未分类”遗留 |
| 四、失败分流与缺陷创建 | 分类后的失败结果 | 产品缺陷类创建缺陷单并关联用例与执行任务;脚本与环境类退回对应维护人处理 | 缺陷单或修复任务 | 每个失败项都有承接人和处理状态 |
| 五、修复验证与结果归档 | 缺陷单、修复提交 | 研发修复后触发验证执行,通过则关闭缺陷并归档结果,未通过则退回 | 关闭的缺陷、归档的执行记录 | 缺陷关闭且关联的验证执行结果为通过 |
第三步的失败分类是整条流程的分水岭。分类口径应在流程文档中固定下来,例如以“最近一次变更来源”作为默认归属规则:变更来自产品代码归为产品缺陷,来自脚本修改归为脚本问题,来自环境配置归为环境问题。例外情况在文档中单独写明处理方式,避免每次争论归属。
角色与交付物:谁在哪个环节负责什么
交接断点通常出现在“结果出来了但没人认领”和“缺陷修完了但没人验证”两个位置。用角色—环节—交付物的对应关系把责任固定下来,可以减少这类空档。
| 角色 | 主要负责环节 | 关键交付物 | 交接时点 |
|---|---|---|---|
| 测试开发 | 步骤一、二、三 | 用例—脚本对应表、执行任务配置、失败分类结果 | 执行结果回传并完成分类后,交给业务测试与研发 |
| 业务测试 | 步骤三、四 | 失败项的业务影响判断、缺陷单内容 | 缺陷创建后交给研发;脚本与环境问题退回测试开发 |
| 研发 | 步骤四、五 | 缺陷修复提交、修复说明 | 修复完成后交给测试执行验证 |
| 测试负责人 | 全流程 | 执行看板、失败归因统计、流程规则文档 | 每个发布节点前输出质量判断 |
| 发布负责人 | 步骤五及发布决策 | 发布准入结论、遗留缺陷清单 | 验证通过后确认是否放行 |
失败结果归属判定建议采用一条默认规则加一份例外清单:默认按最近一次变更来源判定归属,例外情况(如环境不稳定导致的间歇性失败)由测试负责人裁定并记录。规则写入流程文档后,新成员可以按同一口径处理,减少逐次协商的成本。
示例:一次夜间回归失败如何走完协同流程
以下为演示情景,用于说明流程如何运转,不代表任何具体团队的真实案例。
某团队每晚 23:00 定时执行核心回归任务,覆盖 180 条用例。某日执行结束后回传结果:172 条通过,8 条失败。测试开发在次日上班后查看结果,按分类口径逐条判断:5 条失败集中在同一订单模块,且前一晚有对应代码合并,归为产品缺陷;2 条失败伴随环境连接超时,归为环境问题;1 条失败对应脚本三天前修改过断言,归为脚本问题。
业务测试确认订单模块 5 条失败的业务影响为“下单金额计算异常”,创建一张缺陷单,关联这 5 条用例和本次执行任务,标注影响版本。研发认领后当天完成修复并提交。测试开发触发验证执行,5 条用例全部通过,缺陷关闭,执行记录归档。环境问题的 2 条由测试开发与环境维护人确认后重跑通过;脚本问题的 1 条由脚本维护人修正断言后纳入次日晚间回归。
这个情景可以迁移到其他团队的部分在于:失败分类先于缺陷创建,缺陷单必须关联用例与执行任务,修复后以验证执行结果作为关闭依据。执行时间、用例数量和角色名称可按团队实际情况调整,这三条顺序关系建议保留。
完成检查:判断协同机制是否真正跑起来
流程文档写完不等于机制落地。以下检查项用于验收,建议在首次运行两周后做一次完整核对,之后按发布周期复查。
| 检查项 | 通过标准 | 证据来源 | 未通过时的优先修正动作 |
|---|---|---|---|
| 用例与脚本对应覆盖率 | 首批纳入范围内用例的对应率达到团队设定阈值,且无长期未更新的对应关系 | 用例—脚本对应表 | 先补齐影响发布判断的用例,暂缓边缘用例 |
| 执行结果回传完整性 | 每次执行任务都有结果记录,失败项全部带分类 | 执行任务清单与结果记录 | 检查触发配置与回传环节,明确未回传时的补录责任 |
| 失败归因明确度 | 抽查的执行记录中,失败项归属清晰,例外情况有裁定记录 | 失败分类记录、例外清单 | 补充分类口径说明,对争议项集中裁定一次 |
| 缺陷回流时长 | 从失败结果产生到缺陷创建、从修复提交到验证关闭的时长在团队设定范围内 | 缺陷单时间线 | 定位卡点在创建还是验证环节,调整对应角色的响应要求 |
通过标准应结合团队历史基线设定。首次落地可先设宽松阈值,例如先要求失败项分类完整、缺陷单关联齐全,再逐步收紧回流时长要求。检查发现的问题按“影响发布判断的程度”排序修正,避免一次性铺开过多改进项。
用工具承载协同流程:ONES 在其中的衔接位置
上述流程中的关键管理动作是用例、执行结果与缺陷之间的关联,以及状态流转和交接记录。这些动作如果分散在多个表格和沟通工具里,对应关系容易失效,回流时长也难以统计。ONES 测试管理支持测试用例与需求、任务关联,测试计划与迭代关联,形成测试流程闭环;未通过的用例可快速创建缺陷任务,缺陷任务在测试与研发团队间流转。这正好对应本文步骤四中“失败分流与缺陷创建”的承载需求。
在角色分工上,ONES 测试管理支持为不同用户组配置不同权限,并支持为用例库、测试计划单独配置权限,便于按测试开发、业务测试、研发等角色划分操作范围。测试报告可自动生成,项目缺陷分布统计可用于复盘缺陷集中区域,对应测试负责人在发布节点前输出质量判断的交付物。对于执行结果与 CI 流水线的衔接,ONES DevOps 解决方案提供开放式工具集成能力,可集成 DevOps 工具链并集中可视化展现 CI/CD 全过程;具体可集成的工具清单与配置方式需按团队实际环境确认。
工具承载的是流程中的记录与流转环节,失败分类口径、归属判定规则和检查阈值仍需团队在流程文档中自行定义。建议先把五步流程和角色表定稿,再按流程配置工作项关联与状态,避免工具配置反过来牵制流程设计。
常见问题
团队刚起步,首批应该把哪些自动化用例纳入协同管理?
按三条标准排序:影响发布判断的用例优先,跨角色交接频繁的用例优先,失败后需要回流研发修复的用例优先。满足两条以上的用例和对应脚本先纳入流程,其余登记在册、暂不进入。这样首批范围可控,流程跑顺后再逐步扩大,避免一开始就把边缘用例和维护成本高的脚本全部纳入。
失败结果到底算产品缺陷还是脚本问题,团队经常争论,怎么定规则?
建议在流程文档中固定一条默认规则:按最近一次变更来源判定归属,变更来自产品代码归为产品缺陷,来自脚本修改归为脚本问题,来自环境配置归为环境问题。间歇性失败、多因素叠加等例外情况单独列成清单,由测试负责人裁定并记录。规则写清楚后,新成员按同一口径处理,减少逐次协商。
自动化执行结果分散在流水线和表格里,怎么保证回传完整、缺陷能关联到用例?
先明确每次执行任务都必须有结果记录,失败项全部带分类,未回传时指定补录责任人。缺陷单创建时强制关联对应用例和执行任务,把这条作为流程完成标志而不是建议。工具层面,ONES 测试管理支持测试用例与需求、任务关联,未通过的用例可快速创建缺陷任务并在测试与研发团队间流转;与 CI 流水线的衔接可通过 ONES DevOps 解决方案的工具集成能力承载,具体可集成工具与配置方式需按团队实际环境确认。
完成检查的通过标准怎么设,第一次落地就要求很严会不会推不动?
通过标准应结合团队历史基线设定。首次落地可先设宽松阈值,例如先要求失败项分类完整、缺陷单关联齐全,再逐步收紧缺陷回流时长要求。检查发现的问题按影响发布判断的程度排序修正,一次集中解决一两个卡点,比同时铺开多项改进更容易持续。
ONES 在角色权限和测试报告上能支撑到什么程度?
ONES 测试管理支持为不同用户组配置不同权限,并支持为用例库、测试计划单独配置权限,便于按测试开发、业务测试、研发等角色划分操作范围。测试报告可自动生成,项目缺陷分布统计可用于复盘缺陷集中区域,对应测试负责人在发布节点前输出质量判断的交付物。报表口径与模板需按团队实际配置确认。
