自动化测试结果看板示例:从执行结果到协同处置

自动化测试结果看板把分散在各执行环境中的用例结果、失败原因、缺陷关联和趋势数据,按统一口径汇总到一张可评审的视图上。本文给出一个可直接参照的填写示例:先明确看板要回答的问题,再呈现概览、分布、明细、趋势四区的完整样例,逐项解释字段来源与判断规则,最后说明哪些结构可以迁移、哪些边界需要按自身流水线调整。看板中失败项到缺陷、负责人、状态的闭环,可以在 ONES 测试管理与缺陷跟踪流程中承载。



要点总览(TL;DR)


  • 看板按“概览—分布—明细—趋势”四区组织:概览判断整体质量状态,分布定位失败范围,明细落到负责人和状态,趋势判断走向。
  • 字段可信的前提是口径统一:执行结果统一为通过、失败、跳过、阻塞四类,通过率分母剔除跳过数,失败分类按根因去重。
  • 失败项要显式标记是否已挂接缺陷,未挂接的进入评审议程,形成失败到缺陷再到负责人的闭环。
  • 四区结构和闭环链路可以迁移到不同团队;模块聚合粒度、统计窗口和工具集成方式需按流水线数量与执行频率调整。
  • 文中数值与模块名均为演示数据,不能作为质量基准;脚本编写与 AI 辅助用例分析不在本文范围。


示例目标:这张看板要回答哪些问题


示例看板服务于一个固定评审场景:每日构建完成后,测试负责人与相关模块的开发负责人一起过一遍前一天的自动化执行情况;版本发布前,再用同一张看板做一次质量确认。角色包括测试负责人(主持评审、判断是否放行)、模块开发负责人(认领失败项)、测试工程师(维护用例与失败分类)。


看板需要回答三类问题,字段围绕这三类问题取舍,不做无目的的堆砌:


  • 当前质量状态如何:这一轮执行了多少用例,通过率是多少,有多少失败和阻塞,与上一周期相比是变好还是变差。
  • 失败集中在哪里:失败集中在哪些模块、哪些失败类型、哪些是本次新出现的失败,帮助评审快速定位需要优先处理的范围。
  • 谁在跟进:每个失败项是否已关联缺陷、由谁负责、当前处于什么状态,避免失败项停留在“已知”而无人推进。

需要说明:本文为演示情景,看板中的模块名、用例编号、数值均为虚构的演示数据,用于说明结构与口径,不代表任何真实客户案例,也不代表任何真实项目的质量水平。



完整示例:一张自动化测试结果看板的字段与布局


下面是一张已填写的看板样例,按“概览—分布—明细—趋势”四区自上而下排列。评审时从上往下看:先用概览判断整体,再用分布定位范围,用明细认领到人,最后用趋势判断走向。


顶部概览区


指标 本轮数值 较上一周期
执行用例总数 1,280 +64
通过率 91.4% -1.2 个百分点
失败数 86 +21
阻塞数 24 +6
跳过数 14 -3

概览区只放能支撑“是否放行”判断的少量指标,每个指标都带环比,让评审直接看到方向,而不必自己回忆上一轮的数字。


失败分布区


聚合维度 分布示例(演示数据)
按模块 订单服务 31、支付网关 22、用户中心 18、消息通知 9、其他 6
按失败类型 断言失败 38、超时 21、环境异常 15、数据准备失败 12
按首次失败时间 本轮新增 34、延续上一轮 52

三个维度回答不同问题:按模块看责任范围,按失败类型看问题性质,按首次失败时间区分“新冒出来的”和“一直没修的”,后者往往是评审中最容易被忽略的部分。


明细区


用例标识 所属套件 执行环境 失败信息摘要 关联缺陷 负责人 状态
TC-ORDER-0142 订单回归套件 预发环境 断言失败:优惠金额与预期不一致 BUG-2317 张(订单) 修复中
TC-PAY-0088 支付主流程 预发环境 超时:第三方回调 30s 未返回 BUG-2321 李(支付) 待验证
TC-USER-0311 用户中心冒烟 测试环境 环境异常:数据库连接池耗尽 未挂接 王(测试) 待分类
TC-MSG-0056 消息通知套件 预发环境 数据准备失败:测试账号缺失 未挂接 赵(测试) 待分类

明细区是评审的实际操作面:每一行都要能落到一个人和一个状态上。未挂接缺陷的行用“未挂接”显式标出,提醒评审当场决定是建缺陷还是归为环境问题。


趋势区


趋势区展示近 10 次执行的通过率折线与新增失败数柱状,两条线放在同一时间轴上。示例中通过率在 92% 附近波动,最近两次连续下滑,同时新增失败数从个位数升到 30 以上,这一组合提示近期有变更引入了不稳定用例,需要在评审中追查最近的代码或环境变更。



逐项解释:每个字段从哪里来、怎么判断


看板是否可信,取决于每个字段的来源是否清楚、口径是否统一。下表给出示例中关键字段的说明,搭建自己的看板时可以按这张表逐项对齐。


字段 来源 口径 判断规则
执行结果状态 测试执行记录 统一为通过、失败、跳过、阻塞四类 执行完成且断言全部满足记为通过;断言不满足记为失败;主动跳过记为跳过;因环境或依赖不可用未能执行记为阻塞
失败类型 执行日志与失败信息 按根因归类,同类根因合并计数 同一根因引发的多条用例失败,在分布区按一条计,明细区保留全部受影响用例
首次失败时间 历史执行记录比对 以该用例最近一次通过之后的首个失败时间为准 落在本轮窗口内记为新增失败,否则记为延续失败
关联缺陷 缺陷跟踪系统 一条失败对应一个主缺陷,可附加关联缺陷 已建缺陷填缺陷编号;尚未建缺陷显式标“未挂接”,不允许留空
通过率 执行结果汇总 通过数 ÷(执行总数 − 跳过数) 跳过不计入分母,避免大量跳过拉低通过率造成误判
新增失败数 首次失败时间统计 统计窗口与评审周期一致,如近 24 小时 窗口需在看板搭建时固定,中途变更会导致趋势不可比
负责人 用例归属或缺陷指派 失败项默认归用例所属模块负责人 环境类失败可改派测试工程师,改派需在看板中留痕
状态 缺陷或失败项工作流 待分类、修复中、待验证、已关闭 状态只能由负责人推进;超过约定时长未变更的项在评审中单独列出

几个容易出错的点值得单独说明。状态口径必须在看板搭建前统一,如果不同流水线对“阻塞”的定义不一致,概览区的阻塞数就失去可比性。失败分类的去重要按根因而不是按用例条数,否则一个基础组件故障会让失败数瞬间膨胀,掩盖真正的质量问题。未挂接缺陷的失败项要显式标记并进入评审议程,这是失败项从“被看见”走向“被处理”的关键一步。


当失败项需要进入缺陷流程时,ONES 测试管理支持对未通过的用例快速创建缺陷任务,缺陷任务在测试与研发团队间流转;测试用例可与需求、任务关联,测试计划与迭代关联,使失败项的处理落在具体的迭代上下文中。ONES 测试管理还支持质量统计报表与自动生成测试报告,可用于承载看板中的汇总与趋势部分。具体报表字段与统计口径需按项目实际配置确认。



可迁移规律:换团队、换流水线时保留什么


示例中的具体数值和模块名不可迁移,但下面几条设计规律与工具无关,换团队、换流水线时应当保留。


  • 先定问题再定字段。看板服务哪个评审场景、回答哪几类问题,先写清楚,再决定放哪些字段。字段多不等于信息多,与评审问题无关的指标只会增加阅读负担。
  • 保留四层结构。概览判断整体、分布定位范围、明细落到人和状态、趋势判断走向,这个分层在团队规模变化时依然成立,调整的只是每层的聚合粒度。
  • 统一状态口径与失败分类。这是看板可信的前提。口径定义应作为看板的配套文档固定下来,新增流水线或新增执行环境时先对齐口径再接入数据。
  • 保留失败到缺陷再到负责人的闭环链路。看板的价值不止于展示,而在于让每个失败项都有归属和下一步动作。链路中任何一环缺失,看板就会退化为一份无人推进的报表。
  • 按评审节奏设定刷新与回顾周期。每日评审的看板按天刷新,发布前评审的看板按版本窗口刷新;同时定期回顾失败分类规则是否仍然适用,避免分类体系随业务变化而失效。


适用边界:示例不能直接照搬的地方


示例是一个结构完整的演示,落地时需要按自身情况调整,以下几点是主要的边界。


  • 聚合粒度需按规模调整。团队规模、流水线数量、执行频率不同,模块划分和统计窗口都要相应变化。流水线多、执行频繁的团队,按模块聚合可能过粗,需要下钻到服务或套件层级;执行频率低的团队,按天统计可能样本不足,应改为按版本窗口统计。
  • 范围限定在结果呈现与协同处置。自动化测试脚本编写、测试框架搭建、AI 辅助用例生成与缺陷分析不在本文范围,这些环节的做法需要另行设计。
  • 工具能力需按实际环境查证。具体工具的接口、字段映射、版本兼容与集成方式,应以实际环境的文档和验证结果为准。ONES 侧可参考 DevOps 解决方案中工具链集成与 CI/CD 过程可视化能力,实际集成范围与配置需按环境确认。
  • 示例数据不代表真实质量水平。文中的通过率、失败数、模块名均为演示数据,不能作为任何项目的质量基准或改进目标。

把这张示例看板当作一个起点:先按四区结构搭出骨架,用统一口径填入真实执行数据,再在每次评审中检验字段是否够用、分类是否准确,逐步调整到适合自身流水线的形态。



常见问题


自动化测试结果看板的数据一定要从流水线自动回传吗?手工整理执行结果能否先用起来?


可以先手工整理,但要把口径固定下来。看板可信的关键在于状态定义和统计窗口一致,而不在于数据是否自动采集。起步阶段可以从执行记录导出结果,按通过、失败、跳过、阻塞四类整理,再填入四区结构;等评审节奏稳定、字段确认够用之后,再考虑通过工具链集成减少人工搬运。需要注意的是,手工整理时容易漏掉“延续失败”和“未挂接缺陷”两类项,这两类恰恰是评审中最需要关注的。


同一个根因导致几十条用例失败,看板上应该显示几十条失败还是算一条?


两个数字都要保留,但用途不同。分布区按根因合并计数,让评审看到问题性质,避免一个基础组件故障把失败数放大到掩盖其他问题;明细区保留全部受影响的用例,便于负责人确认修复后哪些用例需要回归。判断规则是:分布区按根因去重,明细区按用例逐条列出,两者通过失败类型字段关联。如果只保留合并后的数字,修复验证时无法确认覆盖范围;只保留逐条明细,评审时又难以快速判断优先级。


看板上的失败项还没有建缺陷,评审时应该怎么处理?


把“未挂接”当作一个明确状态,而不是留空。评审时对每个未挂接项当场做一次判断:属于产品缺陷的,创建缺陷并指派负责人;属于环境或数据问题的,改派测试工程师处理并在看板中留痕;属于用例本身问题的,标记为待修正用例。ONES 测试管理支持对未通过的用例快速创建缺陷任务,缺陷任务在测试与研发团队间流转,可以减少评审后另行建单的环节。无论用哪种方式,关键是未挂接项不能停留在看板上无人推进。


团队执行频率很低,比如一周只跑一次自动化,趋势区还有意义吗?


有意义,但统计窗口要改。按天统计在低频执行下样本不足,趋势线会剧烈跳动,看不出真实走向。建议把窗口改为按版本或按执行批次,趋势区展示近若干次执行而非近若干天,新增失败也以“本次执行窗口内首次失败”为准。窗口一旦确定就应在看板搭建时固定下来,中途变更会让前后数据不可比。执行频率低的团队还可以在趋势区补充每次执行对应的代码变更范围,帮助判断波动是否由特定变更引入。


把这张示例看板落到实际工具里,需要先确认哪些事情?


先确认三件事:一是执行结果如何进入看板,是工具自动采集还是导出后整理,这决定字段能否实时更新;二是状态口径能否在工具中配置成与看板定义一致的四类,口径不一致时概览数字会失真;三是缺陷挂接方式,失败项与缺陷之间是自动关联还是人工挂接。ONES 测试管理提供质量统计报表与测试报告能力,可用于承载汇总与趋势部分,具体报表字段与统计口径需按项目实际配置确认;涉及流水线集成时,集成范围与配置也需按实际环境验证。