用例执行百分比回答的是“计划里的用例跑了多少”,属于工作量口径。两个团队都显示执行80%,一个可能已经覆盖关键需求、严重缺陷在收敛,另一个可能通过的用例集中在低风险模块、阻塞用例堆在核心链路上。要判断测试进度是否真实可控,需要把执行百分比与执行质量、覆盖进度、缺陷态势、时间与产能四类指标放在一起看。本文给出这些指标的清单、可复算口径和组合判读方法。
要点总览(TL;DR)
- 用例执行百分比只反映工作量,判断测试进度还要看执行质量、覆盖进度、缺陷态势、时间与产能四类指标。
- 通过率按“通过用例数÷已执行有效用例数”计算,排除阻塞与无效用例;阻塞率、需求覆盖完成度、严重缺陷存量各有独立分母和时间窗。
- 多个指标要交叉判读:高执行百分比叠加低通过率、低覆盖完成度或严重缺陷存量不降,说明进度可能虚高,应触发复核。
- 阈值应结合项目风险等级和历史基线确定,指标用于考核时需配合抽查,防止凑数执行。
- 本文只覆盖测试运行过程,缺陷修复闭环与测试报告结论属于其他主题,需分别形成结论后再合并使用。
评估目标:测试进度要回答哪三个问题
测试进度评估的目的,是支撑“当前版本能否进入下一阶段”这个判断。把这个问题拆开,测试进度实际要回答三件事:已执行的部分质量如何,关键范围是否已经覆盖,剩余风险与剩余时间是否可控。三个问题分别对应结果可信度、范围完整性和收尾可行性,缺任何一项,进度结论都不完整。
用例执行百分比在这套框架里只承担工作量口径:已执行用例数占计划用例数的比例。它能说明测试活动铺开了多少,无法说明执行结果是否通过、执行的是不是关键用例、失败和阻塞是否在收敛。把它当作进度的唯一指标,等于用投入量代替产出质量。
评估结论的主要使用者是测试负责人,用途是决定继续执行、补充测试还是暂停排查。这个用途决定了指标要能支撑判断,而不只是展示数字:每个指标都需要明确口径,多个指标之间要能交叉解读。指标本身不构成发布放行依据,发布决策还要结合缺陷修复闭环和测试报告结论,这两部分属于其他主题,本文不展开。
指标与范围:除执行百分比外应纳入的四类指标
补充指标按补足的盲区分为四类。每类解决执行百分比看不到的一个问题,选择时优先保证四类都有代表指标,再根据项目风险增加细分项。
执行质量类
补足“跑了但是不是有效”的盲区。核心指标包括通过率、阻塞率和无效用例率。通过率反映已执行用例中结果正常的比例;阻塞率反映因环境、数据或依赖问题无法执行的用例占比,这类用例虽然计入了执行动作,却没有产生有效验证;无效用例率反映用例本身设计错误、重复或与当前版本无关的比例。三个指标共同回答“执行量里有多少是有效验证”。
覆盖进度类
补足“跑的是不是关键范围”的盲区。核心指标包括需求覆盖完成度、风险等级覆盖和关键路径覆盖。需求覆盖完成度看本期纳入测试的需求中有多少已通过验证;风险等级覆盖看高优先级需求和高风险模块是否已安排并完成用例;关键路径覆盖看核心业务流程是否至少完成一轮端到端验证。执行百分比按用例条数计算,用例分布不均时,高执行比例可能对应关键模块尚未触碰。
缺陷态势类
补足“测试结果是否在推动风险收敛”的盲区。观察新增与关闭节奏、严重缺陷存量和重开率。新增缺陷持续高于关闭缺陷,说明发现速度超过修复速度;严重缺陷存量按发现时间分桶后仍不下降,说明高风险问题在积压;重开率偏高说明修复质量不稳定。这类指标在本文只作为进度信号使用,缺陷修复闭环与验证跟踪的具体流程归缺陷修复主题。
时间与产能类
补足“剩余工作能否按时完成”的盲区。核心指标包括剩余有效工作量、日均有效执行数和预计完成日。剩余有效工作量是计划内尚未有效执行的用例折算量,需要扣除阻塞和无效用例;日均有效执行数取近几个统计周期的有效执行均值;预计完成日由剩余有效工作量除以日均有效执行数推算。执行百分比接近100%但剩余工作集中在阻塞用例上时,预计完成日会明显后移,这个信号在执行百分比里看不到。
指标范围限定在测试运行过程。测试报告编写、质量评估结论、发布评审材料属于其他主题,本文只讨论运行过程中的度量。
数据口径:每个指标的分子、分母与时间窗
指标要能复算,必须写清分子、分母、统计时间窗和缺失值处理。同一指标在不同口径下会得出不同结论,跨团队比较前先对齐口径。下表给出关键指标的推荐口径。
| 指标 | 计算公式 | 分母说明 | 时间窗 | 缺失值/异常处理 |
|---|---|---|---|---|
| 用例执行百分比 | 已执行用例数 ÷ 计划用例数 | 本期测试计划内的用例总数 | 本统计周期累计 | 计划变更需重设基线并注明 |
| 通过率 | 通过用例数 ÷ 已执行有效用例数 | 排除阻塞与无效用例后的执行数 | 本统计周期,注明起止日期 | 分母为零时记为“无有效执行”,不记0% |
| 阻塞率 | 阻塞用例数 ÷ 计划执行用例数 | 本期计划执行用例总数 | 统计时点快照 | 区分环境阻塞与依赖阻塞,分别统计 |
| 需求覆盖完成度 | 已通过验证的需求数 ÷ 本期纳入测试的需求数 | 本期测试范围内的需求总数 | 本统计周期累计 | 需求范围变更需同步调整分母 |
| 严重缺陷存量 | 统计时点未关闭的严重及以上缺陷数 | 不适用(计数指标) | 统计时点 | 按发现时间分桶,观察趋势而非单点 |
| 重开率 | 被重开的缺陷数 ÷ 已关闭缺陷数 | 统计周期内关闭的缺陷数 | 本统计周期 | 分母为零时标注“本期无关闭缺陷” |
| 日均有效执行数 | 统计周期内有效执行次数 ÷ 统计天数 | 统计周期天数 | 建议取近3至5个工作日 | 剔除重跑与无效执行 |
几个口径细节需要单独说明。用例重跑时,同一用例只计一次有效执行结果,以最后一次有效结果为准,重跑次数可作为稳定性信号单独记录,不重复计入执行数。跨版本对比时,用例集和需求范围发生变化,执行百分比和通过率不具备直接可比性,应重新建立基线后再比较。分母为零的情况在早期测试阶段很常见,此时应标注“无有效数据”,避免用0%或100%制造误导。
计算与评估步骤:从取数到形成进度判断
多指标评估的关键是把数字组合成判断,而不是各看各的。以下五步给出从取数到结论的流程。
- 确定统计周期与基线。明确本期计划用例数、纳入测试的需求清单和风险清单,作为所有比例指标的分母来源。基线一旦确定,周期内变更需记录并注明。
- 按口径取数并清洗。剔除无效执行,对重跑用例去重,把阻塞用例单独标记并区分环境阻塞与依赖阻塞。清洗后的数据才进入计算。
- 并列观察核心指标。把执行百分比与通过率、需求覆盖完成度、严重缺陷存量放在同一张表里对照,重点识别组合异常:高执行低通过,说明执行量上去了但结果不可信;高执行低覆盖,说明执行集中在非关键用例;高执行但严重缺陷存量不降,说明风险尚未收敛。
- 设定触发复核的条件。例如通过率较上一周期骤降、阻塞率上升超过约定幅度、严重缺陷存量连续两个周期不下降。触发后由测试负责人组织复核,确认是数据问题还是真实风险。
- 形成结论。结论分为三类:可继续(指标组合正常,按计划推进)、需补测(覆盖不足或阻塞集中在关键路径,需补充执行)、需暂停排查(通过率异常或严重缺陷积压,先定位原因再继续)。
当测试用例、执行记录和缺陷数据分散在不同工具中时,取数和清洗会占用大量时间,口径也容易在手工汇总中走样。ONES 测试管理支持测试用例与需求、任务关联,测试计划与迭代关联,并提供测试计划的多维度概览和通过率查看;未通过的用例可快速创建缺陷任务并在测试与研发团队间流转。把执行、覆盖和缺陷信号放在同一条流程里记录,上述五步的取数环节可以直接基于过程数据完成,减少口径对齐成本。
例子:一个迭代内的指标组合判读
以下数值为演示假设,仅用于说明判读方法,不可直接套用到实际项目。
某迭代计划执行用例200条,统计时点已执行160条,其中通过110条、失败30条、阻塞20条;本期纳入测试的需求20个,已通过验证12个;统计时点未关闭的严重缺陷8个,上一周期为6个。
按口径计算:执行百分比为160÷200=80%;通过率为110÷(160−20)=78.6%,分母排除了20条阻塞用例;阻塞率为20÷200=10%;需求覆盖完成度为12÷20=60%。
只看执行百分比,80%容易被读成“接近完成,可以准备收尾”。把四个指标放在一起,结论不同:通过率78.6%意味着已执行的有效用例中约两成未通过,失败集中在哪些模块需要进一步定位;需求覆盖完成度60%明显落后于执行百分比,说明已执行用例没有均匀落在需求上,部分需求尚未通过验证;严重缺陷存量从6个升到8个,风险在累积而非收敛。综合判断应归入“需补测并复核”,优先处理阻塞用例和未覆盖需求,同时排查严重缺陷的修复节奏。
这个例子也说明执行百分比与覆盖完成度可以出现大幅偏离。偏离本身不是问题,偏离的原因才是需要追查的对象:可能是用例分布偏向低风险模块,也可能是高优先级需求的用例被阻塞。
解读与限制:指标不能替代判断的地方
指标反映的是统计时点的状态,不能证明质量已经达标,也不构成发布放行的充分条件。通过率高只说明已执行部分结果正常,未执行部分和未覆盖需求的风险仍然存在。把指标直接等同于质量结论,会掩盖范围之外的未知风险。
指标之间的可比性受多个因素影响。用例粒度不同,同样一条用例覆盖的功能范围可能相差数倍,通过率的含义随之变化;重跑策略不同,执行数和通过率的统计结果也会不同。跨团队、跨版本比较前,应先确认用例设计和执行策略是否一致。
阈值应结合项目风险等级和历史基线确定,不存在通用的达标线。高风险项目对通过率和严重缺陷存量的要求更严,成熟项目的基线更稳定,可以设更窄的波动区间。阈值的作用是触发复核,不是自动判定通过或失败。
指标一旦被用于考核,可能出现凑数执行、拆分用例、把难执行的用例标记为阻塞等行为,使数字好看而实际验证不足。应对方式是配合抽查:定期抽取已执行用例核对执行记录和结果,核对阻塞用例的真实原因。指标用于改进过程时信号更可靠,用于评价个人时需要额外的校验机制。
最后明确分工:本文的指标服务于测试运行过程中的进度判断;缺陷修复闭环与验证跟踪、测试报告与质量评估结论分别属于其他主题,需要在那两类工作中形成结论后,再与本文的进度判断合并使用。
常见问题
统计周期内计划用例发生变更,执行百分比和通过率还能直接比较吗?
不能直接比较。计划用例数变化会同时改变执行百分比的分母和通过率的统计基础,前后两个周期的数字含义不同。建议在变更发生时重设基线,记录变更前后的计划用例数,并在报表中注明基线调整日期。跨周期对比时,用同一基线下的数据比较,或分别说明两个基线的口径差异。
阻塞用例应该计入执行百分比吗?
这取决于团队对“执行”的定义,关键是保持口径一致并单独披露。如果阻塞用例计入了执行动作,执行百分比会偏高,需要通过阻塞率单独说明其中有多少未产生有效验证;如果阻塞用例不计入执行,执行百分比更接近有效工作量,但会低估测试活动的实际投入。两种做法都可以,前提是在报表中写明口径,并保证跨周期一致。
早期测试阶段大量指标分母为零,怎么呈现才不误导?
分母为零时标注“无有效数据”,不要记成0%或100%。0%容易被读成“全部失败”,100%容易被读成“全部通过”,两者都与事实不符。可以在报表中留空并加备注,同时用绝对数呈现当前状态,例如“已执行12条,通过10条,阻塞2条”,等有效执行积累到一定数量后再计算比例。
这些指标能不能直接用来考核测试人员?
需要谨慎。指标用于改进过程时信号较可靠,用于评价个人时可能出现凑数执行、拆分用例、把难执行的用例标记为阻塞等行为,使数字好看而实际验证不足。如果必须与考核挂钩,建议配合抽查机制:定期抽取已执行用例核对执行记录和结果,核对阻塞用例的真实原因,并把覆盖完成度和严重缺陷收敛情况纳入评价,避免只看执行数量。
测试执行数据分散在多个工具里,怎么保证指标口径一致?
先统一指标定义,再统一取数来源。把每个指标的分子、分母、时间窗和缺失值处理写成文档,明确数据从哪个系统取、由谁维护。如果条件允许,把用例、执行记录和缺陷放在同一条流程里记录,减少手工汇总环节。ONES 测试管理支持测试用例与需求、任务关联,测试计划与迭代关联,并提供测试计划的多维度概览和通过率查看;未通过的用例可快速创建缺陷任务并在测试与研发团队间流转,有助于在执行过程中直接沉淀取数所需的过程数据。
