评估测试执行进度,需要围绕“计划内用例是否按预期执行并产出可判定结果”采集数据:用例范围与优先级、计划时间窗、逐条执行状态与时间戳、执行人与环境、阻塞与跳过原因、结果判定与重测记录。只有把执行率、通过率、阻塞率等指标连同分子分母、时间窗和缺失值规则一起固定下来,进度才可复算,也才能识别进度是被跳过、阻塞还是重复执行掩盖的。
要点总览(TL;DR)
- 评估测试执行进度,核心数据是计划内用例清单、逐条执行状态与时间戳、执行人与环境、阻塞与跳过原因、结果判定与重测记录,缺一项就难以复算。
- 执行率以本轮计划用例总数为分母,通过率以已执行用例数为分母;跳过是否计入已执行、通过率是否含重测后通过,必须在指标定义里写清楚。
- 取数按冻结计划清单、归类执行记录、计算并保留分子分母、抽样核对附件、异常回溯五步执行,核验记录与指标一起归档。
- 执行率高不等于质量达标,需结合通过率、阻塞率、跳过率与定性证据解读;轮次范围变更、用例增删、环境差异时数据不可比,比较前要说明。
- 持续跟踪按轮次对比趋势,比单点快照更能反映测试执行的真实状态。
评估测试执行进度要回答什么问题
测试执行进度评估的对象是测试运行过程本身,即本轮计划中的用例被执行到什么程度、执行结果是否足以支撑判断、剩余工作还有多少。把“进度”拆成这三个问题,采集数据时才有明确指向,避免把缺陷修复状态、测试报告结论混入执行进度。
第一个问题是计划范围执行了多少。需要知道本轮计划包含哪些用例、其中多少条已经执行,以及未执行部分集中在哪些模块或优先级。第二个问题是执行结果是否可判定。一条用例被点开、被标记,并不等于产出了可用结果;通过、失败、阻塞、跳过各自代表不同的完成状态,只有状态明确且附有依据,执行才算有效推进。第三个问题是剩余工作是否可预估。已执行比例之外,还要看未执行用例的数量与分布、阻塞用例的解除条件,才能判断后续工作量。
需要明确边界:本文只关注测试运行过程的数据与指标。失败用例关联的缺陷如何修复、如何验证关闭,属于缺陷修复闭环与验证跟踪的主题;测试报告如何汇总质量结论,属于测试报告与质量评估的主题。本文在需要时会把缺陷记录作为执行结果的关联证据引用,但不展开其流转过程。
还要区分执行进度与质量结论。执行率高说明测试跑得多,通过率低说明已执行部分问题集中,两者组合可以提示风险,但都不能直接得出“质量达标”或“可以发布”的结论。进度指标回答的是“测到哪了”,质量判断还需要结合缺陷严重程度、覆盖范围和业务风险另行评估。
需要采集哪些数据与证据
数据采集按用例、执行、结果、证据四个维度组织。每一类数据都要明确最低字段要求,否则后续计算指标时会出现口径分歧。下表给出可直接对照的采集清单,来源系统一列按常见测试管理工具的承载位置填写,实际使用时按团队工具调整。
| 维度 | 数据项 | 最低字段要求 | 来源 | 必填 |
|---|---|---|---|---|
| 用例 | 计划内用例清单 | 用例编号、标题、所属模块、优先级、是否纳入本轮计划 | 用例库与测试计划 | 是 |
| 执行 | 逐条执行状态 | 未执行/执行中/通过/失败/阻塞/跳过 | 测试计划执行记录 | 是 |
| 执行 | 执行时间戳 | 状态变更时间,至少记录首次执行与最终状态时间 | 执行记录 | 是 |
| 执行 | 执行人与环境 | 执行人、测试环境、构建版本号 | 执行记录 | 是 |
| 结果 | 失败关联记录 | 缺陷编号或问题记录链接 | 缺陷管理 | 失败用例必填 |
| 结果 | 重测记录 | 重测次数、重测时间、重测结果 | 执行记录 | 发生重测时必填 |
| 证据 | 执行附件 | 日志、截图、请求响应等可复核材料 | 执行记录附件 | 失败与阻塞建议必填 |
| 证据 | 阻塞与跳过原因 | 书面原因、责任人、预计解除时间(阻塞) | 执行记录或风险登记 | 阻塞与跳过必填 |
用例维度决定分母。计划内用例清单必须在轮次开始时固定,包含优先级和所属模块,便于后续按模块、按优先级拆分执行率。执行维度决定分子和状态分布,其中执行人、环境、构建版本三项常被忽略,但缺少它们就无法判断不同环境下的结果是否可比。结果维度把失败用例与缺陷记录对应起来,重测次数和重测结果则影响通过率口径。证据维度用于核验,执行日志和附件让抽样复核有据可查,阻塞与跳过的书面原因则解释进度缺口。
缺失与例外需要提前定规则。未登记原因的跳过,应单独标记为“原因缺失的跳过”,在指标中计入跳过数但在解读时提示数据质量;无时间戳的执行记录,标记为“时间不明”,不参与按日统计,只计入累计状态。规则写进采集清单,后续计算时就不会临时争论某条记录算不算数。
在工具承载上,ONES 测试管理支持测试用例与需求、任务关联,测试计划与迭代关联,并提供测试计划的规划和执行,可将用例分配执行人,并从多维度概览测试计划进度。这些能力对应上述用例清单与执行记录的集中管理;逐条执行时间戳、执行环境与构建版本等字段是否完整记录,需在实际配置中核验。
指标口径:公式、分母与时间窗
指标必须带公式、分子、分母、时间窗和单位,才能被不同人复算并跨轮次比较。下表定义四个核心指标,分母统一以本轮计划用例清单为基准,通过率单独以已执行用例数为分母。
| 指标 | 公式 | 分子 | 分母 | 时间窗 | 单位 |
|---|---|---|---|---|---|
| 执行率 | 已执行用例数÷计划内用例总数×100% | 状态为通过、失败、阻塞、跳过的用例数 | 本轮计划用例总数 | 本轮次起止时间,取快照时点 | % |
| 通过率 | 通过用例数÷已执行用例数×100% | 状态为通过的用例数(含或不含重测后通过需注明) | 已执行用例数 | 同上 | % |
| 阻塞率 | 阻塞用例数÷计划内用例总数×100% | 状态为阻塞的用例数 | 本轮计划用例总数 | 同上 | % |
| 跳过率 | 跳过用例数÷计划内用例总数×100% | 状态为跳过的用例数 | 本轮计划用例总数 | 同上 | % |
| 重测率 | 发生重测的用例数÷失败用例数×100% | 至少重测一次的用例数 | 曾判定为失败的用例数 | 本轮次内 | % |
执行率的分母必须固定为本轮计划范围。若把计划外临时补充的用例计入分母,或把已移出计划的用例继续保留,执行率就会失真。已执行的口径需要明确:通过、失败、阻塞、跳过都代表该用例已被处理并产出了状态,计入已执行;未执行和执行中不计入。跳过是否计入已执行,是口径分歧的高发点,本文建议计入已执行但在解读时单独看跳过率,因为跳过意味着该用例本轮不会产出验证结果。
通过率的分母用已执行用例数,而不是计划总数,这样它衡量的是已跑部分的通过情况。是否包含重测后通过,要在指标定义里写清楚:包含重测后通过时,通过率反映最终结果;不包含时,通过率反映首次执行质量。两种口径不能混用,跨轮次比较时必须使用同一口径。
时间窗按轮次或按日统计,并注明数据快照时点。按轮次统计适合版本验收,按日统计适合观察执行推进节奏。无论哪种,都要记录取数时刻,因为执行状态会持续变化,同一指标在不同时点取值不同。分母为零和数据不可比的情形要预先处理:计划范围为空时,执行率不计算并标注“无计划用例”;轮次范围变更、用例增删时,保留变更前后的清单版本,指标按同一版本清单计算,跨版本比较时说明差异。
计算与核验步骤
从取数到核验按五步执行,每一步留下可追溯的记录,保证结果能被他人复算。
- 冻结本轮计划用例清单与快照时点。导出计划内用例编号、优先级、模块,记录导出时间和本轮起止时间,作为分母的唯一依据。
- 按状态归类逐条执行记录。把每条用例的最新状态归入未执行、执行中、通过、失败、阻塞、跳过之一;同一用例存在多条记录时取快照时点前的最新状态,出现状态回退(如通过后又改为失败)时保留回退记录并注明原因。
- 按公式计算各指标,保留分子分母原始数值。每个指标同时记录分子数、分母数和计算结果,便于复核时直接验算,而不是只看百分比。
- 抽样核对执行记录与日志、附件是否一致。按模块和状态分层抽样,重点核对失败与阻塞用例是否附有可复核材料,通过用例是否存在无附件、无操作痕迹的情况。
- 对异常值回溯原因并记录。执行率单日突增、跳过集中出现在某一模块、阻塞率异常升高等情况,逐一查明是批量导入、环境故障还是登记错误,把结论写入核验记录。
核验记录模板可以包含:轮次名称、快照时点、计划用例总数、各状态数量、各指标分子分母与结果、抽样清单与核对结论、异常项及原因。这份记录与指标一起归档,下一轮对比时可以直接复用口径。
在记录承载上,ONES 测试管理支持未通过的用例快速创建缺陷任务,缺陷任务在测试与研发团队间流转,也提供测试计划进度和通过率的概览。执行记录与缺陷记录的关联可以减少手工核对失败用例的工作量;重测次数、阻塞与跳过原因的登记方式,需按团队实际配置确认。
一个可复算的例子
假设某轮测试计划用例200条,快照时点已执行150条,其中通过120条、失败20条、阻塞10条、跳过5条,未执行45条,执行中5条。按前述口径计算如下。
| 指标 | 分子 | 分母 | 结果 |
|---|---|---|---|
| 执行率 | 150(通过120+失败20+阻塞10+跳过5,另5条执行中不计入) | 200 | 75.0% |
| 通过率 | 120 | 150 | 80.0% |
| 阻塞率 | 10 | 200 | 5.0% |
| 跳过率 | 5 | 200 | 2.5% |
若把5条跳过和5条执行中一并计入已执行,执行率会变成160÷200=80.0%,比实际高出5个百分点。跳过的用例本轮不会产出验证结果,执行中的用例尚未形成判定,把它们算作已执行会掩盖真实缺口。这就是分母和状态归类必须写清楚的原因。
再看重测对通过率的影响。假设20条失败用例中有8条经过修复后重测通过。若通过率包含重测后通过,分子变为128,通过率为128÷150=85.3%;若不包含,通过率仍为80.0%。两种口径都合理,但含义不同:前者反映最终验证结果,后者反映首次执行质量。重测率为8÷20=40.0%,说明失败用例中有四成进入了重测环节。报告通过率时必须注明采用哪种口径,否则跨轮次比较会得出错误结论。
如何解读结果与避免误判
单看执行率容易误判。执行率高、通过率也高,通常说明测试推进顺利;执行率高但通过率低,说明已跑部分问题集中,需要看失败用例的严重程度和模块分布,判断是集中缺陷还是用例本身有问题;执行率中等但阻塞率高,说明进度受环境或依赖卡住,应优先解除阻塞而不是催促执行;跳过率偏高则要检查跳过原因是否合理,是否存在为赶进度而批量跳过的情况。
进度指标不能替代质量结论。执行率和通过率反映测试运行状态,不能直接推导出产品可以发布。把进度指标作为个人绩效的唯一依据同样不妥,用例难度、环境稳定性、需求变更都会影响执行节奏,需要结合执行人反馈和阻塞记录综合判断。
以下情形下数据不可比,比较前需要说明:轮次范围变更导致计划用例增删;用例库调整导致同一模块的用例数量变化;测试环境或构建版本不同导致结果差异;统计时间窗不同导致快照时点不一致。遇到这些情况,应保留变更记录,按同一口径重新计算或明确标注不可比。
定量指标之外还需要补充定性证据:阻塞原因说明是否具体到依赖方和预计解除时间,执行人对用例可执行性的反馈,风险登记中是否记录了未覆盖范围。这些信息解释数字背后的原因,是解读进度缺口的关键。
持续跟踪建议按轮次对比,而不是只看单点快照。把每轮的执行率、通过率、阻塞率、重测率连同分子分母和快照时点排成序列,观察趋势和异常波动,比单次数字更能反映测试执行的真实状态。ONES 测试管理提供测试计划进度和通过率的概览,并支持用例属性筛选与按用例库、测试计划配置权限,便于按模块和轮次组织跟踪;具体统计时间窗与快照机制需结合实际配置确认。
常见问题
计划执行中途新增或移出用例,执行率还能跨轮次比较吗?
可以比较,但需要保留变更前后的清单版本,并说明差异。执行率的分母是本轮计划用例总数,中途新增用例会改变分母,直接与上一轮对比会失真。建议按同一版本清单计算指标,跨版本比较时标注新增、移出用例的数量和原因;如果变更幅度较大,可同时给出按原清单口径和按最终清单口径的两组结果,让读者自行判断。
跳过用例计入已执行,会不会让执行率虚高?
会带来高估风险,所以口径要配套。跳过意味着该用例本轮不会产出验证结果,把它计入已执行,执行率反映的是“已处理”而非“已验证”。建议在指标定义中同时保留跳过率,解读时单独看跳过占比和原因;如果跳过集中在某模块或某类原因,应视为进度缺口而非完成量。团队也可以约定跳过不计入已执行,但两种口径不能混用。
执行记录缺少时间戳或附件时,怎么处理才不影响指标可信度?
先标记再统计。无时间戳的记录标记为“时间不明”,不参与按日统计,只计入累计状态;失败与阻塞用例缺少附件时,在核验记录中列为待补证据,抽样复核时重点检查。缺失比例较高时,应在指标旁注明数据质量提示,避免把不完整记录当作完整结果使用。采集清单里提前写明必填项和缺失处理规则,可以减少事后争论。
通过率包含重测后通过和不包含,实际报告时选哪种?
取决于报告目的。包含重测后通过,反映最终验证结果,适合版本验收和发布判断;不包含时,反映首次执行质量,适合观察开发提交质量与用例有效性。两种口径都合理,关键是同一份报告、同一轮次对比中保持一致,并在指标旁注明口径。若同时需要两种视角,可以并列给出首次通过率和最终通过率,并附重测率说明失败用例进入重测的比例。
用测试管理工具承载执行记录时,哪些字段需要提前确认?
重点确认四类字段:逐条执行状态与状态变更时间、执行人与测试环境及构建版本、阻塞与跳过原因的登记方式、重测次数与重测结果。ONES 测试管理支持测试计划的规划和执行,可将用例分配执行人,并从多维度概览测试计划进度,也支持未通过的用例快速创建缺陷任务(F2、F3)。时间戳、环境、构建版本、重测记录等字段是否完整可用,需在实际配置中核验后再决定取数方式。
