同一版本测试报告与原始记录对不上,会直接影响质量结论的可信度。排查时先冻结当前结论,把通过率、缺陷数、需求覆盖率等指标逐项拆到原始记录层,再按“数据来源—同步状态—统计口径”三段顺序核对,找到差异来源后修正报告或标注口径,并留下取数说明与口径版本。
要点总览(TL;DR)
- 先冻结当前版本的质量结论,把通过率、缺陷数、需求覆盖率逐项与原始记录并列,形成指标差异清单,标明差异幅度和受影响结论。
- 按“数据来源—同步状态—统计口径”三层顺序排查:先确认报告取数对象是否同一版本、同一测试计划、同一时间快照,再查明细是否完整同步,最后核对分子分母、状态映射和去重规则。
- 差异确认后以原始记录为准修正报告,或保留两套数值并注明各自口径;修正前保留原报告版本,涉及发布判断交由发布审批环节处理。
- 修正后用同一口径重新生成报告,核对关键指标并抽查用例、缺陷、需求明细,确认汇总与明细一致。
- 在报告中固定取数时间、数据范围和口径版本,约定复核责任人与复核时点,避免同一版本再次出现两套数据。
先确认不一致的具体表现与影响范围
发现报告与原始记录不一致时,第一步是把“数据不一致”这个笼统判断拆成可核对的指标清单。报告里通常不止一个数字,通过率、缺陷数、需求覆盖率各自取自不同的数据链路,偏离程度和原因可能完全不同。先列清单,才能判断这次差异是单点问题还是系统性问题。
具体做法是把报告中用于质量结论的关键指标逐项抄出来,与原始记录中的对应值并列。差异幅度要写清楚是绝对值还是百分比,例如通过率报告值92%、原始记录88%,差4个百分点;缺陷数报告值35个、原始记录41个,差6个。差异幅度本身也是线索:小幅偏差更可能来自统计时点或状态映射,大幅偏差更可能来自取数对象错误或数据漏同步。
接着确认差异的分布特征。差异集中在某一测试阶段,说明该阶段的执行结果可能未完整回传;集中在某一模块,说明该模块的用例或缺陷关联可能断裂;集中在某一批用例,说明这批用例的状态或执行记录可能被重复统计或遗漏。分布特征能大幅缩小后续排查范围。
完成清单后,判断当前质量结论是否需要暂缓使用。如果差异指标直接支撑“可以发布”或“质量达标”的判断,应先冻结该结论,避免在原因未明时对外引用。如果差异只出现在辅助指标上,核心结论仍可由其他证据支撑,可以标注待核后继续内部讨论,但对外表述需谨慎。
| 指标 | 报告值 | 原始记录值 | 差异幅度 | 受影响结论 |
|---|---|---|---|---|
| 通过率 | 示例:92% | 示例:88% | 4个百分点 | 版本质量是否达标 |
| 缺陷数 | 示例:35个 | 示例:41个 | 6个 | 遗留缺陷风险评估 |
| 需求覆盖率 | 示例:100% | 示例:96% | 4个百分点 | 测试完整性判断 |
表中数值为演示情景,实际排查时按项目真实数据填写。这份清单是后续分层排查的输入,也是修正报告时的对照基准。
按数据来源、同步状态、统计口径逐层排查
排查顺序建议固定为三层:先查数据来源,再查同步状态,最后查统计口径。这个顺序的依据是,越靠前的层出问题,影响面越大、越容易解释全部差异;越靠后的层出问题,通常只影响个别指标。每层排查都要留下证据,把“假设”变成“已排除”或“已确认”,避免凭印象下结论。
数据来源层:报告取的是不是同一份数据
先核对报告取数对象与原始记录是否指向同一版本、同一测试计划、同一时间快照。常见情形包括:报告关联的是上一个版本的测试计划;报告生成时间早于最后一次用例执行或缺陷状态变更,导致后续数据未进入报告;同一版本存在多个测试计划,报告只取了其中一个而原始记录覆盖全部。核对方式是打开报告的取数配置或筛选条件,与原始记录的版本号、计划编号、时间范围逐项比对,并记录比对结果作为证据。如果这一层就发现对象不一致,后续两层可以暂缓,先修正取数范围再看差异是否消失。
同步状态层:数据在流转中是否完整
数据来源一致后,检查用例执行结果、缺陷状态、需求关联是否完整同步到报告所依赖的数据中。重点看三类现象:延迟,即执行结果或缺陷状态已变更但报告尚未刷新;重复,即同一用例或缺陷被多次计入;漏同步,即部分记录未进入统计范围。核对方法是抽查若干条明细,从用例执行记录追到缺陷单,再追到需求关联,确认每条记录在报告汇总中只出现一次且状态一致。明细与汇总对不上,说明同步环节存在问题。这一层排查需要能追溯单条记录的流转路径,ONES 测试管理支持测试用例与需求、任务关联,测试计划与迭代关联,未通过的用例可快速创建缺陷任务并在测试与研发团队间流转,这类关联关系可以作为核对明细归属的线索;具体同步机制仍需结合项目实际配置确认。
统计口径层:同一个词是不是同一个算法
前两层都排除后,差异多半来自口径。通过率要确认分子分母:分母是全部用例还是已执行用例,分子是首次通过还是含重试通过。缺陷数要确认状态映射:哪些状态计入“有效缺陷”,已关闭、已拒绝、重复缺陷是否剔除。需求覆盖率要确认分母范围:是版本内全部需求还是纳入本次测试范围的需求,未关联用例的需求如何计算。去重与重开规则同样关键:同一缺陷重开后算一个新缺陷还是沿用原记录,同一用例多次执行取哪次结果。口径核对的方式是找到报告的计算说明或配置项,与原始记录的统计方式逐条对照,把不一致的规则记下来。口径变更如果没有版本记录,也会造成同一版本两套数字。
三层排查完成后,形成一份排查记录,写明每层的假设、核对证据和排除结论。如果差异由多层共同造成,按影响大小排序处理,先修正影响面最大的那一层。
差异确认后的处置与结论修正
定位原因后,处置的核心原则是以原始记录为准修正报告数值,或者保留两套数值并注明各自口径。选择哪种方式取决于差异性质和报告用途:如果差异来自取数错误或漏同步,原始记录可信,直接修正报告并说明修正原因;如果差异来自口径不同且两种口径都有业务含义,可以保留两套数值,在报告中并列展示并标注适用范围,避免读者误用。
修正操作前先保留原报告版本。可以另存副本、导出归档或记录原报告的关键数值与生成时间,确保修正后仍能追溯原始状态。直接覆盖原报告会让后续复核失去对照基准,也会让已经引用过原结论的人无法判断变化来源。
对受影响的质量结论重新表述。修正后的结论要写清楚三件事:修正依据是什么,即差异来自哪一层、核对证据是什么;修正后的数值是多少;结论的适用范围是什么,例如“基于修正后数据,本版本通过率88%,遗留缺陷41个,其中高优先级6个,质量结论调整为有条件通过”。涉及发布判断时,把修正后的数据提交给发布审批环节处理,由该环节按既定规则决定是否放行,本文不展开门禁规则。
如果差异原因暂时无法完全定位,报告应标注“数据待核”并说明已知的差异范围,质量结论相应降级为暂定结论。暂定结论不能作为发布依据,但可以作为继续排查期间的内部参考。
验证恢复并防止同一版本再次出现两套数据
修正完成后,用同一取数口径重新生成报告,核对关键指标是否与原始记录一致。核对要覆盖全部受影响指标,不能只验证修正过的那一项,因为同一原因可能波及其他指标。重新生成后,把新报告的数值与原始记录逐项比对,差异应为零或在可解释范围内。
再做明细抽查。从用例、缺陷、需求三类记录中各抽若干条,确认每条明细都能在报告汇总中找到对应位置,且状态、数量一致。抽查样本应包含差异集中出现的模块或阶段,以及边界情况,例如重开的缺陷、多次执行的用例、未关联用例的需求。明细与汇总对得上,才能说明修正不是只改了汇总数字。
复核通过后,在报告中固定取数时间、数据范围和口径版本。取数时间写明报告生成的具体时点;数据范围写明版本号、测试计划编号和纳入统计的模块;口径版本写明通过率、缺陷数、需求覆盖率各自采用的计算规则及版本号。这三项信息让后来者能判断报告是否可复现,也讓同一版本的两份报告有了区分依据。
最后约定复核责任人与复核时点。报告生成后由指定人员在固定时点完成复核,复核内容包括关键指标与原始记录的一致性、明细抽查结果和口径说明是否完整。复核记录与报告一并归档。ONES 测试管理支持自动生成测试报告并提供质量统计报表,也支持自定义组装报告模板,可以在模板中固定取数范围和口径说明字段,减少每次手工补录的遗漏;报告版本留存等细节需按项目实际配置确认。
| 复核项 | 记录内容 | 完成标志 |
|---|---|---|
| 取数时间 | 报告生成的具体日期与时点 | 晚于最后一次用例执行和缺陷状态变更 |
| 数据范围 | 版本号、测试计划编号、纳入模块 | 与原始记录范围一致 |
| 口径版本 | 通过率、缺陷数、覆盖率各自规则及版本号 | 与报告计算说明一致 |
| 明细抽查 | 抽查的用例、缺陷、需求编号及核对结果 | 明细与汇总逐条对上 |
| 复核人 | 姓名与复核时点 | 复核记录随报告归档 |
这套动作的价值在于把一次排查转化为可复用的口径记录。同一版本后续再出报告时,直接对照已固定的取数时间、范围和口径版本,就能快速判断新数字是否可比,避免再次出现两套结论并行的情况。
常见问题
报告生成时间晚于最后一次用例执行,差异是否一定来自取数时点?
不一定。取数时点靠后只能说明报告可能纳入了后续变更,仍需核对报告实际取数的时间快照。排查时先确认报告生成时间与最后一次用例执行、缺陷状态变更的先后关系,再打开报告的取数配置查看时间范围。如果报告按生成时点实时取数,晚生成通常意味着数据更新;如果报告按固定快照取数,生成时间晚也不代表纳入了新数据。把这两项证据放在一起,才能判断差异是否由时点造成。
通过率和缺陷数都出现偏差,应该先修哪一个?
按影响面排序,先处理能解释更多差异的那一层。如果两项偏差都指向同一测试计划取数错误,先修正取数范围,再看两项指标是否同时恢复;如果通过率偏差来自分母口径、缺陷数偏差来自状态映射,则属于两个独立问题,分别修正并分别记录。修正顺序不影响最终结论,但排查记录中要写明每项偏差对应的原因层,避免修正后无法解释哪一项因何变化。
口径不同但两种算法都有业务含义,报告该怎么呈现?
可以保留两套数值并列展示,但必须标注各自口径和适用范围。例如通过率分别按“全部用例”和“已执行用例”计算,需在报告中写明两个分母的定义,并说明质量结论采用哪一口径。并列展示的前提是两套数值都能复现,且读者能根据标注判断适用场景。如果两种口径只是历史遗留差异、没有业务区分价值,建议统一为一种口径并记录变更,减少后续误用。
差异原因暂时查不清,质量结论还能用吗?
可以将结论降级为暂定结论,并在报告中标注“数据待核”及已知的差异范围。暂定结论适合内部继续排查期间参考,不宜作为发布依据。同时应明确待核指标、已排除的原因层和下一步核对动作,让后续接手的人知道排查进行到哪一步。待差异定位后再按修正流程更新报告和结论。
复核时抽查多少条明细比较合适?
没有统一数量要求,关键是覆盖差异集中出现的模块或阶段,以及容易出错的边界情况,例如重开的缺陷、多次执行的用例、未关联用例的需求。每类记录至少抽取若干条,逐条确认能在报告汇总中找到对应位置且状态、数量一致。抽查发现对不上时,扩大同类样本继续核对,直到能判断问题是局部还是普遍存在。
