检查项目质量计划的执行情况,需要同时回答两个问题:计划规定的质量活动是否真实发生,以及这些活动是否带来了缺陷前移、返工减少等可观察结果。本文给出执行层与效果层的指标定义、计算口径、对应证据和核验步骤,并说明结果解读的限制条件。指标只有配上可追溯的记录和明确的统计范围,才能支撑可靠结论。
要点总览(TL;DR)
- 执行检查分两层:执行层看评审、检查等活动是否按频次和责任人真实发生,效果层看缺陷是否前移、返工是否下降,两层结论分开表述。
- 核心指标包括计划质量活动完成率、评审按时率、缺陷关闭周期、阶段缺陷密度、逃逸缺陷数和返工工时占比,每个指标都要写清计算式、单位、分母口径和时间窗。
- 每个指标都要配可核验证据:评审通知与意见关闭状态、检查单、缺陷单的阶段来源字段、变更单与返工工时记录,证据需带时间、责任人和对象标识。
- 取数后对关键指标抽样复核,缺失比例过高时标注为不可用;分母为零或样本过小时不计算比率,直接列计数。
- 指标不宜跨项目直接横比,也不设通用达标线,阈值应结合项目自身历史基线确定,因果判断需回到具体活动记录。
检查要回答的两个问题:活动做了没有、做了有没有用
项目质量计划执行检查的目标可以拆成两层。执行层回答“活动做了没有”:计划中规定的评审、检查、走查、测试准备等活动,是否按约定的频次、由约定的责任人真实完成。效果层回答“做了有没有用”:这些活动是否让缺陷更早被发现、让返工和缺陷外泄减少。两层各自有独立的判断依据,混在一起容易得出错误结论。
执行层的判断对象是活动本身。检查时对照质量计划的活动清单,逐项确认是否发生、发生时间是否符合频次要求、责任人是否为计划指定人员。这一层产出的是合规性结论,例如“本阶段计划评审8场,按期完成6场”。
效果层的判断对象是质量结果的变化。检查时观察阶段缺陷密度、逃逸缺陷数、返工工时占比等结果指标,与项目自身历史基线或阶段目标比较。这一层产出的是效果性结论,例如“本阶段逃逸缺陷数较上一阶段下降”。
两层结论必须分开表述。活动完成率高,只能说明计划被执行,不能直接证明质量变好;质量结果改善,也可能来自需求变更减少、人员经验提升等其他因素。把活动完成率当作质量结论,是执行检查中最常见的误用。合理的做法是先确认执行层是否达标,再在效果层寻找佐证,两层都成立时才形成较完整的判断。
指标清单与统计范围:分子、分母、时间窗怎么定
指标要可复算,必须写清计算式、单位、分母口径和统计时间窗。下表给出单项目质量控制范围内常用的六类指标。分母口径的选择要与检查目的匹配:衡量活动执行看计划活动项数和评审场次,衡量缺陷与返工看需求数、功能点数或总工时。
| 指标 | 计算式 | 单位 | 分母口径 | 建议时间窗 |
|---|---|---|---|---|
| 计划质量活动完成率 | 按期完成的活动项数 ÷ 计划活动项数 × 100% | 百分比 | 计划基线中的活动项数 | 按阶段或按月 |
| 评审按时率 | 按计划时间召开的评审场次 ÷ 计划评审场次 × 100% | 百分比 | 计划评审场次 | 按阶段或按迭代 |
| 缺陷关闭周期 | 缺陷关闭时间与发现时间之差的平均值(或中位数) | 天 | 统计期内关闭的缺陷数 | 按阶段或按月 |
| 阶段缺陷密度 | 阶段内发现缺陷数 ÷ 阶段需求数(或功能点数) | 个/需求或个/功能点 | 阶段需求数或功能点数 | 按阶段 |
| 逃逸缺陷数 | 本阶段应发现但流入下一阶段的缺陷数量 | 个 | 不适用比率时直接计数 | 按阶段 |
| 返工工时占比 | 返工工时 ÷ 总工时 × 100% | 百分比 | 统计期内总工时 | 按阶段或按月 |
时间窗要事先固定。按阶段统计的指标不与按月统计的指标混算,跨期数据不合并计算,否则分子分母的时间范围不一致,结果无法复算。统计范围限定在单个项目内部,用于判断本项目质量计划是否被执行、是否有效;组织级质量制度建设、测试用例设计与测试执行管理属于其他工作,不在本文的检查口径内。
分母口径一旦确定,在同一项目的连续检查中应保持一致。中途更换分母,例如从按需求数改为按功能点数,前后数据不可比,需要在新口径下重新建立基线。
检查证据:每类指标对应哪些可核验记录
每个指标都要有能追溯到具体时间、责任人和对象的记录支撑。证据的作用是让检查者可以抽样复核,而不是只接受汇总数字。下表给出指标与证据的对应关系及关键字段。
| 指标类别 | 主要证据 | 证据应包含的字段 |
|---|---|---|
| 计划活动完成率、评审按时率 | 评审通知、参会记录、评审意见及关闭状态、检查单、走查记录、审批记录 | 活动名称、计划时间、实际时间、责任人、参与人、意见关闭状态 |
| 缺陷关闭周期、阶段缺陷密度、逃逸缺陷数 | 缺陷单 | 缺陷编号、发现阶段、严重级别、发现时间、关闭时间、关联需求或功能点 |
| 返工工时占比 | 工时记录、变更单、返工原因标注 | 工时归属对象、工时数、返工原因、关联变更单编号 |
评审类证据要能证明评审真实发生且意见被处理。仅有会议通知不足以说明评审有效,还需要参会记录和评审意见的关闭状态。检查类证据如检查单和走查记录,应保留填写人和填写时间,系统审批记录可直接作为凭证。
缺陷类证据的关键字段是阶段来源。缺陷单需要记录缺陷是在哪个阶段发现的、是否由本阶段活动应当发现,这是计算逃逸缺陷数的基础。返工证据需要把返工工时与正常工时区分开,并标注返工原因,否则返工工时占比无法计算,也无法回溯返工来源。
所有证据都应带时间、责任人和对象标识,三者缺一都会削弱可追溯性。证据的留存方式可以是系统记录,也可以是经确认的文档,关键是检查时能按对象调取、按时间排序。
执行检查的计算与核验步骤
从取数到形成结论,建议按以下步骤操作,每一步留下可复查的记录。
- 确定统计周期与范围,锁定计划基线版本。明确本次检查覆盖哪个阶段或哪个时间段,以哪一版质量计划作为对照基准,避免用执行中修改过的计划反推完成情况。
- 按指标定义取数,记录数据来源系统和导出时间。同一指标的数据尽量来自同一来源,跨系统取数时注明各字段来源。
- 对关键指标做抽样复核。抽取一定比例的评审记录、缺陷单和工时记录,比对系统汇总数与原始凭证,确认统计逻辑与定义一致。
- 处理缺失值。记录缺失的对象和原因,例如某场评审无参会记录。缺失比例过高时,该指标标注为不可用,不强行给出数值结论。
- 对异常值回溯原因。区分口径错误与真实偏差:口径错误修正后重算,真实偏差则保留并在结论中说明。
抽样复核的重点是边界情况,例如跨阶段关闭的缺陷、计划外追加的评审、未标注原因的返工工时。这些情况最容易造成分子分母错配。核验完成后,把取数口径、抽样比例和缺失处理方式一并写入检查记录,便于后续复查。
在记录承载上,检查所需的计划活动、评审意见、缺陷和工时数据需要能在同一项目范围内关联调取。ONES 的项目计划与里程碑基线可用于对照计划与执行偏差,工时日历与成员工时报表可支撑工时类数据的统计,缺陷管理支持缺陷关联迭代并保留发现与关闭记录,测试报告可按维度汇总测试活动结果。具体字段和报表口径以实际配置为准,检查前应先确认数据来源与统计规则一致。
一个示例:某阶段质量计划执行检查怎么算
以下为演示情景,数字仅用于说明计算方法。某项目在某阶段的质量计划规定召开8场评审,实际按计划时间完成6场,另有1场延期召开、1场未召开且无记录。
评审按时率 = 6 ÷ 8 × 100% = 75%。分母是计划评审场次8场,延期和未召开的场次都计入未按时。那场无记录的评审,在证据核对时标注为“记录缺失”,并在结论中说明该场次无法确认是否实际发生,不默认按完成计算。
该阶段计划覆盖需求40项,阶段内发现缺陷60个,阶段缺陷密度 = 60 ÷ 40 = 1.5个/需求。其中12个缺陷在本阶段未被发现,流入下一阶段后才被检出,逃逸缺陷数为12个。若以本阶段发现缺陷数为分母计算逃逸比例,则为12 ÷ 60 × 100% = 20%;这一比例说明本阶段检出的缺陷中有多少属于漏检后置,解读时要与分母定义一起说明。
该阶段总工时2000小时,其中标注为返工的工时240小时,返工工时占比 = 240 ÷ 2000 × 100% = 12%。核对时抽取返工工时记录,确认返工原因标注完整,未标注原因的工时单独列出,不并入返工工时。
把上述结果组合起来看:评审按时率75%说明执行层存在缺口,同时逃逸缺陷12个、返工工时占比12%说明效果层也有改进空间。两层结论并列呈现,比单看活动完成率更能说明问题所在。若某阶段计划评审场次为零,评审按时率的分母为零,该指标不计算,直接标注“本阶段无计划评审”。
结果怎么解读:可比性、归因边界与常见误用
指标结果需要在限定条件下解读,否则容易得出过度结论。首先,不同项目的复杂度、需求变更量和团队经验不同,指标不宜直接横向比较。跨项目比较前应确认统计口径、时间窗和分母一致,即便如此,比较结果也只能作为参考。
其次,活动完成率高不必然代表缺陷少。执行层达标只说明计划被落实,效果是否改善要看效果层指标,并且要结合具体活动记录判断。例如评审按时率提升的同时逃逸缺陷下降,可以形成相互印证的判断;若两者方向相反,需要回到具体评审意见和缺陷记录中查找原因。
第三,分母为零或样本过小时不下结论。评审场次很少、缺陷数个位数时,比率波动大,更适合直接列计数而非计算百分比。缺失比例过高的指标同样标注为不可用。
第四,指标反映的是相关性。质量改善的因果判断需要结合活动记录,例如某类缺陷在增加设计评审后明显减少,才能形成较有说服力的解释。仅凭指标同向变化就认定因果关系,容易把其他因素的影响归到质量活动上。
最后,不设通用达标线。阈值应结合项目自身历史基线确定,例如以过去三个阶段的返工工时占比均值作为参照,超出一定幅度时触发复查。基线随项目阶段推进更新,检查结论也应注明所对照的基线版本。
常见问题
质量计划在执行中被调整过,检查时以哪一版计划为基准?
以本次检查所覆盖阶段生效的计划基线版本为准,并在检查记录中注明版本号和生效时间。执行中调整过的计划,需要保留变更前后的版本,检查时对照当时生效的版本判断活动是否按期完成,避免用调整后的计划反推完成情况。如果调整本身没有留下变更记录,该阶段的活动完成率结论应标注为口径存疑。
评审开了但没有留下参会记录,这场评审算完成吗?
建议不计入按期完成,单独标注为“记录缺失”。评审类证据需要同时证明评审真实发生且意见被处理,仅有会议通知不足以支撑。缺失场次应记录原因,若缺失比例过高,评审按时率这一指标整体标注为不可用,不强行给出数值结论。后续可通过补录参会记录或补充评审意见关闭状态来恢复可核验性。
返工工时没有标注原因,还能计入返工工时占比吗?
不能直接计入。返工工时占比的分子应当是明确标注为返工且注明原因的工时,未标注原因的工时单独列出,不并入分子。否则该指标无法回溯返工来源,也无法与变更单对应。检查时可先统计未标注工时的规模,若占比很小,在结论中说明影响范围;若占比较大,先补齐标注再计算。
活动完成率达标了,是否可以直接得出质量计划执行有效的结论?
不能。活动完成率属于执行层指标,只说明计划规定的活动被落实,效果是否改善要看阶段缺陷密度、逃逸缺陷数、返工工时占比等效果层指标。两层结论并列呈现,执行层达标且效果层有改善佐证时,判断才较完整。若两层方向相反,需要回到具体评审意见和缺陷记录中查找原因,例如评审是否流于形式、意见是否真正关闭。
项目刚启动,历史基线还没有,阈值怎么定?
项目初期可以先不设固定阈值,改为记录指标实际值并注明统计口径,作为后续基线的起点。积累两到三个阶段数据后,再以这些阶段的均值或区间作为参照。也可以参考同类项目的公开数据作为临时参照,但需说明口径差异。检查结论中应注明所对照的基线版本,基线更新后重新标注。
