度量研发质量保证体系,需要回答四个问题:过程是否按定义执行、检查是否有效发现问题、问题是否闭环并减少重复、质量职责是否真正履行。本文面向组织级体系评估,给出四组可复算指标的公式、分母来源、证据形式与计算步骤,并说明解读限制。指标取数与证据留痕可衔接ONES的工作项、评审与度量能力,具体口径仍需结合组织自身流程定义确定。
要点总览(TL;DR)
- 过程遵循率按“按流程执行的活动数÷应执行活动数”计算,分母来自流程定义的活动清单与裁剪记录,并按需求评审、设计评审、代码审查等活动类型分口径统计。
- 检查发现用“有效发现数÷检查工作量”衡量密度,同时按阶段、严重度、类型统计发现分布;密度与分布需结合解读,单看发现数量无法区分检查强度与问题多少。
- 预防改进闭环用“按期关闭的改进项数÷到期改进项数”和“重复问题占比”两项指标,前者看关闭时效,后者看预防是否真正生效。
- 质量职责履行用“实际履职人次÷应履职人次”加履职证据抽查合格率成对衡量,前者看覆盖,后者看记录质量。
- 所有指标固定时间窗、统计单元与缺失值处理规则,基线取自组织自身历史数据,不设通用达标线,结论需四组指标组合判断。
评估目标:质量保证体系要回答哪几个问题
质量保证体系的度量对象是组织层面的流程、检查机制与职责安排,关注这些安排是否被执行、是否产生效果。它与单项目的质量控制、测试执行属于不同层次:后者关心某个产品版本的质量结果,前者关心支撑这些结果的管理机制是否可靠。明确这一边界,可以避免把测试用例通过率、缺陷密度等单项目结果指标直接当作体系评估结论。
体系评估通常回答四类问题,每类问题对应不同的使用场景:
| 评估问题 | 关注点 | 主要使用场景 |
|---|---|---|
| 过程是否被遵循 | 定义的活动是否按流程执行,裁剪是否有依据 | 体系评审、流程裁剪合理性检查 |
| 检查是否有效发现 | 评审、检查活动是否产出有效问题,发现集中在哪些阶段和类型 | 检查机制有效性评估、评审资源投入判断 |
| 问题是否闭环预防 | 改进项是否按期关闭,同类问题是否重复出现 | 改进优先级排序、预防措施效果验证 |
| 职责是否被履行 | 应承担质量职责的角色是否实际完成履职并有证据 | 职责考核参考、角色与授权调整 |
度量结果的使用者包括质量管理部门、研发管理层和体系评审组织者。用途集中在三处:体系评审时提供事实依据,改进规划时确定优先级,职责考核时提供参考数据。需要强调的是,这些指标用于描述体系运行状态,考核用途应结合证据抽查,避免直接以单一数字排名。
指标与范围:四组指标的定义、公式与统计范围
四组指标各自回答一个问题,计算时都需要固定时间窗、统计单元和单位。统计单元可选团队、项目或阶段,同一份报告内应保持一致;时间窗建议按季度或半年,与流程评审周期对齐。下表给出可直接复算的公式。
| 指标 | 计算公式 | 分子 | 分母 | 单位 |
|---|---|---|---|---|
| 过程遵循率 | 按流程执行的活动数 ÷ 应执行活动数 | 经证据确认按定义执行的活动数 | 流程定义要求执行、且未获批准裁剪的活动数 | 百分比 |
| 检查发现密度 | 有效发现数 ÷ 检查工作量 | 经确认的有效问题数 | 检查工作量(按评审场次、检查人时或受检工作项数计) | 个/场、个/人时或个/百工作项 |
| 发现分布 | 按阶段、严重度、类型分组计数 | 各组有效发现数 | 有效发现总数 | 数量与占比 |
| 改进项按期关闭率 | 按期关闭的改进项数 ÷ 到期改进项数 | 在到期日前关闭并验证的改进项数 | 统计期内到期的改进项数 | 百分比 |
| 重复问题占比 | 重复发生的问题数 ÷ 同期问题总数 | 与历史问题同根因或同类型再次发生的问题数 | 同期登记的问题总数 | 百分比 |
| 质量职责履行率 | 实际履职人次 ÷ 应履职人次 | 有履职记录且证据可核验的人次 | 按职责矩阵应履职的人次 | 百分比 |
| 履职证据抽查合格率 | 抽查合格人次 ÷ 抽查总人次 | 证据完整、内容符合要求的人次 | 纳入抽查的人次 | 百分比 |
过程遵循率需要按活动类型分口径计算,例如需求评审、设计评审、代码审查、版本发布检查分别统计,再按活动数量加权汇总。不同活动的执行难度和证据形式差异较大,混算会掩盖薄弱环节。检查发现密度同样需要说明工作量的计量方式,评审场次与人时两种口径不可直接比较。
改进项按期关闭率的分母只计统计期内到期的改进项,未到期的改进项不进入分母,避免拉低或抬高结果。重复问题占比需要事先定义“重复”的判定规则,例如同根因、同检查项再次触发或同类问题在相邻两个周期出现,规则应在统计前固化。
数据口径与证据:分母从哪来、证据怎么留
指标可比的前提是分母来源一致、证据形式明确。分母应来自受控的流程定义与职责矩阵,而非事后估算;证据应能在系统中回溯到具体活动、责任人和时间。下表逐项列出数据来源、证据形式与缺失处理建议。
| 指标 | 分母来源 | 证据形式 | 缺失与例外处理 |
|---|---|---|---|
| 过程遵循率 | 流程文件中的活动清单、项目裁剪记录 | 评审记录、检查单、系统状态流转记录 | 无证据的活动计为未执行;经批准的裁剪从分母剔除并单独列示 |
| 检查发现密度 | 检查计划中的评审场次或检查人时 | 评审记录、问题单、检查报告 | 记录缺失的场次不计入分子分母,单独标注数据缺口 |
| 改进项按期关闭率 | 改进项台账中的到期日 | 改进项状态变更记录、验证结论 | 到期日缺失的改进项不进入分母,需补齐后纳入下期 |
| 重复问题占比 | 问题库中的全部登记问题 | 问题单的根因字段与关联关系 | 根因未填写的按“未分类”单列,不推断为重复 |
| 职责履行率 | 职责矩阵中的应履职角色与频次 | 评审签到、签字记录、系统操作留痕 | 豁免需有书面批准;无留痕视为未履职 |
缺失值处理应遵循“不推断、不补造”的原则:缺少证据的活动按未执行计,缺少到期日的改进项暂不纳入分母,根因未填写的问题单独归类。分母为零时,该指标本期不计算,标注“样本不足”,而不是记为0%或100%。裁剪与豁免必须有审批记录,并在报告中与正常执行的活动分开呈现,便于读者判断真实遵循水平。
证据留痕最好依托统一的工作项与评审记录,使活动、责任人、时间、结论形成可追溯链条。ONES支持研发全生命周期流程活动与跨域协作的可追溯性,并可将项目管理、知识库、工单管理、测试管理、效能管理等模块组合使用,为遵循率、发现记录和改进项跟踪提供数据载体;具体字段与统计口径需按组织流程配置确定。
计算与评估步骤:从取数到结论的流程
计算流程的目标是让不同团队按同一方法得出可比结果,并保留可复核的中间数据。建议按以下五步执行:
- 确定统计范围与时间窗。明确纳入的团队、项目、阶段和起止日期,形成范围清单。范围一旦确定,本期不再调整;中途新增项目单独标注。
- 取数与清洗。从流程定义、职责矩阵、评审记录、问题库和改进项台账取数,处理裁剪、豁免和重复记录。重复登记的问题按主问题合并,保留关联关系。
- 按公式计算并保留分子分母。每个指标输出分子、分母、结果值和样本量,不以百分比替代原始计数。分活动类型、分阶段的明细一并保留。
- 与基线或上期对比。基线取自组织自身历史数据,例如前四个季度的均值或上一周期结果。对比时标注样本量变化,样本量过小时提示谨慎解读。
- 形成解读与改进建议。结合四组指标交叉分析,定位薄弱活动或环节,提出可执行的改进项,并明确下期验证方式。
计算过程应留下取数脚本或查询条件、清洗规则说明和计算表,便于复核。若使用度量平台,可将指标定义固化为可复用的统计口径,减少每期重复解释。ONES基于企业不同视角支持研发数据度量体系建设,可作为指标汇总与对比的承载工具,指标定义仍需由质量管理部门先行确定。
示例:一个季度的四组指标怎么算
以下为假设情景,仅用于演示计算过程,不代表任何真实组织结果。假设某季度纳入3个团队,统计期为1月1日至3月31日。
过程遵循率。流程定义要求每团队执行需求评审、设计评审、代码审查、发布检查四类活动,按项目数应执行活动共120项。经裁剪审批剔除8项,分母为112项。证据核查确认按流程执行96项,遵循率为96÷112≈85.7%。分类型看,代码审查遵循率92%,设计评审遵循率74%,后者为本期薄弱环节。
检查发现。本期组织评审42场,登记有效发现126个,发现密度为126÷42=3.0个/场。发现分布:需求阶段28个、设计阶段35个、编码阶段41个、测试阶段22个;严重度为高18个、中67个、低41个。设计阶段发现占比27.8%,结合设计评审遵循率偏低,提示设计环节的检查投入与执行都需要关注。
改进项闭环。本期到期改进项40项,按期关闭31项,按期关闭率为31÷40=77.5%。同期登记问题210个,其中判定为重复问题的21个,重复问题占比为21÷210=10.0%。重复问题主要集中在配置管理类,说明相关改进项的预防效果尚未充分体现。
职责履行。按职责矩阵,本期应履职人次为150,有可核验记录的实际履职人次为132,履行率为132÷150=88.0%。抽查30人次,证据完整且内容合格的24人次,抽查合格率为24÷30=80.0%。两者差距说明部分履职记录存在形式化问题,需要补充证据要求。
小样本与零分母处理。假设某团队本期无到期改进项,则该团队改进项按期关闭率标注“样本不足”,不参与团队间比较;若某类活动应执行数为0,遵循率同样不计算。抽查人次少于10时,合格率仅作参考,不单独形成结论。
解读与限制:指标能说明什么、不能说明什么
四组指标需要组合解读。过程遵循率高只说明活动被执行,不能说明执行质量;若同时检查发现密度低、重复问题占比高,可能意味着检查流于形式。检查发现多既可能反映检查强度大,也可能反映过程问题多,需要结合发现分布和阶段判断。改进项按期关闭率高,还要看重复问题是否下降,否则关闭可能只是状态变更。职责履行率与抽查合格率应成对使用,前者看覆盖,后者看质量。
常见误用包括:用单一指标给团队排名;把发现数量多直接等同于质量差;把按期关闭率当作改进有效性的唯一证据;忽视分母变化导致的同比失真;在没有基线的情况下设定通用达标线。指标本身也可能被博弈,例如集中补记录、拆分改进项规避到期、把问题登记为低严重度。应对方式是定期抽查证据、核对原始记录,并对异常波动追查原因。
本文不设通用达标线。合理的做法是以组织自身历史数据建立基线,观察趋势和离散程度,再结合体系评审的判断确定改进目标。指标的作用是提供可复核的事实起点,质量绩效结论仍需结合项目结果、客户反馈和评审判断综合形成。
常见问题
过程遵循率的分母里,经批准的流程裁剪应该怎么处理?
经批准的裁剪应从分母中剔除,并在报告中单独列示,与正常执行的活动分开呈现。这样遵循率反映的是“要求执行且未获豁免的活动被实际执行的比例”,不会因为合理裁剪而虚低。需要同时保留裁剪审批记录,便于复核裁剪依据是否充分;未经批准的自定义省略仍计入分母,按未执行处理。
检查发现数量多,说明检查有效还是过程问题多?
两种可能都存在,需要结合发现分布和过程遵循率判断。如果发现集中在早期阶段、严重度分布合理,且后续重复问题占比下降,通常说明检查在发挥作用;如果发现集中在测试阶段、同类问题反复出现,则更可能反映过程本身存在薄弱环节。建议同时看发现密度、阶段分布和重复问题占比三项,避免用单一数量下结论。
改进项按期关闭率高,是否就可以认为预防改进已经闭环?
不能直接等同。按期关闭率只反映改进项是否在到期日前完成状态变更和验证,还需要看重复问题占比是否同步下降。若关闭率高但重复问题占比没有改善,可能说明改进措施停留在状态变更层面,根因未被真正消除。建议把两项指标放在同一时间窗内对照,并对高重复类型的问题抽查改进项内容。
履职证据抽查合格率与职责履行率为什么要成对使用?
职责履行率反映应履职人次中有记录的比例,看的是覆盖范围;抽查合格率反映这些记录是否完整、内容是否符合要求,看的是记录质量。只履行率可能出现“有记录但记录形式化”的情况,只看抽查合格率又无法判断整体覆盖。两者成对使用,可以定位问题出在覆盖不足还是记录质量不足,进而决定是补流程提醒还是补证据要求。
某个团队本期没有到期改进项,指标该怎么呈现?
分母为零时该指标本期不计算,标注“样本不足”,不记为0%或100%,也不参与团队间横向比较。可以在报告中说明该团队本期无到期改进项的原因,例如改进项集中在下一周期到期。同理,某类活动应执行数为0时遵循率不计算;抽查人次过少时合格率仅作参考,不单独形成结论。
