例外放行率=统计周期内经例外审批放行的发布次数÷同期应执行发布准入的发布总次数×100%。这个比率能反映准入标准被绕过的程度,但单看高低无法判断标准是否有效,需要与门禁拦截后缺陷发现情况、例外原因分布、例外后线上缺陷率一起解读。本文给出可复算的指标卡、取数规则、计算步骤和一个完整示例,适用于评估单次发布准入标准的执行情况。
要点总览(TL;DR)
- 例外放行率=统计周期内带例外审批放行的发布批次数÷同期应执行发布准入的发布总批次×100%,统计前先固定发布单元、准入检查项清单版本和例外登记规则三个口径。
- 例外记录需包含发布单号、例外检查项、原因分类、审批人与审批时间、放行后结果;实际放行但无审批记录的批次单列为未登记例外,不并入合规放行。
- 解读时把例外放行率与门禁拦截后缺陷发现率、例外原因分布、例外后线上缺陷率联合看,区分标准过严、执行走样和标准失效三种情形。
- 分母为零时标记为不适用而非0%;检查项数量不一致时改用分检查项比率比较;样本量小时看趋势和原因结构,不做按月排名。
- 指标不宜作为个人考核依据,否则会压制例外登记,导致数据系统性失真。
评估目标:判断准入标准是否真的在起作用
统计例外放行率之前,先明确它要回答什么问题。这个指标服务于三类判断,每类判断对应不同的证据组合。
第一,标准是否被绕过。如果大量发布通过例外审批跳过准入检查,说明准入流程在实际执行中被弱化。此时需要看例外原因分布:因紧急发布、外部依赖、检查项不适用而申请例外,与因检查不通过而申请例外,含义完全不同。
第二,标准是否过严。当例外集中在某几个检查项上,且这些例外发布上线后缺陷率与正常发布接近,说明该检查项可能设置了不适用于当前业务节奏的要求,需要重新评估检查项的阈值或适用范围。
第三,例外是否带来质量代价。把例外发布与合规发布的线上缺陷情况进行对照,可以判断放行行为是否伴随更高的质量风险。如果例外后线上缺陷率明显偏高,说明例外审批的把关作用不足或例外条件过宽。
评估对象是发布批次与准入检查项,不是个人。把例外放行率挂到审批人或发布负责人身上,会直接抑制例外登记意愿,导致数据失真。本文只评估单次发布准入标准的有效性,组织级阶段决策机制和测试完成判断属于其他评估范畴,不在此展开。
建议在统计前先列出待回答的问题清单,例如:本周期例外放行集中在哪些检查项?例外原因中紧急发布占比多少?例外发布上线后的缺陷率与合规发布相差多少?带着问题取数,比先算比率再找解释更可靠。
指标与范围:例外放行率及配套指标的定义
为了让不同人算出的结果可比,需要把每个指标的名称、公式、分子分母、时间窗和单位固定下来,形成指标卡。以下四个指标构成一组,单独使用其中任何一个都不足以支撑结论。
| 指标名 | 公式 | 分子 | 分母 | 时间窗 | 单位 | 数据来源 |
|---|---|---|---|---|---|---|
| 例外放行率 | 例外放行发布次数÷应执行准入发布总次数×100% | 统计周期内带例外审批记录并实际放行的发布批次数 | 同期应执行发布准入的全部发布批次数 | 自然月或发布周期 | 百分比 | 发布清单、例外审批记录 |
| 门禁拦截后缺陷发现率 | 准入拦截后确认的缺陷数÷准入检查发现的缺陷总数×100% | 因准入检查不通过而拦截、后续确认为真实缺陷的数量 | 准入检查判定不通过的总次数 | 自然月或发布周期 | 百分比 | 准入检查记录、缺陷单 |
| 例外后线上缺陷率 | 例外放行发布上线后产生的线上缺陷数÷例外放行发布次数×100% | 例外放行发布在上线后约定观察期内产生的线上缺陷数 | 同期例外放行发布次数 | 自然月,观察期需固定 | 百分比或个/次 | 例外审批记录、线上缺陷单 |
| 例外原因分布占比 | 某类例外原因次数÷例外放行总次数×100% | 按原因分类统计的例外次数 | 同期例外放行总次数 | 自然月或发布周期 | 百分比 | 例外审批记录的原因字段 |
分母的范围需要明确写进指标卡:应执行准入的全部发布都计入,包括紧急发布和回滚后重新发布的批次。紧急发布如果走了例外审批,它同时进入分子和分母;如果紧急发布按制度豁免准入,则应在指标卡中单独说明豁免规则,并从分母中剔除,避免口径混淆。
统计单元统一为发布批次。同一批次包含多个发布单时,按批次计数一次,不按发布单重复计数。时间窗建议与发布节奏对齐,按月统计时需约定月末最后一天的在途发布归属哪个周期,通常以发布完成时间为准。
数据口径与证据:例外记录怎么取、怎么对齐
例外放行率的可信度取决于例外记录是否完整。取数前先确认例外审批记录包含以下字段,缺字段会导致后续无法按原因拆分或无法与缺陷数据关联。
- 发布单号或批次号:与发布清单匹配的主键。
- 例外检查项:指明跳过了哪一项或哪几项准入检查,支持分检查项统计。
- 申请原因分类:建议预设固定枚举,如紧急发布、外部依赖未就绪、检查项不适用、检查未通过但业务要求放行、其他。
- 审批人与审批时间:用于确认审批发生在放行之前。
- 放行后结果:上线是否成功、观察期内是否产生线上缺陷。
发布清单与例外记录以发布单号或批次号作为匹配键。匹配时逐条核对,确保每条例外记录都能找到对应的发布批次,每条应执行准入的发布都能判断是否带例外。匹配不上的记录单独列出核查,不直接丢弃。
缺失值处理需要提前约定。存在实际放行但查不到例外审批记录的发布,单列为“未登记例外”,既不并入合规放行,也不直接计入例外放行率的分子。未登记例外的数量本身是一个信号:数量偏多说明登记流程执行不到位,此时算出的例外放行率偏低,不能解读为执行良好。
准入检查项清单发生版本变更时,需要设定口径切换点。常见做法是以清单生效日期为界,切换前后的周期分别统计,或在指标卡中注明该周期适用的清单版本。跨版本直接比较总体比率,会把检查项数量变化误读为例外行为变化。
当例外审批记录、发布单和缺陷数据分散在不同系统中时,关联成本会明显上升。ONES 效能管理自动收录系统内日常流转的研发数据并形成分析指标,发布审批、工作项和缺陷记录在同一体系内流转时,按发布单号关联例外记录与线上缺陷的取数工作可以在度量配置中完成,减少手工对齐。是否内置例外放行率卡片需以实际配置为准,团队可按上述字段自行搭建。
计算步骤:从原始记录到可解读的比率
按以下四步计算,每一步都留下可复核的中间结果,便于他人复算和排查口径差异。
第一步,确定统计周期内应执行准入的发布总数。从发布清单中筛选周期内完成的发布批次,剔除制度明确豁免准入的批次,得到分母。同时记录剔除的批次及豁免依据,供复核。
第二步,筛出带例外审批的发布并去重。用发布单号或批次号与例外记录匹配,同一批次有多条例外记录时按批次计一次,但保留各检查项的明细用于分检查项统计。匹配结果分为三类:合规放行、例外放行、未登记例外。
第三步,计算总体比率与分检查项比率。总体比率=例外放行批次数÷分母×100%。分检查项比率=该检查项被例外的批次数÷应执行该检查项的批次数×100%。分检查项比率能揭示例外集中在哪个环节,是总体比率的重要补充。
第四步,计算例外后线上缺陷率并与非例外发布对照。按固定观察期统计例外放行批次产生的线上缺陷,同时用同样方法统计合规放行批次的线上缺陷率,两者对照才有解释力。
两类异常情况需要单独处理。周期内没有发布时,分母为零,指标标记为“不适用”,不写0%,避免把无样本误读为执行良好。不同团队的准入检查项数量不一致时,总体比率不可直接横向比较,应改用分检查项比率,或先统一检查项清单再比较。
例子:一个月的例外放行率算给你看
以下为一组假设数据,用于演示计算过程,不代表任何真实团队的表现。
某月应执行准入的发布共40次,其中6次带例外审批记录并实际放行。例外放行率=6÷40×100%=15%。另有2次发布实际放行但查不到例外审批记录,列为未登记例外,不计入分子。
这6次例外按原因拆分:紧急发布3次,占50%;外部依赖未就绪1次,占16.7%;检查项不适用1次,占16.7%;检查未通过但业务要求放行1次,占16.7%。按检查项拆分,6次例外中有4次涉及性能压测检查项,说明例外集中在同一环节。
对照线上缺陷情况:6次例外发布在两周观察期内产生3个线上缺陷,例外后线上缺陷率为50%;同期34次合规发布产生5个线上缺陷,缺陷率约14.7%。例外发布的缺陷率明显偏高,且其中2个缺陷来自“检查未通过但业务要求放行”的那次发布。
从这组数据可以得出的判断:例外放行率15%本身不算突出,但例外集中在性能压测检查项,且例外发布缺陷率偏高,提示该检查项的门槛设置或例外审批把关需要复核。不能得出的判断:不能据此认定准入标准整体失效,因为合规发布的缺陷率处于可接受范围;也不能把15%与上月直接比较,除非确认两个月的检查项清单版本一致。样本仅6次例外,比率波动较大,不宜据此对团队做排名。
解读与限制:比率高低说明什么、不说明什么
解读例外放行率的核心原则是:比率是线索,不是结论。下表列出常见现象、可能原因和需要补充的证据。
| 现象 | 可能原因 | 需补充的证据 |
|---|---|---|
| 例外放行率偏高 | 准入标准过严;审批流于形式;紧急发布集中;检查项与业务不匹配 | 例外原因分布;分检查项比率;例外发布与合规发布的缺陷率对照 |
| 例外放行率偏低 | 执行到位;例外未登记;豁免规则过宽导致分母被压缩 | 未登记例外数量;豁免批次清单;审批记录完整性抽查 |
| 例外集中在单一检查项 | 该检查项阈值不合理;该环节工具或环境不支持 | 该检查项的历史拦截效果;例外发布在该环节的缺陷情况 |
| 例外后线上缺陷率显著高于合规发布 | 例外审批把关不足;例外条件过宽 | 逐条复核例外审批理由;缺陷与例外检查项的对应关系 |
| 门禁拦截后缺陷发现率很低 | 准入检查形同虚设;检查项与实际缺陷类型不匹配 | 拦截记录与缺陷单的匹配情况;检查项覆盖的缺陷类型 |
比率偏高时,先看原因分布再下判断。紧急发布占比高,说明发布节奏或需求变更管理需要调整;检查未通过仍放行占比高,说明审批把关需要收紧;检查项不适用占比高,说明标准本身需要修订。三种情况的处理方向不同,混在一起看会得出错误结论。
比率偏低时,优先核对记录完整性。未登记例外数量是关键的校验项,如果实际放行但无审批记录的批次较多,算出的低比率没有意义。可以抽取若干发布批次回溯审批记录,估算登记遗漏的比例。
例外放行率不能单独证明准入标准有效。标准有效的证据是:门禁拦截确实发现了真实缺陷,且这些缺陷在放行前被修复;例外放行没有带来系统性的质量代价。把例外放行率与门禁拦截后缺陷发现率、例外后线上缺陷率联合看,才能区分标准过严、执行走样和标准失效三种情形。
指标不宜作为个人考核依据。一旦与个人绩效挂钩,审批人和发布负责人会倾向于不登记例外或少申请例外,数据系统性失真,指标失去诊断价值。样本量小时,月度比率的波动区间较宽,适合看趋势和原因结构,不适合按月排名。跨团队比较前,先确认发布单元、检查项清单版本和例外登记规则一致,否则比较结果不可靠。
常见问题
例外放行率按月统计时,月末在途的发布批次算哪个月?
建议在指标卡中约定以发布完成时间为归属依据,月末最后一天尚未完成的发布计入下个周期,避免同一批次在两个周期重复计数。如果团队按发布周期而非自然月统计,则按周期结束时的完成状态归属。无论选哪种规则,跨月比较前需确认规则未变,否则比率波动可能来自口径切换而非执行变化。
紧急发布按制度豁免准入,还要计入例外放行率的分母吗?
取决于豁免规则怎么写。如果紧急发布走例外审批流程,它同时进入分子和分母;如果制度明确规定某类紧急发布豁免准入、无需审批,则应从分母中剔除,并在指标卡中单独列出豁免规则和剔除批次清单。两种处理方式本身都可以,关键是在指标卡中写清楚,且跨周期保持一致,否则同一团队不同月份的数据不可比。
未登记例外数量较多时,算出的例外放行率还能用吗?
可以用,但要附带说明。未登记例外意味着分子被低估,算出的比率偏低,此时不能解读为执行良好。建议先抽查若干发布批次回溯审批记录,估算登记遗漏比例,再判断比率是否需要修正。如果遗漏比例较高,优先解决登记流程问题,等记录完整后再做趋势分析,比直接修正数字更可靠。
不同团队的准入检查项数量不同,例外放行率能直接横向比较吗?
不建议直接比较总体比率。检查项多的团队,单个检查项被例外的概率天然更高,总体比率会被检查项数量放大。可行做法有两种:一是改用分检查项比率,只在相同检查项上比较;二是先统一检查项清单,再比较总体比率。跨团队比较前还需确认发布单元、例外登记规则一致,否则比较结果不可靠。
例外放行率连续几个月下降,是否说明准入标准变有效了?
不能直接下这个结论。比率下降可能是执行到位,也可能是例外未登记、豁免规则放宽压缩了分母,或发布总量变化带来的波动。需要补充三类证据:未登记例外的数量变化、豁免批次清单、门禁拦截后缺陷发现率是否同步变化。只有当拦截确实发现了真实缺陷且例外登记完整时,比率下降才能作为标准有效的证据之一。
