缺陷分级误判率以“被判错级别的缺陷数”为分子、以“纳入统计的已定级缺陷数”为分母,按同一时间窗和同一分级体系计算。实操中建议分两层统计:定级后复核发现的误判,以及缺陷流转中级别被上调或下调的比例。两者口径不同,应分别计算、分别解释,再结合分级分布判断整体判级质量。
要点总览(TL;DR)
- 缺陷分级误判率以“复核判定错误数÷复核样本数×100%”计算,分母是完成复核的缺陷数,不是全部已定级缺陷数。
- 调整率以“级别被修改的缺陷数÷同期已定级缺陷数×100%”计算,反映定级稳定性,与复核误判率分开统计、分开解释。
- 误判认定依赖复核结论、级别变更历史及变更原因、评审记录三类证据,缺失复核记录的缺陷不进入误判率分母,同时报告复核覆盖率。
- 计算按确定周期与纳入清单、逐条比对初判与复核级别、汇总分子分母、对照分级分布四步推进;分母为零时不计算比率,样本过小时只作本期抽检结论。
- 比率没有通用达标线,需与分级分布、误判方向、复核覆盖率一起解读,不宜直接用于个人绩效评价。
评估目标:判级质量要回答哪几个问题
统计缺陷分级误判率,先要明确度量对象是缺陷严重程度判定的准确性,而不是缺陷处理流程的全部质量。围绕这个对象,评估要回答三个问题:判错了多少、判偏了多少、分级分布是否合理。三个问题对应不同的数据来源和计算方式,混在一起算会得到无法解释的数字。
第一个问题是判错多少,指缺陷初次定级后,经复核确认级别判定错误的缺陷占比。这类错误通常表现为把严重缺陷定为一般,或把一般缺陷定为严重,复核结论是认定依据。第二个问题是判偏多少,指缺陷在流转过程中级别被修改的比例。级别修改可能来自复核纠错,也可能来自开发、测试人员对影响范围的重新认识,它反映的是定级稳定性,与复核误判不是同一件事。
第三个问题是分级分布是否合理,作为辅助判断。如果某团队长期把绝大多数缺陷定为中等级别,严重和轻微两端都很少,即便复核误判率不高,也可能说明分级标准在执行中被压缩成了单一档位,分级的区分作用没有发挥出来。分布指标本身不直接说明对错,但能提示分级标准是否需要澄清。
本文的范围限定在缺陷严重程度分级。缺陷分诊归属、责任分配、工单优先级与SLA排队属于另外的管理主题,它们的统计口径与分级误判率不同,不应合并计算。明确这条边界后,后续公式和数据都只围绕“级别判得准不准”展开。
指标与范围:误判率、调整率与分布指标
判级质量用三个指标描述:复核误判率、调整率和分级分布。三个指标共用同一时间窗和同一分级体系版本,统计单位统一为缺陷条数,便于相互对照。下表给出可直接复算的定义。
| 指标名 | 公式 | 分子 | 分母 | 时间窗 | 单位 |
|---|---|---|---|---|---|
| 复核误判率 | 复核判定错误数 ÷ 复核样本数 × 100% | 复核结论为级别判定错误的缺陷数 | 同期完成复核的缺陷数 | 与统计周期一致,如自然月 | 百分比,按缺陷条数计 |
| 调整率 | 级别被修改的缺陷数 ÷ 同期已定级缺陷数 × 100% | 统计周期内严重程度级别发生过至少一次修改的缺陷数 | 同期完成初次定级的缺陷数 | 与统计周期一致 | 百分比,按缺陷条数计 |
| 分级分布 | 各等级缺陷数 ÷ 已定级缺陷总数 × 100% | 某一严重程度等级的缺陷数 | 同期已定级缺陷总数 | 与统计周期一致 | 百分比,各等级合计100% |
纳入统计的缺陷范围需要事先写清楚。通常纳入统计周期内完成初次定级、且状态有效的缺陷;作废、重复提交、合并到其他缺陷单的记录应排除,因为它们没有独立的定级结论。跨周期流转的缺陷按初次定级时间归属周期,避免同一缺陷在两个周期重复计入分母。
分级体系版本是容易被忽略的口径条件。如果统计周期内严重程度等级从三档调整为四档,或等级名称、判定标准发生变化,前后数据不具备直接可比性。处理方式有两种:按版本分段统计,各自计算比率后再做趋势描述;或把旧版本等级按映射规则归并到新版本,映射规则需在统计说明中写明。两种方式都要求分母只包含同一版本下的已定级缺陷。
复核误判率的分母是复核样本数,不是全部已定级缺陷数,这一点决定了它代表的是被复核部分的准确性。调整率的分母是同期已定级缺陷总数,覆盖面更广,但级别修改的原因可能包含复核纠错、需求变更导致的影响重估等,不能全部归为误判。两个指标并列呈现,才能同时看到抽检准确性和整体定级稳定性。
数据口径与证据:误判怎么认定、数据从哪来
误判的认定需要可追溯的证据,不能凭印象判断。可用的证据有三类:复核记录中的明确结论、级别字段的变更历史及变更原因、定级评审会议的结论记录。复核记录写明“原级别判定错误、应调整为某级”的,可直接计为误判;只有级别变更历史、没有说明原因的,需要结合变更备注判断,备注缺失时不宜直接计为误判。
取数来源对应缺陷单上的两类信息。一是严重程度字段的历史值,包括每次修改的时间、修改前后级别和操作人;二是复核或评审记录,包括复核人、复核时间、复核结论。统计时以缺陷单为一条记录,逐条比对初次定级级别与复核确认级别,两者不一致且复核结论明确指向定级错误的,计入复核误判率的分子。
多人改级的情况需要约定归属规则。同一缺陷在周期内被修改两次以上时,调整率只计一次,按“该缺陷是否发生过级别修改”判断,不按修改次数累加,否则调整率会因反复修改而虚高。复核误判率则以最终复核结论为准,中间过程的修改不单独计数。
缺失复核记录的缺陷如何处理,取决于统计目的。计算复核误判率时,未复核的缺陷不进入分母,因为缺少认定依据;同时在统计说明中报告复核覆盖率,即复核样本数占已定级缺陷数的比例,让读者知道这个比率的代表性范围。计算调整率时,未复核但级别被修改的缺陷仍计入分子,因为修改事实本身有记录可查。
当缺陷级别字段的历史变更与复核记录由工作项系统承载时,级别变更历史、复核结论和变更原因需要作为可查询的记录保留在缺陷单上。ONES 的工作项支持状态流转与字段变更记录,团队可以在缺陷单上保留严重程度字段的修改轨迹,并把复核结论作为记录附在缺陷单中,为上述比对提供数据基础。统计动作本身仍在分析环节完成,系统承担的是记录留存与可追溯。
计算与评估步骤:从取数到得出结论
计算按四步推进,每步都有明确的产物,便于复核和复算。
第一步,确定统计周期与纳入缺陷集合。选定时间窗,按初次定级时间筛选缺陷,排除作废、重复和合并记录,形成纳入清单,记录总条数作为调整率的分母基础。产物是一份带缺陷编号的纳入清单。
第二步,逐条比对初判级别与复核或最终级别。对每条缺陷读取初次定级级别,再读取复核结论或最终确认级别,标记两类结果:级别不一致且复核认定为定级错误的,标记为误判;级别发生过修改的,标记为调整。一条缺陷可以同时被标记为误判和调整,两个指标分别汇总,互不抵扣。产物是带标记的明细表。
第三步,汇总分子分母并计算比率。复核误判率的分子为误判标记条数,分母为完成复核的条数;调整率的分子为调整标记条数,分母为纳入清单总条数。分别计算百分比,保留一位小数即可,同时记录分子分母原始数值,方便他人复算。产物是指标结果表。
第四步,绘制分级分布并与预期对照。按严重程度等级统计缺陷条数和占比,与团队约定的分级预期比较,例如严重等级应占一定比例、轻微等级不应长期为零。分布偏差不直接等于误判,但可以作为复核抽样的关注方向。产物是分布表与偏差说明。
异常情况需要预先约定处置规则。分母为零时,比率不计算,报告中标注“本期无复核样本”或“本期无已定级缺陷”,不用0%代替,避免误读为判级完全准确。样本量过小时,例如复核样本不足20条,比率波动大,建议同时报告分子分母原始数,并把结论限定为“本期抽检结果”,不做跨期趋势判断。复核覆盖率过低时,复核误判率只代表被复核部分,报告中应并列覆盖率。
例子:一个月的判级数据怎么算
以下数据为演示用途,非真实统计。假设某团队某月完成初次定级的缺陷共200条,其中完成复核的60条,复核结论认定级别判定错误的有9条;同期严重程度级别发生过修改的缺陷有24条。分级分布为:严重20条、一般120条、轻微60条。
复核误判率 = 9 ÷ 60 × 100% = 15.0%。这个数字说明在被复核的60条缺陷中,有15%的定级结论被复核推翻。调整率 = 24 ÷ 200 × 100% = 12.0%,说明全部已定级缺陷中有12%在流转中发生过级别修改。复核覆盖率 = 60 ÷ 200 × 100% = 30.0%,提示复核误判率只覆盖三成缺陷。
分级分布为严重10.0%、一般60.0%、轻微30.0%。如果团队预期严重等级占比在5%至15%之间,本期分布落在预期内;若预期严重等级应接近20%,则说明严重缺陷可能被低估,可结合复核误判的明细看误判方向是否集中在“严重被判为一般”。误判方向比总量更能指导分级标准的修订。
把三个结果放在一起读:复核误判率15.0%与调整率12.0%接近,说明级别修改中有相当部分来自复核纠错;复核覆盖率30.0%意味着另外70%的缺陷没有复核结论,调整率对整体稳定性的描述更完整,但对“判得对不对”的回答有限。这样的组合结论比单看一个比率更有信息量。
解读与限制:比率高低说明什么、不能说明什么
复核误判率反映被复核样本的定级准确性,调整率反映整体定级的稳定性,两者回答的问题不同。误判率高而调整率低,可能是复核标准严于日常定级,也可能是复核样本集中在争议缺陷上;误判率低而调整率高,可能是复核覆盖不足,也可能是需求变更频繁导致影响范围重估。解读时应先看两个指标的差异方向,再回到明细找原因。
复核覆盖率直接影响误判率的代表性。覆盖率低时,误判率只描述被抽中的部分,不能直接外推到全部缺陷。提高覆盖率会改变分母,前后两期的误判率不宜直接比较,除非覆盖率保持稳定或在报告中说明变化。
分级标准模糊会造成系统性偏差,表现为误判集中在相邻等级之间,例如“严重”与“一般”的边界反复被复核推翻,而“轻微”与“一般”之间很少出错。这种模式提示需要补充等级判定示例,而不是追究个人判级责任。识别方法是按误判的“原级别—复核级别”组合分组统计,看错误是否集中在特定边界。
指标的使用有明确限制。误判率与调整率没有通用的达标线,不同产品、不同缺陷类型、不同分级档数下的合理区间不同,不宜套用统一阈值。单一比率也不能作为判级质量的唯一结论,更不能直接用于个人绩效评价,因为它同时受分级标准清晰度、复核人判断尺度、样本量和缺陷构成影响。把比率与分级分布、误判方向、复核覆盖率一起看,才能形成对判级质量的完整判断,并据此决定是修订分级标准、加强定级评审,还是调整复核抽样策略。
常见问题
复核覆盖率很低时,误判率还能用吗?
可以用,但要限定解释范围。复核误判率的分母是复核样本数,覆盖率低意味着它只描述被抽中的那部分缺陷,不能直接外推到全部已定级缺陷。报告中应把复核覆盖率与误判率并列呈现,例如“本期复核覆盖30%,复核误判率15%”,读者才能判断这个比率的代表性。若前后两期覆盖率变化较大,两期误判率不宜直接比较,除非在统计说明中写明覆盖率差异。
同一缺陷被多次改级,调整率怎么计?
调整率按缺陷条数计,不按修改次数累加。同一缺陷在一个统计周期内被修改两次以上,只计一次,判断依据是“该缺陷是否发生过级别修改”。如果按修改次数累加,反复改级的缺陷会重复进入分子,调整率虚高,无法反映有多少缺陷的定级不稳定。复核误判率则以最终复核结论为准,中间过程的修改不单独计数。
统计周期内分级标准从三档改成四档,数据还能一起算吗?
不建议直接合并计算。等级档数、名称或判定标准变化后,前后数据不具备直接可比性。处理方式有两种:按版本分段统计,各自计算比率后再描述趋势;或把旧版本等级按映射规则归并到新版本,映射规则写进统计说明。两种方式都要求分母只包含同一版本下的已定级缺陷,跨版本混算会得到无法解释的比率。
误判率算出来偏高,应该先改分级标准还是先追个人责任?
先看误判的分布模式再决定。按“原级别—复核级别”组合分组统计,如果错误集中在相邻等级之间,例如“严重”与“一般”的边界反复被推翻,通常提示分级标准缺少判定示例,应优先补充等级判定说明和典型案例。如果错误分散在各个等级、没有集中边界,再考虑定级评审流程或复核抽样策略是否需要调整。把单一比率直接对应到个人责任,会忽略分级标准清晰度和复核尺度的影响。
分母为零或样本很少时,报告里怎么写?
分母为零时比率不计算,报告中标注“本期无复核样本”或“本期无已定级缺陷”,不用0%代替,避免被误读为判级完全准确。样本量过小时,例如复核样本不足20条,比率波动大,建议同时报告分子分母原始数值,并把结论限定为“本期抽检结果”,不做跨期趋势判断。样本量与结论强度之间的关系应在统计说明中固定下来,保持各期口径一致。
