评估缺陷严重程度标准是否有效，可以看三类可复算的指标：分级一致性、级别区分度和执行落地情况。一致性用评审者间一致率或Kappa系数衡量；区分度看各级别缺陷在修复时长、逃逸率、影响范围上是否拉开差距；执行落地看分级返工率、越级升级率和逃逸缺陷的级别分布。三类指标要在同一时间窗、同一分母口径下计算，再结合抽样复核证据解读，单看某一项都不足以证明标准有效。
要点总览（TL;DR）
- 评估缺陷严重程度标准的有效性，看三类可复算指标：分级一致性、级别区分度、执行落地情况，三者需在同一时间窗和同一分母口径下计算。
- 一致性用评审者间一致率和Kappa系数衡量，Kappa扣除碰巧判同的概率，比原始一致率更能反映真实一致水平。
- 区分度看各级别缺陷的平均修复时长、逃逸率和升级率，级别之间差距越大，说明级别对紧迫性的排序越明显。
- 执行落地看分级返工率、越级升级率和逃逸缺陷的级别分布，反映标准是否被理解并落实到日常判定。
- 指标用于修订标准、安排培训和调整分级字段，不宜直接作为个人绩效依据，单看一致率或修复时长都不能证明标准有效。
评估目标：标准有效性要回答哪三个问题
评估对象是缺陷严重程度标准本身，也就是级别定义、判定依据和填写规则这套约定，缺陷从提交到关闭的处理流程不在评估范围内。流程效率受排期、人员、环境等多种因素影响，把它和标准混在一起评估，结论会失去指向性。明确这一点之后，“有效性”可以拆成三个可以分别测量的问题。
第一个问题是分级是否一致：面对同一条缺陷，不同角色、不同评审者是否会判为同一级别。如果同一缺陷在不同人手里反复落到相邻级别，说明级别边界描述模糊，标准在执行层面没有形成共同理解。第二个问题是级别是否区分了处理紧迫性：高严重程度缺陷是否真的被更快修复、更少逃逸、影响范围更大。如果各级别在修复时长和逃逸率上几乎重合，级别就失去了排序意义。第三个问题是标准是否被正确执行：分级是否频繁返工、是否存在越级升级、逃逸缺陷集中在哪些级别，这些反映标准有没有被理解并落实到日常判定中。
三个问题的评估结论各有用途。一致性问题指向级别定义的措辞和判定示例，通常通过修订标准文本、补充典型场景来解决；区分度问题指向级别数量与划分依据，可能需要合并过细的级别或调整判定维度；执行落地问题指向培训和填写规范，也可能提示需要在缺陷流转中增加分级校验环节。评估开始前先确定结论要用于哪类动作，可以避免收集一堆用不上的数据。
指标与范围：分级一致性、区分度与执行落地
三类指标各自回答一个问题，计算口径需要提前固定，否则不同季度、不同团队的结果无法比较。下表给出定义、公式、分母与单位，时间窗统一按季度，缺陷范围统一取当期已关闭缺陷，除非另有说明。
| 指标 | 定义与公式 | 分子/分母 | 时间窗与单位 |
|---|---|---|---|
| 评审者间一致率 | 一致判定对数 ÷ 总判定对数 | 分子为两名评审者判为同一级别的缺陷对数；分母为参与重判的缺陷总对数 | 按季度，百分比 |
| Kappa系数 | (Po − Pe) ÷ (1 − Pe)，Po为观察一致率，Pe为按各级别边际分布算出的期望一致率 | 分子为观察一致率减期望一致率；分母为1减期望一致率 | 按季度，无量纲，取值通常在−1到1之间 |
| 各级别平均修复时长 | 该级别缺陷修复时长之和 ÷ 该级别已关闭缺陷数 | 分子为修复时长合计（小时或天）；分母为该级别已关闭缺陷数 | 按季度，小时或天 |
| 各级别逃逸率 | 该级别逃逸缺陷数 ÷ 该级别缺陷总数 | 分子为发布后才被发现或由用户反馈的缺陷数；分母为该级别当期缺陷总数 | 按季度，百分比 |
| 各级别升级率 | 该级别发生级别上调的缺陷数 ÷ 该级别缺陷总数 | 分子为最终级别高于初始级别的缺陷数；分母为该级别初始判定的缺陷总数 | 按季度，百分比 |
| 分级返工率 | 级别被修改过的缺陷数 ÷ 缺陷总数 | 分子为初始级别与最终级别不一致的缺陷数；分母为当期已关闭缺陷总数 | 按季度，百分比 |
| 越级升级率 | 跨越两个及以上级别上调的缺陷数 ÷ 发生升级的缺陷总数 | 分子为级别上调幅度不小于两级的缺陷数；分母为所有发生级别上调的缺陷数 | 按季度，百分比 |
Kappa系数需要单独说明取值含义。它扣除了“评审者碰巧判成同一级”的概率，因此比原始一致率更能反映真实的一致性水平。一般经验是：低于0.4说明一致性较弱，0.4到0.6为中等，0.6到0.8为较好，0.8以上为很强。这些区间是解读参考，不是达标线，具体阈值应结合级别数量和业务风险由团队自行约定。
区分度指标的关键在分母。平均修复时长只统计已关闭缺陷，未关闭缺陷不计入，避免长期挂起拉高均值；逃逸率的分母是该级别当期全部缺陷，包括已关闭和仍开放的；升级率的分母用初始判定级别，因为要衡量的是“初始判断被推翻的比例”。三个指标都按级别分别计算，再横向比较级别之间的差距，差距越大说明级别对紧迫性的区分越明显。
数据口径与证据：字段、抽样与不可比处理
计算前需要确认缺陷记录里具备这些字段：缺陷ID、初始级别、最终级别、各级别判定人与判定时间、修复时长（从提交到关闭或从开始处理到关闭，需固定一种口径）、是否逃逸、是否发生升级。初始级别和最终级别要分别留存，只保留最终级别就无法计算返工率和升级率。判定人字段用于组织抽样复核，也用于识别是否存在个别人长期主导分级的情况。
抽样复核是验证一致性的证据来源。做法是按级别分层抽样，从当期已关闭缺陷中每个级别抽取若干条，由未参与原判定的评审者独立重判，重判时只提供缺陷描述和标准文本，不告知原级别，并记录判定依据。样本量根据缺陷总量确定，级别分布偏斜时对小样本级别适当提高抽样比例。重判结果与原判结果配对后，即可计算一致率和Kappa系数。
缺失值和分母为零需要预先约定规则。初始级别缺失的缺陷不纳入一致性和返工率计算，但计入缺陷总数用于说明数据完整度；修复时长缺失的缺陷从平均修复时长中剔除，并单独报告剔除数量；某级别当期缺陷数为零时，该级别的比率指标记为“不适用”，不用零填充，避免在图表上造成“表现最好”的误读。跨团队或跨版本数据不可比时，先按团队或版本分层分别计算，再决定是否合并；如果各层级别定义版本不同，应剔除定义变更前后的混合数据，或只比较同一版本标准下的结果。
这些字段和复核记录如果分散在表格和邮件里，统计成本会很高。ONES 的缺陷管理工作项可以记录严重程度字段、级别变更历史和判定人，配合报表视图按季度、按级别汇总缺陷数量与修复时长，抽样复核的结论也能作为记录留存在对应缺陷下，便于复算时追溯原始依据。
计算与评估步骤：从取数到结论的五步
按以下顺序执行，每一步的产出都是下一步的输入，最终形成可复核的评估结论。
- 确定时间窗与缺陷范围。选定一个季度，导出该季度内关闭的全部缺陷，记录总数、各级别数量、字段缺失数量，形成评估底表。
- 计算一致率与Kappa系数。用抽样复核的配对结果计算观察一致率，再按各级别边际分布计算期望一致率，代入Kappa公式。同时报告样本量和各级别抽样数。
- 按级别计算区分度指标。分别算出各级别平均修复时长、逃逸率、升级率，比较级别之间的差距，重点看最高级别与最低级别之间是否拉开明显距离。
- 计算执行落地指标。统计分级返工率和越级升级率，并列出逃逸缺陷的级别分布，观察逃逸是否集中在某些级别。
- 结合抽样复核证据形成结论。把定量结果与重判时记录的判定依据对照，判断问题出在定义措辞、级别划分还是执行培训，输出修订建议和下一季度的复评计划。
五步完成后应形成一份包含底表、指标结果、抽样记录和修订建议的评估报告。报告中的每个数字都要能回溯到具体缺陷记录，这样标准修订后下一季度复评时才有可比基础。
例子：一个季度的分级有效性评估
以下为演示情景，数据为假设值，用于说明公式代入和结果解读。某团队一个季度内关闭缺陷200条，按严重程度分为四级：致命、严重、一般、轻微。从每个级别抽取25条，共100条，由两名未参与原判定的评审者独立重判。
一致率计算：100对判定中，两人判为同一级别的有72对，观察一致率Po为0.72。按各级别边际分布计算，期望一致率Pe为0.38。代入Kappa公式：(0.72 − 0.38) ÷ (1 − 0.38) = 0.34 ÷ 0.62 ≈ 0.55。这个结果处于中等区间，说明一致性尚可，但级别边界仍有模糊空间，尤其是相邻级别之间容易混淆。
区分度方面，假设各级别平均修复时长为：致命8小时、严重26小时、一般72小时、轻微160小时；逃逸率为：致命2%、严重6%、一般15%、轻微22%。修复时长随级别下降逐级拉长，逃逸率逐级上升，说明级别在方向上确实区分了紧迫性。但严重与一般之间的修复时长差距为46小时，明显小于一般与轻微之间的88小时，提示“严重”与“一般”的边界可能需要补充判定示例。
执行落地方面，假设分级返工率为18%，越级升级率为7%，逃逸缺陷中一般级别占54%。返工率偏高且越级升级集中在从一般直接上调到致命的情形，结合抽样复核中评审者对“影响范围”理解不一致的记录，可以形成结论：本次评估中一致性中等、区分度方向正确但相邻级别边界模糊、执行层面返工偏多，建议修订严重与一般两级的判定描述，补充影响范围的量化示例，并在下季度复评时重点观察这两级的Kappa系数和返工率变化。
解读与限制：指标能说明什么、不能说明什么
一致率高不等于标准合理。评审者可能因为长期共事形成相似的判断习惯，或者都倾向于选择中间级别，从而在统计上表现出一致，但级别定义本身未必清晰。解读时应结合抽样复核中记录的判定依据，看评审者是否引用了标准中的具体条款，还是凭经验判断。
修复时长的差异受处理流程和资源投入影响，不能单独归因于分级。高严重程度缺陷可能因为被优先排期而修复更快，也可能因为影响面大而需要更长的验证周期。把修复时长作为区分度的证据时，应同时说明排期规则和资源条件，避免把流程效果误读为标准效果。
样本量小或级别分布偏斜时，Kappa系数不稳定。某个级别只有少量缺陷时，个别判定差异就会显著改变系数值，此时应报告置信区间或直接说明样本不足，不据此下强结论。级别数量过多也会压低Kappa值，因为期望一致率的分母变大，解读时要考虑级别体系本身的设计。
这些指标适合用于修订标准、安排培训和调整分级字段，不宜直接作为个人绩效依据。分级判断带有主观成分，把一致率或返工率与个人考核挂钩，容易导致评审者回避争议级别或修改历史记录，反而破坏数据质量。评估结论应指向标准文本和执行规范的改进，并在下一周期用同一口径复评，观察指标是否朝预期方向变化。
常见问题
团队缺陷量很少，按季度算Kappa系数波动很大，还能用这套指标吗？
缺陷量少时，Kappa系数对个别判定差异非常敏感，一个级别的样本只有几条，系数值可能大幅跳动。可行的做法是拉长时间窗，把季度改为半年或年度，让每个级别积累到足够样本；或者按缺陷类型、模块合并级别后再计算。如果样本仍然不足，应报告样本量和置信区间，把结论表述为“证据不足”而不是“一致性差”。一致率可以作为辅助参考，但同样要说明样本规模。
初始级别记录缺失或后期被直接覆盖，返工率和升级率还能算吗？
初始级别缺失的缺陷无法判断是否发生过级别变更，应从返工率和升级率的分子分母中剔除，同时单独报告缺失数量，说明数据完整度。如果级别变更历史被覆盖、只保留最终级别，这两个指标在本期就无法计算，建议先补齐字段留痕机制再纳入评估。缺失比例较高时，评估结论应注明覆盖范围，避免把部分数据的结果当作全量结论。
多个团队共用一套严重程度标准，但各自业务风险不同，指标要合并还是分开算？
建议先按团队分层分别计算，再决定是否合并。各团队缺陷构成、修复流程和资源条件不同，合并后的平均修复时长和逃逸率会被规模大的团队主导，掩盖小团队的实际情况。分层计算后，如果各层级别定义版本一致、指标方向相近，可以合并报告总体结果；如果某团队刚修订过级别定义，应剔除定义变更前后的混合数据，或只比较同一版本标准下的结果，并在报告中注明分层口径。
一致率和区分度指标出现矛盾时，应该先改标准还是先改流程？
先看矛盾的具体表现。一致率中等但区分度方向正确，通常说明级别边界措辞模糊，优先补充判定示例和量化描述；一致率较高但各级别修复时长和逃逸率几乎重合，说明级别划分本身没有拉开紧迫性差距，需要考虑合并过细级别或调整判定维度。修复时长差异还受排期规则影响，解读时要同时核对优先级规则和资源条件，把流程因素和标准因素分开判断，再决定修订对象。
抽样复核时，重判者知道了原级别会影响结果吗？
会。重判者看到原级别后容易倾向于维持原判，一致率会被高估。复核时应只提供缺陷描述和标准文本，隐去原级别和原判定人，由未参与原判定的评审者独立判断，并记录判定时引用的标准条款。如果条件允许，可以让两名评审者互相独立重判，用配对结果计算一致率。复核记录要随缺陷留存，便于复算时追溯判定依据。
