度量缺陷严重程度判定的准确性，需要把“判定”拆成可核验的对象：分级分布是否合理、初判与复核结论是否一致、定级后是否被调整以及调整方向。常用指标包括分级分布占比、初判一致率、调整率、上调率与下调率，以及按模块、版本、判定人分组的偏差分布。计算前要固定时间窗、分母和分级字典版本，结果才能复算和比较。ONES Project 与 ONES TestCase 可在缺陷记录、分级字段和统计报表环节承载这些取数动作。
要点总览（TL;DR）
- 判级准确性拆成三类可核验对象：分级分布是否合理、初判与复核结论是否一致、定级后是否被调整及调整方向。
- 核心指标包括分级分布占比、初判一致率、调整率、上调率与下调率，以及按模块、版本、判定人分组的偏差分布。
- 计算前固定时间窗（按创建或关闭时间二选一）、分母口径（全部已定级或已关闭缺陷）和分级字典版本，结果才能复算。
- 调整率高低本身不说明准确性高低，需抽样复核区分合理修正与误判，并结合严重程度定义解释结果。
- 指标反映判定与标准或复核结论的一致性，不直接证明业务影响判断正确，建议与抽样复核、标准修订组成闭环。
评估目标：判级准确性要回答哪几个问题
判级准确性度量的是“缺陷被赋予的严重程度”与“依据分级标准应得的等级”之间的吻合程度。这里的“应得等级”可以来自复核结论、评审意见或事后确认的终判结果。度量对象是判定行为与分级标准的关系，不针对某个人的绩效评价。
实际评估通常要回答三类问题，它们对应不同的指标和证据，不能合并成一个“准确率”：
- 分级分布是否合理。各严重程度等级的缺陷数量占比是否符合当前产品阶段和缺陷构成特征。分布异常（例如严重等级占比长期极低或极高）提示标准理解或执行可能存在偏移，但分布本身不能直接证明判错。
- 初判与复核是否一致。对抽取或全量复核的缺陷，初判等级与复核结论相同的比例有多高。这直接反映判定与标准结论的吻合程度。
- 定级后是否被调整、往哪个方向调整。缺陷在流转中被上调或下调的比例和方向，反映初判的系统性偏差，例如是否习惯性低估影响。
三类问题服务于同一个目的：校准分级标准、统一判定口径、发现需要补充说明的等级定义。度量结果用于修订标准文档、组织判级评审和调整复核抽样策略，不用于给判定人排名或考核。若组织确实需要评估个人判级质量，应另行设计包含样本量、缺陷复杂度和复核机制的方案，不能直接套用本文的团队级指标。
指标与范围：分级分布、一致率、调整率怎么定义
以下指标均以“缺陷”为统计单位，以固定时间窗内的缺陷集合为范围。每个指标都要写明分子、分母和适用条件，否则不同人算出的结果无法比较。
| 指标 | 计算方式 | 分母说明 | 适用场景 |
|---|---|---|---|
| 分级分布占比 | 某严重程度等级缺陷数 ÷ 同期已定级缺陷总数 | 同期已定级缺陷总数 | 观察各等级构成，识别分布异常 |
| 初判一致率 | 初判与复核结论一致的缺陷数 ÷ 被复核缺陷数 | 被复核缺陷数（复核样本） | 衡量判定与复核结论的吻合程度 |
| 调整率 | 定级后被调整等级的缺陷数 ÷ 同期已定级缺陷总数 | 同期已定级缺陷总数 | 衡量初判被修正的总体比例 |
| 上调率 | 被上调等级的缺陷数 ÷ 同期已定级缺陷总数 | 同期已定级缺陷总数 | 识别是否系统性低估严重程度 |
| 下调率 | 被下调等级的缺陷数 ÷ 同期已定级缺陷总数 | 同期已定级缺陷总数 | 识别是否系统性高估严重程度 |
| 分组偏差分布 | 按模块、版本或判定人分别计算上述指标 | 各分组内对应的分母 | 定位偏差集中在哪些范围 |
初判一致率的分母是被复核缺陷数，不是全部缺陷。如果只复核了部分缺陷，一致率只代表复核样本的情况，不能直接外推为全部缺陷的准确率，除非抽样方式经过设计并能说明代表性。调整率的分母是同期已定级缺陷总数，包含未被调整的缺陷，因此它衡量的是“初判被修正的广度”，与一致率回答的问题不同。
上调率和下调率必须分别计算。只报一个“调整率”会掩盖方向：上调居多说明初判倾向低估影响，下调居多说明倾向高估，两者的校准动作不同。分组偏差分布用于定位问题范围，例如某模块上调率明显高于其他模块，可能该模块的缺陷影响描述方式与分级标准不匹配。分组之间不宜直接横向比较高低，因为各组的缺陷构成和业务影响不同。
数据口径与证据：时间窗、分母和分级字典怎么固定
结果可复算的前提是口径固定。建议在开始计算前先写一份口径说明，至少包含以下内容：
- 时间窗。按缺陷创建时间或关闭时间二选一，全篇统一。按创建时间统计反映“当期新提缺陷的判级质量”，按关闭时间统计反映“当期完成处理的缺陷的判级质量”，两者分母不同，不能混用。跨期缺陷（例如上季度创建、本季度关闭）在两种口径下归属不同，需在说明中写明处理方式。
- 分母选择。“全部已定级缺陷”适合评估判定覆盖面，包含仍在流转中的缺陷；“已关闭缺陷”适合评估最终确认的判级结果，排除尚未定论的记录。选择哪一种取决于评估目的，选定后不得在同一份报告中切换。
- 分级字典版本。严重程度等级的数量、名称和定义需固定到具体版本。跨版本比较时，要说明等级定义是否变化、等级数量是否增减，否则分布占比和调整率都不可比。
- 缺失值与未定级缺陷。未定级的缺陷应从分母中剔除并单独列出数量；等级字段为空或填写不合法的记录同样单列，不混入比例计算。
定性证据用于解释数字。复核记录、等级调整历史、评审意见和缺陷影响描述都是判断“调整是否合理”的依据。仅有调整率数字无法区分合理修正与误判，需要抽取调整记录逐条查看调整理由。证据清单建议包括：复核结论及复核人、调整前后的等级、调整原因说明、相关评审记录。这些记录在缺陷跟踪系统中随缺陷流转留存，ONES Project 支持缺陷跟踪管理并可统计缺陷状态分布，ONES TestCase 支持未通过用例快速创建缺陷任务并在测试与研发团队间流转，可作为分级字段与调整记录的承载位置；具体字段配置和调整历史的可用性需在实际项目中确认。
计算与评估步骤：从取数到解释的执行顺序
按以下顺序执行，每一步留下可核对的中间结果：
- 固定范围与字典。确定时间窗、分母口径、分级字典版本和缺失值处理规则，写成口径说明。完成标志是口径说明可被他人按同样规则复算。
- 取分级与调整记录。导出时间窗内全部缺陷的初判等级、当前等级、复核结论（如有）、调整时间和调整方向。完成标志是每条缺陷的等级变化可追溯。
- 计算分布、一致率、调整率及分组偏差。按指标定义表逐项计算，同时记录每个指标的分子、分母和样本量。完成标志是每个比例都能还原为具体缺陷数。
- 抽样复核，区分合理修正与误判。从被调整缺陷中抽取样本，对照分级标准和缺陷影响描述判断调整是否合理。样本量过小时只列明细，不给出比例结论。完成标志是形成“合理修正/误判/无法判断”的分类清单。
- 结合严重程度定义解释结果并形成校准动作。把指标结果与抽样结论对照，判断偏差来自标准模糊、执行不一致还是复核严格，据此提出标准修订、判级培训或复核策略调整。完成标志是每项异常都有对应的处理动作和责任人。
分母为零时（例如某等级在时间窗内没有缺陷），比例标注为“不适用”并保留绝对数，不写成 0%。样本量过少时（例如被复核缺陷不足 30 条），比例仅作参考，结论以明细清单为主。分组计算时，若某组分母过小，同样只列绝对数。
例子：一个季度的判级准确性计算演示
以下为演示数据，用于说明公式代入方式，不代表任何真实项目或达标线。假设某季度已定级缺陷总数为 200 条，其中严重 20 条、一般 120 条、轻微 60 条；复核了 50 条，初判与复核结论一致 42 条；定级后被调整 24 条，其中上调 15 条、下调 9 条。
| 指标 | 代入计算 | 结果 |
|---|---|---|
| 严重等级分布占比 | 20 ÷ 200 | 10% |
| 一般等级分布占比 | 120 ÷ 200 | 60% |
| 轻微等级分布占比 | 60 ÷ 200 | 30% |
| 初判一致率 | 42 ÷ 50 | 84% |
| 调整率 | 24 ÷ 200 | 12% |
| 上调率 | 15 ÷ 200 | 7.5% |
| 下调率 | 9 ÷ 200 | 4.5% |
解读这组结果时，先看方向：上调率高于下调率，说明初判存在低估严重程度的倾向，校准重点应放在“什么影响应判为更高等级”的标准说明和案例上。初判一致率 84% 只基于 50 条复核样本，需说明抽样方式；若复核样本集中在某类缺陷，该比例不能代表全部 200 条。调整率 12% 本身不说明准确性高低，需要抽取这 24 条调整记录，判断其中多少属于标准模糊导致的合理修正、多少属于明显误判。分布占比显示严重等级占 10%，是否合理要结合产品阶段和历史数据判断，单季度数字不足以定论。
解读与限制：调整率高低不等于准确性高低
调整率高可能有两种相反的原因：分级标准表述模糊，判定人理解不一，导致大量修正；或者复核机制严格，复核人按标准逐条核对，修正了初判偏差。两种情况下调整率都高，但前者需要修订标准，后者说明复核在起作用。因此调整率必须与抽样复核结论一起看，不能单独作为准确性结论。
不同模块、版本、团队之间的分布不可直接横向比较。各组的缺陷构成、业务影响范围和判定人经验不同，同样的分布占比在不同组可能都合理。分组指标用于定位偏差集中区域，比较时应限定在同一分级字典版本和相近的缺陷构成下进行。
单指标不能支撑全部判级质量结论。分布占比反映构成，一致率反映与复核结论的吻合，调整率反映修正广度，三者回答不同问题。指标反映的是判定与标准或复核结论的一致性，不直接证明对业务影响的判断正确；业务影响判断是否正确，需要结合线上事故、用户反馈等外部证据另行验证。建议把指标计算、抽样复核和标准修订组成闭环：每轮度量产出标准修订项，下一轮度量检验修订效果。ONES TestCase 支持项目缺陷分布统计并自动生成测试报告，可用于按版本反馈缺陷分级情况；报表可按需自定义数据范围和维度，具体可用维度以实际配置为准。
常见问题
初判一致率的分母应该用全部缺陷还是被复核缺陷？
初判一致率的分母是被复核缺陷数，不是全部缺陷。如果只复核了部分缺陷，一致率只代表复核样本的情况，不能直接外推为全部缺陷的准确率，除非抽样方式经过设计并能说明代表性。若希望覆盖全部缺陷，需要全量复核或采用经过验证的抽样方案。
调整率多高算正常？有没有参考阈值？
调整率没有通用阈值。它受分级标准清晰度、复核严格程度、缺陷构成和判定人经验影响，不同团队、模块和版本之间不宜直接比较。建议先按本文口径计算基线，再结合抽样复核结论判断调整是否合理，并观察多轮变化趋势，而非追求某个固定数值。
分级标准修订后，历史数据还能直接比较吗？
不能直接比较。分级字典版本变化（等级数量、名称或定义调整）后，分布占比和调整率的口径已不同。跨版本比较时需说明字典差异，必要时按新字典重新映射历史数据，或只比较修订后时间窗内的结果。
样本量太少时怎么呈现结果？
分母为零时比例标注为“不适用”并保留绝对数，不写成 0%。被复核缺陷或某分组缺陷过少时，比例仅作参考，结论以明细清单和绝对数为主，避免用少量样本得出比例结论。
ONES 产品能直接支持这些指标的取数吗？
ONES Project 支持缺陷跟踪管理并可统计缺陷状态分布，ONES TestCase 支持项目缺陷分布统计并自动生成测试报告，可作为分级字段与调整记录的承载位置。严重程度字段的自定义配置、等级调整历史记录与复核流程记录的具体可用性，以及报表可按哪些维度分组，需在实际项目中确认。
