统计缺陷分级同级判断一致率与复评差异，先要固定分级标准版本、统计范围和有效样本，再分别计算：一致率看同一缺陷被多名评估人独立定级时结果相同的比例，复评差异看复评后级别发生变化的缺陷占比。两个指标都要写清分子、分母、时间窗和缺失值处理，结果同时报告样本量，避免把一致率直接当作分级准确性的全部证据。
要点总览（TL;DR）
- 同级判断一致率以“同一缺陷被两名及以上评估人独立定级”的评估对为单位，用判定结果相同的对数除以有效评估对数；多评估人场景要先约定两两配对还是与基准人比对。
- 复评差异率以完成复评的缺陷为单位，用复评后级别发生变化的缺陷数除以完成复评的缺陷数，并可用级别变化档数分布或平均变化档数补充幅度。
- 统计前固定分级标准版本、级别数量、时间窗和排除项，跨版本数据分段统计；分母为零时标注“无有效样本”，结果同时报告样本量。
- 一致率高只说明判断趋同，准确性需对照分级标准或专家判定；一致率与复评差异应结合解读，用于改进分级标准和评审机制。
评估目标：分级一致性与准确性分别回答什么问题
缺陷分级度量里常被混用的两个概念，是“判断是否一致”和“分级是否准确”。同级判断一致率回答的是：面对同一个缺陷，不同评估人给出的级别是否相同。它衡量的是判断的可重复性，反映分级标准在团队中被理解和使用的一致程度。复评差异回答的是：经过复评环节，初次定级被修正的幅度有多大。它衡量的是初次定级与复评结论之间的偏离，反映初次判断的稳定性和复评的纠偏作用。
这两个指标都不能单独证明分级准确。一致率高，可能是多名评估人对标准的理解趋同，也可能是大家都按同一种偏差在定级；如果分级标准本身与实际业务影响脱节，一致的高结果仍然可能把严重缺陷定低。准确性需要另设证据：对照分级标准的判定条款逐条核对，或由领域专家对抽样缺陷给出基准级别，再比较评估结果与基准的吻合程度。
从用途看，一致率和复评差异服务于分级标准与评审机制的改进：定位哪些级别、哪些缺陷类型容易产生分歧，判断标准条款是否需要补充判定示例，评估复评环节是否发挥了纠偏作用。度量结果适合作为流程改进的输入，不宜直接换算成个人绩效结论，因为单个缺陷的定级受信息完整度、评估人经验、缺陷上下文等多重因素影响，个体样本不足以支撑对人的评价。
指标与范围：统计哪些缺陷、哪些级别、哪个时间窗
统计范围决定结果能否比较。建议在计算前先写一份范围说明，至少覆盖以下四项，并在每次统计时沿用同一份说明，变更时记录变更原因。
- 纳入范围：按项目、产品线、缺陷来源（如测试发现、线上反馈、代码评审发现）或严重程度区间划定样本集。范围一旦确定，同一期统计内不混入范围外缺陷。
- 级别体系：明确使用的分级标准版本和级别数量，例如采用四级还是五级、各级别的判定条件是什么。跨版本的数据必须分段统计，不能把旧标准下的定级与新标准下的定级放进同一个分母。
- 时间窗：统一以缺陷创建时间或定级完成时间作为归属口径，二选一后全期一致。跨窗口的缺陷，例如上月创建、本月完成复评的，要在口径中写明归入哪一期，避免同一缺陷被重复计入或漏计。
- 排除项：重复缺陷、无效缺陷、信息不足无法定级的记录，在计算前剔除并单独记录剔除数量。剔除规则要可核验，例如“同一根因合并的重复缺陷只保留主记录”。
范围说明还应写明评估人范围：参与独立定级的是哪些角色，是否包含开发、测试、产品等不同职能。角色构成变化会影响一致率的可比性，跨期比较时需要说明人员是否发生较大变动。
数据口径与证据：需要采集哪些字段和记录
两个指标要可复算，取数必须落到字段级。最小字段集如下表，实际取数时按此逐项核对，缺项要记录缺失原因。
| 字段 | 用途 | 口径说明 |
|---|---|---|
| 缺陷编号 | 唯一标识，关联各条定级记录 | 同一缺陷的多条定级记录共用同一编号 |
| 初次定级人、初次级别、定级时间 | 一致率与复评差异的基准 | 以首次正式定级记录为准，草稿状态不计 |
| 独立评估人、评估级别、评估时间 | 一致率的配对数据 | 评估人需在未看到他人结论的条件下独立给出级别 |
| 复评人、复评级别、复评时间 | 复评差异的分子判定 | 复评需为正式复评记录，口头确认不计 |
| 分级标准版本 | 判断数据是否可合并 | 记录该缺陷定级时适用的标准版本号 |
| 判定依据说明 | 分歧分析与标准改进 | 可选字段，记录影响定级的关键事实，如影响用户范围、数据损失程度 |
缺失值处理要在统计前定规则并写入口径说明。常见做法是：缺少独立评估记录的缺陷不进入一致率分母；缺少复评记录的缺陷不进入复评差异分母；级别字段为空且无法从判定依据补全的记录整体剔除。所有剔除都要保留清单，便于复核分母是否被无意缩小。
记录留痕是取数的前提。缺陷的定级、复评如果只发生在会议或聊天中，事后无法还原评估人和时间，指标就失去可复算性。把定级与复评作为工作项上的正式字段记录，保留每次变更的操作人和时间，能让取数从“回忆整理”变成“按字段导出”。在 ONES 中，缺陷可作为工作项跟踪，支持自定义属性与多条件筛选，并可通过报表自定义数据范围和维度；ONES TestCase 支持未通过用例快速创建缺陷任务，并提供项目缺陷分布统计。分级一致性与复评差异的专用指标需要基于这些字段自行配置统计口径，具体字段与报表能力以实际版本配置为准。
计算步骤：一致率与复评差异的公式和分母处理
两个指标都以百分比表示，计算前先确定分母，再数分子，最后处理边界情况。
同级判断一致率：以“同一缺陷被两名及以上评估人独立定级”的评估对为统计单位。公式为：同级判断一致率 = 判定结果相同的评估对数 ÷ 有效评估对数 × 100%。多评估人场景要先约定配对方式：两两配对是把每两名评估人的结果各组成一对，缺陷有三人定级时产生三对；与基准人比对是选定一名基准评估人，其他人分别与其比较。两种方式的分母不同，同一批数据算出的结果不可直接比较，口径说明中必须写明采用哪一种。
复评差异率：以完成复评的缺陷为统计单位。公式为：复评差异率 = 复评后级别发生变化的缺陷数 ÷ 完成复评的缺陷数 × 100%。级别未变化计入分母、不计入分子。
复评差异幅度：差异率只说明“变没变”，幅度说明“变了多少”。可用级别变化档数分布表示，例如变化1档、2档、3档及以上的缺陷数各占多少；也可用平均变化档数表示，即所有发生变化的缺陷的档数绝对值之和除以发生变化缺陷数。档数以级别序号差计算，需在口径中写明级别序号的方向，例如级别数字越小越严重时，升档与降档的含义要对应说明。
边界处理有三条：分母为零时标注“无有效样本”，不记为0%或100%；分子大于零但分母很小时，结果旁必须同时给出样本量；同一缺陷在统计期内多次复评的，按口径约定取首次复评或末次复评，不重复计入分母。
例子：一组缺陷分级数据的完整计算
以下为演示情景，数据为构造示例，用于说明计算过程。
某项目在一个统计月内纳入40个有效缺陷，采用四级分级标准（P1至P4，P1最严重）。其中30个缺陷由两名评估人独立定级，10个缺陷只有单人定级，不进入一致率统计。30个缺陷共形成30个评估对，其中24对两人给出的级别相同，6对不同。则同级判断一致率 = 24 ÷ 30 × 100% = 80%。按级别分组看，P1和P2的评估对共12对，全部一致；6对不一致集中在P3与P4之间，说明这两个级别的判定边界是分歧来源。
同一批40个缺陷中，有25个完成了复评，其余15个未复评，不进入复评差异分母。25个完成复评的缺陷里，7个级别发生变化，则复评差异率 = 7 ÷ 25 × 100% = 28%。变化档数分布为：变化1档5个，变化2档2个，无变化3档及以上；平均变化档数 = (5×1 + 2×2) ÷ 7 ≈ 1.29档。结合方向看，7个变化中有5个是复评后级别上调（更严重），提示初次定级存在低估倾向。
结果呈现建议采用“指标值 + 样本量 + 分组”的格式，例如：同级判断一致率80%（30个评估对，其中P3/P4分歧6对）；复评差异率28%（25个完成复评缺陷，平均变化1.29档）。分组呈现能让读者看到总体值背后的结构，避免单一数字掩盖局部问题。
解读与限制：结果怎么用、哪些情况不能直接比较
解读一致率时先看样本量。30个评估对里差1对，一致率就变化约3个百分点；样本只有十几个评估对时，一次分歧就能让结果跳动十个百分点以上。样本量小的期次，建议报告区间或直接标注“样本不足，仅供参考”，不据此下结论。
跨期、跨项目比较要确认三件事：级别体系与标准版本是否相同，评估人构成是否相近，配对方式是否一致。任何一项不同，两个百分比就不能直接相减。标准版本升级后，旧数据与新数据应分段统计，并在报告中注明分段点。
一致率上升需要结合复评差异一起看。如果培训后一致率明显上升，同时复评差异率下降，说明团队对标准的理解趋同且初次定级更接近复评结论；如果一致率上升而复评差异率没有改善甚至上升，可能只是评估人之间形成了相同的判断习惯，标准执行本身仍存在偏差。反过来，复评差异率高也不必然说明初次定级质量差，复评环节如果引入了更完整的业务影响信息，差异正是纠偏在起作用，此时应结合复评依据说明判断。
两个指标反映的是判断过程的一致性，分级是否合理仍需对照标准条款或业务影响评估。建议把一致率、复评差异与抽样专家复核结合使用：前两者定位分歧集中的级别和缺陷类型，专家复核确认标准本身是否需要修订。指标结果用于改进分级标准、补充判定示例、调整复评范围，作为流程改进的输入，不直接作为个人绩效结论。
常见问题
同一缺陷被三名以上评估人定级时，一致率的分母怎么算？
先约定配对方式再取数。两两配对是把每两名评估人的结果各组成一对，三人定级产生三对，四人定级产生六对，分母是评估对总数；与基准人比对是选定一名基准评估人，其他人分别与其比较，分母是参与比对的评估人数。两种方式算出的百分比不可直接比较，口径说明中要写明采用哪一种，并在跨期统计时保持一致。如果中途更换配对方式，应在报告中注明切换点，前后分段呈现。
复评差异率高，是否说明初次定级质量差？
需要看复评依据。复评环节如果引入了初次定级时没有的更完整信息，例如线上影响范围、用户反馈或数据损失情况，级别变化正是纠偏在起作用，差异率高反映的是信息逐步补全的过程。判断方向可以看变化档数分布和变化方向：多数变化集中在相邻一档、且以调高严重级别为主，通常说明初次定级存在低估倾向；变化分散在多档、方向不一，则更可能是标准条款本身存在模糊地带。结合复评依据说明一起看，才能区分是初次判断偏差还是复评信息增量。
统计期内同一缺陷被多次复评，分母要不要重复计入？
不重复计入。口径中需事先约定取首次复评还是末次复评：取首次复评反映初次定级与第一次纠偏之间的偏离，取末次复评反映最终结论与初次定级的差距。两种口径的分子不同，同一批数据算出的差异率也不同，选定后在统计期内保持一致。中间各次复评记录可以保留用于分析修正路径，但不进入分母。若某缺陷在统计期内复评尚未完成，按缺失值规则处理，不进入复评差异分母。
一致率和复评差异的数据从哪里取，需要提前做哪些准备？
取数依赖定级与复评的字段留痕。需要能按缺陷导出初次定级人、初次级别、定级时间、独立评估人及其级别、复评人、复评级别、复评时间和分级标准版本。如果定级结论只存在于会议纪要或聊天记录中，事后无法还原评估人和时间，指标就失去可复算性。准备阶段应把定级与复评作为工作项上的正式字段记录，保留每次变更的操作人和时间。在 ONES 中，缺陷可作为工作项跟踪，支持自定义属性与多条件筛选，并可通过报表自定义数据范围和维度；分级一致性与复评差异的专用指标需要基于这些字段自行配置统计口径，具体字段与报表能力以实际版本配置为准。
样本量很小的时候，指标还能不能用？
可以用，但要标注样本量并谨慎下结论。评估对只有十几个时，一次分歧就可能让一致率跳动十个百分点以上；完成复评的缺陷只有个位数时，差异率的分母过小，单个缺陷的变化就能显著改变结果。建议在结果旁同时给出分子、分母和样本量，样本不足的期次标注“仅供参考”，不据此判断改进是否有效。需要连续观察多个期次，或扩大统计范围到更多项目，再判断趋势。跨期比较还要确认级别体系、评估人构成和配对方式没有变化。
