度量缺陷分级质量，需要把“一致性”和“准确性”分开处理：一致性看不同评估者对同一缺陷是否给出相同级别，准确性看分级结果是否符合既定分级标准或复评结论。本文给出一套可复算的方法，包括指标公式、取数口径、抽样规则、计算步骤和一组30条样本的演示算例，并说明分母为零、样本偏差等情形下的解读边界。所有比率都需交代样本范围、时间窗和分级标准版本，否则结果不可比。
要点总览（TL;DR）
- 一致性看不同评估者对同一缺陷是否给出相同级别，准确性看分级结果是否符合分级标准或复评结论，两类指标需同时报告。
- 核心指标包括同级一致率、加权Kappa、标准符合率、复评差异分布和严重度低估率，每个指标都要交代分子、分母、时间窗和分级标准版本。
- 取数需固定缺陷ID、分级结果、分级人、分级时间、标准版本、复评结果和复评人，按级别或模块分层抽样，并写明缺失值剔除规则。
- 计算按六步执行：固定标准版本、抽样独立复评、逐条比对、按公式出数、分组定位分歧、核对分母与不可比情形。
- 分母为零或样本过少时只报样本数；不同标准版本和缺陷类型的比率不可直接比较；不设通用达标线，阈值结合误判代价确定。
评估目标：分级质量要回答哪两个问题
缺陷分级评估要回答两个独立问题，对应两类指标和两类决策用途。
第一个问题是一致性：面对同一个缺陷，不同评估者是否给出同一级别。它衡量分级标准的可执行程度和团队理解是否统一。一致性低，说明级别定义存在歧义、培训不到位，或分级依赖个人经验。一致性结果主要用于校准分级标准、补充判定示例、组织分级培训。
第二个问题是准确性：给出的级别是否符合分级标准，是否与缺陷的实际业务影响相符。它衡量分级结果本身对不对。准确性低，说明团队对标准的理解有系统性偏差，或标准与业务实际脱节。准确性结果主要用于修订级别定义、调整复评机制、识别高风险缺陷类型。
两类指标不能互相替代。两个人对同一缺陷都判为“严重”，一致性很高，但如果该缺陷实际只影响日志展示，准确性就低；反过来，两个人分别判为“严重”和“一般”，一致性低，但其中一人的结论可能符合标准。只报一致性，无法发现集体性误判；只报准确性，无法区分是标准问题还是执行问题。因此评估报告应同时呈现两类结果。
评估结论的用途是改进分级标准、培训和复评机制。指标反映的是分级过程和标准的质量，不宜直接折算为个人绩效，否则评估者会倾向于选择“安全”的级别，反而扭曲数据。
指标与范围：同级一致率、Kappa、标准符合率与复评差异
以下指标构成本篇的度量口径。所有比率均以样本为单位，时间窗与样本范围需在报告中固定。
| 指标 | 公式 | 分子 | 分母 | 单位 | 时间窗 |
|---|---|---|---|---|---|
| 同级一致率 | 一致样本数÷参与评估的样本总数 | 两名及以上评估者给出相同级别的样本数 | 完成全部评估的样本数 | 百分比 | 与抽样窗口一致 |
| 加权Kappa | （观测一致率−期望一致率）÷（1−期望一致率） | 按级别序关系加权的观测一致与期望一致之差 | 1−期望一致率 | 无量纲系数 | 与抽样窗口一致 |
| 标准符合率 | 与标准分级一致的样本数÷有标准答案的样本数 | 分级结果与标准答案相同的样本数 | 存在标准答案的样本数 | 百分比 | 与复评窗口一致 |
| 复评差异分布 | 上调、下调、不变样本数分别÷复评样本数 | 各类差异样本数 | 完成复评的样本数 | 百分比 | 与复评窗口一致 |
| 严重度低估率 | 被评低一级及以上的样本数÷复评样本数 | 原分级低于复评结论一级及以上的样本数 | 完成复评的样本数 | 百分比 | 与复评窗口一致 |
加权Kappa需要说明权重与级别序关系。缺陷级别通常有序，例如“致命、严重、一般、轻微”，把“致命”误判为“轻微”比误判为“严重”代价更大。常用做法是线性权重或二次权重，权重表应随报告一并给出，便于复算。Kappa受级别分布偏斜影响明显：当绝大多数缺陷集中在同一级别时，期望一致率很高，Kappa会被压低，此时必须与原始一致率同时报告。
样本范围需要明确四项：缺陷来源（哪些项目、产品线或模块）、时间窗（如某季度提交的缺陷）、级别体系版本（分级标准文档的版本号）、抽样方式（分层抽样还是全量）。范围不同，比率不可直接比较。严重度低估率单独列出，是因为低估通常比高估带来更大的交付风险，需要单独观察。
数据口径与证据：分级记录、标准答案和复评样本怎么取
结果要可复算，取数字段必须完整。建议从缺陷管理工作项中导出以下字段：缺陷ID、分级结果、分级人、分级时间、分级标准版本、复评结果、复评人。若存在多人独立分级，还需记录每位评估者的分级结果和评估时间。
标准答案有三种来源，适用条件不同：
- 分级标准文档：适用于级别定义清晰、可逐条对照的情形，由评估人按文档条款判定。
- 专家复评结论：适用于边界模糊、需要业务判断的缺陷，由未参与原分级的资深人员独立复评。
- 历史共识样本：适用于已形成团队共识的典型缺陷，可作为校准参照，但需注明共识形成时间。
抽样建议按级别或模块分层，避免简单随机抽样导致高严重度缺陷样本过少。每层记录样本量与抽样比例，例如按“致命、严重、一般、轻微”四层各抽若干条，或在模块维度上保证主要模块均有覆盖。样本量过小时只报样本数，不报比率。
缺失值处理需在报告中写明规则和剔除数量：无复评记录的样本不进入准确性指标；分级标准版本与评估窗口不一致的样本剔除或单列；分级人缺失的样本无法用于一致性计算，应剔除。多人独立分级场景下，必须保证评估者在给出结论前看不到彼此的分级结果，否则一致性指标失去意义。
在缺陷记录承载上，ONES Project 支持缺陷跟踪管理，可一键提交 Bug 至对应项目或迭代，并统计缺陷状态分布；ONES TestCase 支持未通过用例快速创建缺陷任务，并提供项目缺陷分布统计。分级人、分级时间、标准版本、复评结果等度量字段能否完整记录，需结合实际工作项配置确认。评估流程可以在同一工作项上完成原分级、复评和结果回填，减少跨表核对。
计算与评估步骤：从抽样到出数的六步
按以下顺序执行，每步都有明确产出，便于复核。
- 固定分级标准版本与级别定义。确认本次评估使用的分级标准文档版本，列出每个级别的判定条件和典型示例。产出：标准版本号与级别定义清单。
- 抽取样本并组织独立复评。按分层规则抽取缺陷，分配给未参与原分级的评估者，确保互不可见。产出：样本清单、评估者分配表。
- 逐样本比对，标记一致、上调、下调。将原分级与复评结论逐条对照，记录差异方向和差异级数。产出：逐样本比对表。
- 按公式计算同级一致率、Kappa、标准符合率、低估率。每个指标同时记录分子、分母和剔除样本数。产出：指标计算表。
- 按级别或模块拆分，定位分歧集中区。观察哪一级别、哪一模块的一致率或符合率明显偏低，作为改进重点。产出：分组结果表。
- 核对分母与样本量，记录不可比情形。检查各指标分母是否与样本清单一致，标注版本不一致、样本过少等不可比情况。产出：评估说明与限制清单。
六步完成后形成一份评估报告，包含指标表、分组结果、剔除说明和限制条件。报告应保留原始比对表，便于他人按同一口径复算。
例子：一次30条样本的分级一致性核算
以下为演示算例，数据为假设取值，仅用于说明公式代入和结果呈现，不代表行业基准。
某季度从两个模块抽取30条缺陷，按级别分层抽样，覆盖四个级别。由两名未参与原分级的评估者独立复评，评估期间互不可见。比对结果：20条与原分级一致，6条复评上调一级，3条复评下调一级，1条复评上调两级。其中28条存在明确的标准答案，2条因标准版本不一致被剔除出标准符合率计算。
| 项目 | 数值 | 计算 |
|---|---|---|
| 样本总数 | 30 | — |
| 一致样本数 | 20 | — |
| 同级一致率 | 66.7% | 20÷30 |
| 复评上调占比 | 23.3% | （6+1）÷30 |
| 复评下调占比 | 10.0% | 3÷30 |
| 复评不变占比 | 66.7% | 20÷30 |
| 严重度低估率 | 23.3% | 7÷30 |
| 标准符合率 | 71.4% | 20÷28 |
结果解读：同级一致率66.7%，说明约三分之一的样本存在分歧；低估率23.3%，高于下调占比，提示原分级整体偏轻。按级别拆分后若发现分歧集中在“严重”与“一般”之间，应优先检查这两个级别的判定条件是否重叠，补充边界示例。标准符合率的分母为28，剔除的2条需在报告中说明原因。加权Kappa需按级别序关系设定权重后另行计算，并与66.7%的原始一致率同时呈现。
解读与限制：分母为零、样本偏差与指标边界
结果解读有几条明确规则，违反其中任何一条都会导致误判。
- 分母为零或样本过少时不给比率，只报样本数。例如某级别没有复评样本，该级别的符合率记为“样本不足”，不写0%。
- 不同级别体系版本、不同缺陷类型的比率不可直接比较。标准文档改版后，新旧版本的符合率应分段报告。
- Kappa受级别分布偏斜影响，需与原始一致率同时报告。分布高度集中时，以一致率和复评差异分布为主。
- 一致性高不等于准确性高。集体性误判会表现为高一致率、低符合率，必须用标准符合率佐证。
- 指标反映分级过程和标准的质量，不能单独作为个人绩效依据。
- 不设通用达标线。阈值应结合业务误判代价确定，例如低估严重缺陷导致的线上故障成本越高，可接受的低估率应越低。
还需注意指标不能证明的内容：一致率和符合率不能证明分级标准本身合理，只能说明执行与标准文档的吻合程度；复评结论本身也可能有偏差，专家复评应尽量由多人独立完成并记录分歧。评估结果适合用于校准标准、安排培训和调整复评频率，若要观察改进效果，应在相同样本范围和口径下做前后对比。
常见问题
同级一致率和加权Kappa应该先看哪个？
两个都要看，但用途不同。同级一致率直观反映有多少样本存在分歧，便于向团队说明问题规模；加权Kappa扣除了随机一致，能反映排除运气成分后的实际一致水平。建议同时报告，并附上权重表。当级别分布高度集中时，Kappa会被压低，此时以同级一致率和复评差异分布为主，Kappa作为辅助参考。
复评由谁来做，才能作为准确性的参照？
复评人应未参与原分级，且熟悉分级标准和缺陷对应的业务场景。边界模糊的缺陷可由多名资深人员独立复评，记录各自结论和分歧；分歧较大的样本可单列，作为标准修订的输入。复评结论本身也可能有偏差，因此报告中应说明复评人构成和复评方式，避免把单次复评当作绝对正确的标准答案。
样本量多少才适合报比率？
没有统一门槛，取决于分级结果的使用场景和可接受的误差。样本过少时，比率波动大，容易误导判断，建议只报样本数和差异条数。按级别分层后，若某一层样本极少，该层的符合率或低估率应标注“样本不足”，不与其他层直接比较。需要观察改进效果时，前后两次评估应保持相同的抽样方式和样本范围。
一致性指标高，是否说明分级质量已经达标？
不能。一致性高只说明评估者之间结论接近，如果团队对标准存在共同的系统性误读，会出现高一致率、低标准符合率的情况。判断分级质量需要同时看标准符合率和复评差异方向，尤其是严重度低估率。若低估率明显高于下调占比，说明原分级整体偏轻，应优先检查级别定义和判定示例。
评估结果能否直接用于个人绩效考核？
不建议。指标反映的是分级标准、培训和复评机制的整体质量，直接与个人绩效挂钩会让评估者倾向选择“安全”的级别，扭曲分级数据。更合适的用法是把结果用于校准标准、补充边界示例、安排培训和调整复评频率。若需要观察改进效果，应在相同口径下做前后对比，并保留原始比对表以便复算。
