衡量缺陷等级争议，需要把“争议有多严重”和“治理有没有效”分开评估。严重程度看争议发生频率与影响面，治理效果看复评是否收敛、流程是否变快。本文给出一套可复算的指标口径，包括争议率、复评维持率等公式、时间窗与缺失值规则，并用算例演示计算过程；所有指标都需固定分母和等级口径，结合样本量解读。
要点总览（TL;DR）
- 衡量缺陷等级争议分两层：严重程度看争议率和争议强度，治理效果看复评维持率、复评一致率、争议闭环时长和争议复发率。
- 核心口径：争议率=统计期内发生等级争议的缺陷数÷同期已定级缺陷数；复评维持率=复评后维持原等级的缺陷数÷已完成复评的争议缺陷数。
- 每个指标都要固定分子分母、时间窗和等级口径；分母为零记为不适用，未完成复评的争议单独列为在办，不混入复评分母。
- 结果按等级、模块、团队分层，与自身历史基线对比，样本量过小时只做趋势观察，不套用通用达标线。
- 单指标不能证明治理有效：争议率下降可能来自不敢提争议，复评维持率高不等于定级准确，需组合解读。
先明确评估目标：区分争议有多严重与治理有没有效
缺陷等级争议通常表现为测试与研发对同一缺陷的严重程度判断不一致：一方认为影响核心流程，另一方认为只是局部异常。围绕这类争议做度量，先要回答两个不同的问题，否则指标会混在一起，既说不清问题规模，也判断不了改进是否见效。
严重程度回答的是“争议发生得有多频繁、波及面有多大”。它关心在已定级的缺陷中，有多大比例被提出了等级异议，争议集中在哪些等级、哪些模块、哪些团队。这一层指标用于判断问题是否值得投入治理资源，以及治理应从哪个环节切入。
治理效果回答的是“争议是否收敛、处理是否变快”。它关心复评之后原等级是否被维持、复评结论与初次定级是否一致、一个争议从提出到关闭要多久、同类争议是否反复出现。这一层指标用于验证定级标准、评审机制或沟通方式的调整是否真正减少了分歧。
两层指标不能互相替代。争议率下降可能说明定级规则更清晰，也可能说明团队不愿再提争议；复评维持率高可能说明初次定级准确，也可能说明复评只是走过场。只有把严重程度指标与治理效果指标放在同一时间窗内组合观察，才能形成较完整的判断。
指标与范围：争议率、复评维持率等核心指标定义
本篇采用的指标覆盖缺陷分级环节，统计对象是统计期内已定级的缺陷，以及其中发生过等级争议的缺陷。指标分为两组：严重程度组包括争议率和争议强度；治理效果组包括复评维持率、复评一致率、争议闭环时长和争议复发率。
| 指标 | 所属层次 | 含义 | 回答的问题 |
|---|---|---|---|
| 争议率 | 严重程度 | 已定级缺陷中发生等级争议的比例 | 争议发生得有多普遍 |
| 争议强度 | 严重程度 | 单个争议缺陷的等级分歧幅度，可按相差等级数统计 | 争议有多激烈、影响面多大 |
| 复评维持率 | 治理效果 | 复评后维持原等级的争议缺陷占已完成复评争议缺陷的比例 | 复评是否倾向收敛到原判断 |
| 复评一致率 | 治理效果 | 复评结论与初次定级一致（含维持与按规则修正后一致）的比例 | 定级与复评的判断标准是否统一 |
| 争议闭环时长 | 治理效果 | 争议从提出到关闭所经历的时间 | 争议处理流程是否变快 |
| 争议复发率 | 治理效果 | 同一缺陷或同类缺陷再次出现等级争议的比例 | 治理是否减少重复分歧 |
统计范围限定在缺陷分级环节。缺陷分诊、责任分配、工单优先级与SLA管理属于另外的管理对象，其指标不纳入本文口径。若团队同时在看分诊时效或响应时长，应单独建表，避免与等级争议指标混算。
争议强度需要先约定计量方式。常见做法是按争议双方给出的等级相差档数计，例如初次定为“严重”、复评提出“一般”，相差一档记为强度1；若涉及三个以上等级意见，取最大相差档数。等级体系档数不同时，强度值不可直接跨体系比较。
数据口径：分子分母、时间窗与缺失值处理
指标可复算的前提是每个指标都写清分子、分母、单位和时间窗归属。下表给出本篇采用的口径，团队落地时应把公式写入报表说明，避免不同人取数得出不同结果。
| 指标 | 公式 | 分母 | 时间窗归属 | 单位 |
|---|---|---|---|---|
| 争议率 | 发生等级争议的缺陷数 ÷ 同期已定级缺陷数 | 统计期内完成初次定级的缺陷数 | 按缺陷定级时间归属 | 百分比 |
| 争议强度 | 各争议缺陷等级相差档数之和 ÷ 争议缺陷数 | 统计期内发生等级争议的缺陷数 | 按争议提出时间归属 | 档/缺陷 |
| 复评维持率 | 复评后维持原等级的缺陷数 ÷ 已完成复评的争议缺陷数 | 统计期内完成复评的争议缺陷数 | 按复评完成时间归属 | 百分比 |
| 复评一致率 | 复评结论与初次定级一致的缺陷数 ÷ 已完成复评的争议缺陷数 | 统计期内完成复评的争议缺陷数 | 按复评完成时间归属 | 百分比 |
| 争议闭环时长 | 各争议关闭时间减提出时间之和 ÷ 已关闭争议数 | 统计期内已关闭的争议数 | 按争议关闭时间归属 | 小时或天 |
| 争议复发率 | 再次发生等级争议的缺陷数 ÷ 曾发生争议且已关闭的缺陷数 | 观察期内曾发生争议并已关闭的缺陷数 | 按再次争议提出时间归属 | 百分比 |
时间窗归属要统一。争议率按缺陷定级时间归入统计期，复评类指标按复评完成时间归入统计期，两类指标在同一张报表中出现时，应分别注明归属规则。否则会出现“本期争议率”与“本期复评维持率”分母不一致，读者误以为两者可以直接相除。
缺失值按以下规则处理：分母为零时，该指标记为“不适用”，不记作0，避免把“没有样本”误读为“没有争议”；复评尚未完成的争议缺陷不计入复评维持率分母，单独统计为在办争议，并在报表中列示数量；等级记录缺失的缺陷从定级分母中剔除，同时记录剔除量，剔除比例过高时应在报告中说明数据质量问题。
等级体系版本变化时，跨版本对比需先做等级映射，把旧体系的等级对应到新体系后再计算；无法可靠映射的时段只做同版本内比较。争议强度尤其受档数影响，等级体系调整后不宜直接与历史值比较。
计算与评估步骤：从取数到形成判断
指标计算按固定流程执行，可以减少口径漂移。以下步骤适用于一个统计周期，也适用于按月滚动的持续观察。
- 确定取数范围与字段。需要准备的字段包括：缺陷编号、初次定级等级、定级时间、是否提出等级争议、争议提出时间、复评结论、复评完成时间、争议关闭时间、所属模块与团队。字段缺失的先补齐，无法补齐的记录按缺失值规则处理。
- 按公式逐项计算。先算争议率与争议强度，再算复评维持率、复评一致率、争议闭环时长与复发率。每个指标同时输出分子、分母和结果值，便于复核。
- 按缺陷等级、模块、团队分层看数。整体争议率可能被某一模块拉高，分层后才能定位治理重点。分层时保持分母一致，小样本层单独标注样本量。
- 与自身历史基线对比。把本期结果与上期、上季度或治理措施上线前的基线比较，观察变化方向和幅度。通用达标线在不同产品、不同等级体系下差异很大，不宜直接套用。
- 形成判断并记录限制。结合样本量说明结论强度；样本过小时只做趋势观察，不下“治理有效”的结论。
取数与留痕环节可以借助工作项工具承载。ONES Project 适配缺陷管理场景，提供缺陷跟踪管理与质量统计能力，支持统计缺陷状态分布；ONES TestCase 支持未通过用例快速创建缺陷任务，并生成测试报告与项目缺陷分布统计。缺陷定级、复评记录与状态流转若在工作项中留痕，上述指标的取数就有了可追溯的来源。具体字段配置与报表维度需按实际产品核验。
算例：一个统计周期内的争议率与复评维持率
以下为演示用假设数据，不对应任何真实团队。某统计期内，团队完成初次定级的缺陷共400个，其中发生等级争议的缺陷32个；32个争议缺陷中，已完成复评的有25个，复评后维持原等级的有18个；另有7个争议仍在办理中。
争议率 = 32 ÷ 400 = 8.0%。复评维持率 = 18 ÷ 25 = 72.0%。在办争议7个，不计入复评维持率分母，单独列示。若把7个在办争议误计入分母，会得到18 ÷ 32 = 56.3%，与真实口径相差明显，这正是分母规则必须固定的原因。
进一步看争议强度：假设32个争议缺陷的等级相差档数合计为41档，则平均争议强度为41 ÷ 32 ≈ 1.28档/缺陷，说明多数争议集中在一档之差。若某模块的争议强度明显高于整体，可优先检查该模块的定级说明是否充分。
对结果的解读要留有余地。8.0%的争议率需要与团队自身历史基线比较才有意义；72.0%的复评维持率说明多数复评维持了原判断，但不能据此认定初次定级准确，因为复评过程本身可能受人际关系或进度压力影响。7个在办争议的闭环时长尚未纳入，本期无法判断处理效率是否改善。样本量方面，25个复评样本的波动区间较宽，单期结果只宜作为趋势起点。
解读与限制：指标能说明什么、不能说明什么
争议率下降有两种常见解释：定级标准更清晰，测试与研发对等级的理解趋于一致；或者团队不愿提争议，把分歧留在私下沟通。两种情况的治理含义完全相反。判断属于哪一种，需要同时看争议强度、复评一致率和争议提出渠道是否畅通，必要时抽查部分缺陷的定级讨论记录。
复评维持率高不等于定级准确。复评若由原定级人主导，或复评缺少独立依据，维持原等级只是流程结果，不能证明判断正确。复评一致率可以与维持率配合使用：一致率高且争议闭环时长缩短，才更可能说明标准统一且流程顺畅。
指标应组合使用，避免单指标考核。若把争议率单独用于个人绩效，容易诱发少提争议；若把复评维持率单独考核，容易诱发快速维持原等级。治理效果需要结合争议闭环时长与复发率判断：闭环时长下降说明处理变快，复发率下降说明同类分歧减少，两者同时改善才更接近治理目标。
所有指标都要固定时间窗、分母和等级口径，并结合样本量解读。单期、单指标的结果不足以证明治理有效；跨等级体系版本比较前先做映射；分母为零时记为不适用。把这些规则写进报表说明，指标才能在不同周期、不同团队之间保持可比，也才能支撑关于缺陷等级争议的持续判断。
常见问题
争议率和复评维持率的分母为什么不能混用？
两个指标回答的问题不同，分母对应的缺陷集合也不同。争议率的分母是统计期内完成初次定级的全部缺陷，衡量争议在定级总量中的普遍程度；复评维持率的分母是统计期内已完成复评的争议缺陷，衡量复评结论的收敛情况。
如果把在办争议也算进复评分母，复评维持率会被系统性压低。以正文算例为例，25个已完成复评、18个维持原等级，正确结果是72.0%；把7个在办争议计入分母会得到56.3%，两者含义完全不同。报表中应分别注明时间窗归属：争议率按定级时间，复评类指标按复评完成时间。
团队刚开始记录争议，样本量很小，指标还能用吗？
可以用，但要降低结论强度。样本量小时，百分比指标的波动区间很宽，单期结果更适合作为趋势起点，而不是治理成效的证据。
建议先保证记录完整：争议提出时间、复评结论、复评完成时间、争议关闭时间这几个字段齐全，再按月滚动观察。分层看数时，小样本层单独标注样本量，避免把某一两个缺陷带来的波动解读成模块性问题。等积累到若干周期后，再与治理措施上线前的基线做对比。
等级体系调整过，历史数据还能直接对比吗？
不能直接对比，需要先做等级映射。把旧体系的等级对应到新体系后再计算，无法可靠映射的时段只做同一版本内的比较。
争议强度受影响最明显，它按等级相差档数计量，档数一变，历史值就失去可比性。争议率和复评维持率虽然以比例表达，但等级口径变化会改变哪些缺陷被提出异议，同样建议先映射再比较，并在报表说明中记录映射规则和适用时段。
争议率下降，怎么判断是定级更清晰还是团队不愿提争议？
单看争议率无法区分。可以同时观察三个信号：争议强度是否同步下降、复评一致率是否上升、争议提出渠道是否仍然畅通。
如果争议率和争议强度一起下降，复评一致率上升，且争议仍能正常提出并进入复评，更可能是定级标准变清晰；如果争议率骤降但复评样本明显减少，或缺陷定级讨论记录中仍有分歧却未形成争议，就要检查是否存在少提争议的情况。必要时抽查部分缺陷的定级讨论记录作为佐证。
这些指标能不能直接用于个人绩效考核？
不建议把单指标直接挂到个人考核。争议率与个人挂钩，容易诱发少提争议；复评维持率与个人挂钩，容易诱发快速维持原等级，两种行为都会让指标失真。
更稳妥的做法是把指标用于团队或流程层面的改进观察，考核侧重争议闭环时长、复发率这类与处理质量相关的指标，并保留复评的独立性。指标组合使用、定期复核口径，才能让数据持续反映真实的定级分歧状况。
