统计AI缺陷分类的分类准确率，核心是拿人工确认正确的分类缺陷数除以已分类缺陷总数；人工修正率则用被人工改动过分类的缺陷数除以同一分母。两个指标要按同一时间窗、同一缺陷集合一起看，才能判断分类结果是否真正可用。本文给出指标定义、取数口径、计算步骤和算例，评估对象是AI对缺陷模块、类型、严重程度等字段的赋值结果。
要点总览（TL;DR）
- 分类准确率 = 人工确认正确的分类缺陷数 ÷ 已分类缺陷总数 × 100%；人工修正率 = 被人工改动过分类的缺陷数 ÷ 同一分母 × 100%，两个指标必须同时间窗、同分母一起看。
- 分母以AI已分类缺陷为准，排除未分类、重复和测试数据；时间窗需在按创建时间归集与按分类时间归集之间二选一并固定，跨窗口缺陷约定归属规则。
- 修正记录从分类变更记录中提取，保留操作人、变更字段、变更前后值和变更时间，按缺陷编号与字段去重，同一缺陷同一字段多次改动只计一次。
- 准确率高但修正率也高，通常提示分类结果可用性差或字段定义不清；抽样核对需在报告中写明样本量与抽样方式，字段定义或缺陷分布变化时跨期数据不宜直接连线比较。
- 这两个指标反映AI分类结果与人工判断的吻合程度及人工介入规模，不构成模型训练效果或人员绩效的因果结论。
评估目标：先定清楚要回答什么问题
统计之前先写一份评估目标说明，把“准确率和修正率”落到具体问题上。评估对象是AI对缺陷分类字段的赋值结果，包括模块、缺陷类型、严重程度等字段，以及这些字段在缺陷工作项上的最终取值。模型训练效果、算法参数调整不在本次评估范围内。
评估要回答三个问题：第一，AI分得对不对，即分类结果与人工判断是否一致；第二，人工改了多少，即有多少缺陷的分类被人改动过；第三，改在哪些字段，即修正集中在模块、类型还是严重程度。三个问题对应不同的取数字段，需要在评估目标里逐项列明。
评估周期建议与缺陷管理节奏对齐，例如按迭代、按月或按季度统计，周期一旦确定，各期保持一致。责任角色通常包括测试负责人和缺陷管理维护者：测试负责人负责组织人工核对并确认正确性，缺陷管理维护者负责字段定义、变更记录和取数口径的稳定性。评估目标说明应包含评估对象、字段清单、统计周期、责任人四项内容，作为后续所有计算的依据。
指标与范围：准确率、修正率及配套指标的定义
指标定义要写清公式、分子、分母、单位和统计粒度，避免不同人算出不同结果。下表给出核心指标与配套指标的定义框架。
| 指标 | 公式 | 分子 | 分母 | 单位与粒度 |
|---|---|---|---|---|
| 分类准确率 | 正确分类缺陷数 ÷ 已分类缺陷总数 × 100% | 经人工核对确认分类正确的缺陷数 | 同一时间窗内AI已分类的缺陷总数 | 百分比；整体及分字段（模块、类型、严重程度） |
| 人工修正率 | 被人工修正缺陷数 ÷ 已分类缺陷总数 × 100% | 分类字段被人工改动过的缺陷数（按缺陷去重） | 与准确率相同的分母 | 百分比；整体及分字段 |
| 分类一致性 | 一致结果数 ÷ 核对结果总数 × 100% | 同一缺陷多次分类或多人核对结果相同的次数 | 参与核对的分类结果总数 | 百分比；按字段或按核对批次 |
| 处理时延 | 分类确认时间 − 分类起点时间 | — | — | 小时或天；中位数与分位数 |
分类准确率衡量AI赋值与人工判断的吻合程度，人工修正率衡量人工实际介入改动的比例。两者分母必须相同，才能放在一起解读。分类一致性用于观察同一缺陷被多次分类或多人核对时结果是否稳定，适合在抽样核对时同步记录。处理时延需要先定义起止点，例如从缺陷创建到分类结果产出，或从分类产出到人工确认，起止点不同结果不可直接比较。
纳入范围要明确三件事：哪些项目计入，哪些缺陷状态计入，哪些分类字段计入。建议只纳入已进入缺陷管理流程、状态为已确认或处理中的缺陷，排除草稿、已关闭且不再维护的缺陷。字段范围按评估目标确定，若本期只评估模块和严重程度，就不把缺陷类型计入分母，避免口径漂移。
数据口径与证据：分母、时间窗和修正记录怎么取
分母口径以AI已分类缺陷为准，排除未分类缺陷、重复缺陷和测试数据。重复缺陷按缺陷编号去重，同一缺陷多次提交只计一次；测试数据在取数时按项目或标签剔除，并在口径说明中写明剔除规则。分母确定后，准确率和修正率共用这一分母，中途不更换。
时间窗口径要二选一并固定下来：按缺陷创建时间归集，或按分类时间归集。按创建时间归集便于与缺陷总量对齐，按分类时间归集更贴近AI实际处理量。跨窗口缺陷需要约定归属规则，例如以分类完成时间所在窗口为准，未完成的顺延到下一窗口，规则写入口径说明后各期沿用。
修正证据来自分类变更记录，需要保留操作人、变更字段、变更前后值、变更时间四项信息。取数时按缺陷编号和字段去重，同一缺陷同一字段多次改动只计一次修正，但变更次数可作为辅助信息记录。若变更记录缺少操作人或前后值，该条修正无法核验，应单独列出而不是直接计入分子。
缺失值和分母为零要提前定规则。分母为零时准确率和修正率不计算，报告中标注“本期无已分类缺陷”，不用0%代替。个别缺陷缺少分类字段时，从分母中剔除并记录剔除数量；核对记录缺失的缺陷不计入准确率分子，也不计入分母，保证分子分母来自同一集合。
在缺陷管理工具中取数时，缺陷的分类字段、状态和变更记录需要能按项目和时间筛选。ONES 的缺陷以工作项形式管理，分类字段随工作项保存，ONES Assistant 可基于项目和工作项上下文回答问题并执行操作，相关输出过程可追踪、结果可审计，便于在核对环节回溯分类结果的来源。具体字段是否支持导出，以团队实际配置为准，取数前先在测试项目验证一遍。
计算与评估步骤：从取数到出报告的流程
按以下五步执行，不同人按同一流程应得到可复算的结果。
- 确定统计周期与缺陷集合。写明起止时间、归集依据（创建时间或分类时间）、纳入项目和状态，导出缺陷清单并去重，得到分母基数。
- 核对AI分类是否正确。全量或抽样核对每个缺陷的分类字段，逐条标记“正确”或“错误”，记录核对人、核对时间和判断依据。抽样时记录抽样方式和样本量。
- 提取人工修正记录。按缺陷编号和字段提取变更记录，去重后标记哪些缺陷发生过修正，并记录修正字段、修正前后值和修正时间。
- 按公式计算指标。先算整体准确率和修正率，再按模块、类型、严重程度分字段计算，同时计算分类一致性和处理时延的中位数。
- 与上期或基线对比并形成结论。列出本期数值、上期数值和变化方向，对变化较大的字段附上原因说明，形成评估报告。
核对记录模板建议包含：缺陷编号、分类字段、AI赋值、人工判断、是否正确、是否被修正、修正前后值、修正时间、核对人。模板字段与取数字段一一对应，报告中的每个数字都能回溯到具体缺陷记录。
算例：一个统计周期的完整计算示例
以下为演示用假设数据，不对应任何真实项目。某统计周期内，AI已分类缺陷共500条，剔除重复和测试数据后分母为480条。人工全量核对后确认分类正确的缺陷为408条，被人工改动过分类的缺陷为60条。
分类准确率 = 408 ÷ 480 × 100% = 85.0%。人工修正率 = 60 ÷ 480 × 100% = 12.5%。两个指标使用同一分母480，可以直接并列解读。
分字段结果按同样方式计算，示例如下：
| 字段 | 已分类缺陷数 | 正确数 | 被修正数 | 准确率 | 修正率 |
|---|---|---|---|---|---|
| 模块 | 480 | 432 | 36 | 90.0% | 7.5% |
| 缺陷类型 | 480 | 408 | 60 | 85.0% | 12.5% |
| 严重程度 | 480 | 384 | 84 | 80.0% | 17.5% |
分字段数据说明严重程度字段的准确率最低、修正率最高，是本期优先排查的字段。修正方向分布可进一步记录，例如严重程度被上调20条、下调40条，其余24条为同级别内调整；缺陷类型中“功能缺陷”改为“性能缺陷”15条、“界面问题”改为“兼容性问题”9条。方向分布帮助判断偏差是系统性偏高还是偏低，而不是只看总量。
解读与限制：指标能说明什么、不能说明什么
准确率与修正率要一起读。准确率高、修正率低，说明分类结果与人工判断吻合且人工介入少；准确率高但修正率也高，往往说明分类结果可用性差或字段定义不清，人工虽然最终改对了，但改动成本已经发生；准确率低、修正率低，可能是核对标准过松或修正记录没有留痕，需要先检查取数而不是直接下结论。
抽样核对会带来误差，样本量越小、抽样方式越随意，指标波动越大。报告中应同时写明样本量、抽样方式和核对人，跨期比较时保持抽样方式一致。全量核对成本较高，可按字段分层抽样，但对修正率高的字段应提高抽样比例。
以下情形跨期数据不宜直接比较：分类字段定义发生变化，例如模块划分调整或严重程度标准修订；缺陷类型分布明显变化，例如某期集中出现大量兼容性缺陷；统计口径调整，例如归集依据从创建时间改为分类时间；分母剔除规则变化。出现这些情形时，应在报告中标注断点，分段比较而不是直接连线。
这两个指标反映AI分类结果与人工判断的吻合程度以及人工介入的规模，不构成模型训练效果的因果结论，也不能直接作为人员绩效依据。分类准确率受字段定义清晰度、缺陷描述质量和核对标准影响，解读时应结合具体字段和业务背景，必要时补充缺陷分布和修正方向的分析。
常见问题
统计周期内AI没有分类任何缺陷，准确率和修正率该怎么报？
分母为零时两个指标都不计算，报告中标注“本期无已分类缺陷”，不用0%代替。同时说明本期未产生分类结果的原因，例如分类功能未启用或缺陷未进入分类流程，并把这一期从趋势对比中排除，避免把空值当成质量下降。
同一缺陷的分类被人工改了多次，修正率里算几次？
按缺陷去重，同一缺陷同一字段多次改动只计一次修正，保证分子与“被修正缺陷数”的定义一致。改动次数可以作为辅助信息单独记录，用于观察反复修正的情况，但不进入修正率分子，否则修正率会随改动频次虚高，与准确率的分母口径也不再对应。
抽样核对和全量核对算出的准确率能直接比较吗？
不能直接比较。抽样核对存在抽样误差，样本量、抽样方式和分层规则不同，结果的可比性就不同。跨期比较时应保持核对方式一致，并在报告中写明样本量、抽样方式和核对人；对修正率高的字段可提高抽样比例，减少漏判。
分类字段定义调整后，准确率还能和上期对比吗？
字段定义调整会改变“正确”的判断标准，例如模块划分变化或严重程度标准修订，前后两期的准确率不再同口径。建议在报告中标注断点，分段比较，必要时按新定义回溯重算上期数据后再对比，而不是直接把两期数值连线。
在ONES里取分类字段和变更记录要注意什么？
ONES 的缺陷以工作项形式管理，分类字段随工作项保存，ONES Assistant 可基于项目和工作项上下文回答问题并执行操作，相关输出过程可追踪、结果可审计，便于核对环节回溯分类结果来源。取数前建议先在测试项目验证字段是否可按项目和时间筛选、变更记录是否包含操作人与前后值，具体以团队实际配置为准。
