评估AI缺陷分类效果，需要同时观察分类准确率、人工修正率、分类一致性和处理时延四类指标。四类指标回答的是不同问题：分得准不准、人工要改多少、结果稳不稳、多久能用。统一样本、标签和时间窗口径，是结果可复算、可比较的前提。本文给出一套适用于测试缺陷管理辅助场景的评估方法，包括指标定义、数据口径、计算公式、算例和解读边界。
要点总览（TL;DR）
- 评估AI缺陷分类效果要同时看四类指标：分类准确率、人工修正率、分类一致性和处理时延，分别回答分得准不准、人工改多少、结果稳不稳、多久可用。
- 评估前先固定样本来源、基准标签、时间窗和缺失值处理规则，每个指标都按“分子/分母”计算并记录分母，结果才能复算和横向比较。
- 准确率=分类正确缺陷数/参与评估缺陷总数；人工修正率=被人工修改分类的缺陷数/已分类缺陷总数；一致性=重复分类结果相同的次数/重复分类总次数；时延取中位数和高分位数。
- 单看准确率容易掩盖高价值缺陷漏分和人工返工，应按缺陷类型和严重程度拆分观察；结论需标注样本范围、时间窗和标签版本，不能外推为其他项目水平或团队绩效依据。
评估目标：先明确要回答哪几个问题
评估对象是AI对测试缺陷的分类结果，即一条缺陷被归入哪个模块、类型、严重程度或责任团队等分类字段的结果，模型训练过程、算法选型和参数调优不在本文范围内。明确这一点后，评估才能围绕“分类结果在缺陷管理流程中是否可用”展开，避免把模型离线指标和业务使用效果混在一起。
一次完整的评估通常要回答四个问题：
- 分得准不准：AI给出的分类与基准标签的吻合程度，对应分类准确率。
- 人工改多少：进入缺陷流程后，人工实际修改分类的比例，对应人工修正率。
- 结果稳不稳：同一缺陷重复分类或不同来源分类时结果是否一致，对应分类一致性。
- 多久可用：从缺陷提交到分类结果可用的时间，对应处理时延。
评估结论的用途决定评估的严格程度。用于工具选型时，需要在候选方案间使用同一批样本和同一套标签，保证横向可比；用于试点验收时，需要预先约定指标口径和观察周期，验收时按约定复算；用于持续运营监控时，则要固定统计周期，观察指标随缺陷类型分布变化的趋势。三种用途共用同一套指标，但样本规模、观察时长和判定方式不同，应在评估开始前写进评估目标说明。
评估目标说明建议包含：评估对象与覆盖的缺陷范围、待回答的四个问题、结论用途、评估负责人和结果使用方。这份说明是后续数据口径和计算步骤的依据，也能防止评估结束后因口径分歧反复返工。
指标与范围：四类指标的定义和适用边界
四类指标各有明确的统计对象和适用前提，混用定义会让结果失去可比性。下表给出本文采用的定义口径。
| 指标 | 含义 | 单位 | 起止点与适用前提 |
|---|---|---|---|
| 分类准确率 | AI分类结果与基准标签一致的缺陷占比 | 百分比 | 以单条缺陷的单次分类结果为统计单位；前提是基准标签已确定且分类字段口径统一 |
| 人工修正率 | 已分类缺陷中，分类字段被人工修改过的缺陷占比 | 百分比 | 从分类结果进入缺陷流程起，到缺陷关闭或约定观察期结束止；统计对象是已产生AI分类结果的缺陷 |
| 分类一致性 | 同一缺陷重复分类或多来源分类时结果相同的比例 | 百分比 | 重复分类一致：同一缺陷多次分类结果相同；多来源一致：AI分类与人工分类或其他来源分类相同 |
| 处理时延 | 缺陷提交到分类结果可用的时间差 | 小时或分钟 | 起点为缺陷创建时间，终点为分类字段首次有可用值的时间；建议同时报告中位数和高分位数 |
准确率的适用前提值得单独说明。它要求基准标签本身可靠、分类字段的取值集合固定、参与评估的缺陷属于同一统计范围。如果基准标签由不同人按不同理解标注，准确率反映的可能是标注分歧而非分类能力。人工修正率的统计对象是已分类缺陷，未产生分类结果的缺陷不计入分母，这部分缺陷的影响应通过覆盖率或漏分情况单独说明。
一致性有两种口径，用途不同。重复分类一致用于观察分类结果对输入表述、提交时间等非本质因素的敏感程度；多来源一致用于观察AI分类与人工判断的接近程度。两种口径不能混算成一个数字，报告中应分别标注。
时延的起止点必须在评估前固定。若缺陷在创建后经过多次编辑才补充完整信息，分类可用时间可能晚于首次分类时间，此时应明确以哪一次为准，并在所有样本上使用同一规则。
本文评估范围限于测试缺陷管理中的分类辅助，不涉及测试执行脚本的编写与维护、分类模型的训练调参与算法选型、常规自动化测试的协同管理，也不涉及具体产品的价格、版本与认证信息。
数据口径：样本、标签与时间窗怎么定
数据口径决定结果能否复算。评估开始前应形成一份数据口径说明，至少覆盖抽样、标签、时间窗和缺失值四类规则。
样本抽取
样本应来自真实缺陷库，覆盖评估结论要影响的缺陷类型和项目范围。抽样方式可选随机抽样或分层抽样：缺陷类型分布差异明显时，按类型分层抽样能让每类都有足够样本，避免少数类型被整体比例淹没。样本规模以满足最小统计需求为准，每类关键缺陷建议不少于数十条；样本过小时应在报告中注明，并避免据此下强结论。用于选型对比时，所有候选方案必须使用同一批样本。
基准标签
基准标签是判断分类是否正确的依据，应由熟悉缺陷业务的人员标注。建议两人独立标注，分歧由第三人裁决或小组讨论定案，并记录裁决规则。标签使用的分类字段取值集合应与AI输出的取值集合完全一致，否则需要先做映射再比较。标签标注完成后应冻结版本，评估过程中不再修改；确需修改时，应重算全部指标并保留修改记录。
时间窗与统计周期
时间窗按缺陷创建时间划定，例如选取某段连续周期内创建的缺陷。人工修正率需要观察期，观察期应覆盖缺陷从提交到关闭的典型时长，避免缺陷尚未处理完就统计修正情况。持续监控场景下，建议按固定周期（如每周或每月）分别计算，并保留各周期的分母，便于判断波动来自效果变化还是样本量变化。
缺失值与特殊缺陷
- 缺失分类：未产生分类结果的缺陷不计入准确率和人工修正率的分母，单独统计占比并在报告中说明。
- 重复缺陷：同一问题被多次提交时，按缺陷记录逐条统计，或在抽样阶段去重；两种做法选其一并全程一致。
- 跨项目缺陷：分类字段在不同项目间口径不一致时，按项目分别计算后再汇总，避免直接合并造成误判。
计算步骤：四类指标的公式与分母
每个指标都按“分子/分母”的形式定义，计算时同时记录分母和时间窗，结果才具备解释力。
| 指标 | 公式 | 分子 | 分母 | 单位 |
|---|---|---|---|---|
| 分类准确率 | 分类正确缺陷数 / 参与评估缺陷总数 | AI分类与基准标签一致的缺陷数 | 已产生分类结果且已标注基准标签的缺陷数 | 百分比 |
| 人工修正率 | 被人工修改分类的缺陷数 / 已分类缺陷总数 | 分类字段被人工改动过的缺陷数 | 观察期内已产生AI分类结果的缺陷数 | 百分比 |
| 分类一致性 | 重复分类结果相同的次数 / 重复分类总次数 | 结果相同的分类次数 | 实际执行的重复分类总次数 | 百分比 |
| 处理时延 | 分类可用时间 − 缺陷提交时间 | 逐条计算时间差 | 不适用，按样本汇总 | 小时或分钟 |
时延不建议只报告平均值。少数长尾缺陷会把平均值拉高，掩盖大多数缺陷的实际体验。建议同时报告中位数、75分位和90分位，分别说明典型情况和较慢情况。
分母为零或样本过小时，不要直接写0%或100%。分母为零表示该指标在当前样本下无法计算，应标注“不适用”并说明原因；样本量低于预设下限时，结果标注“样本不足，仅供参考”，同时给出实际分母。多来源一致性若因人工分类记录缺失而无法计算，也应如实标注，不用其他口径替代。
计算完成后建议做一次交叉核对：准确率与人工修正率使用同一批已分类缺陷时，两者分母应能对应；若差异较大，检查是否存在未纳入统计的缺陷或标签版本不一致。
一个算例：从原始数据到四项结果
以下为演示用假设数据，用于说明计算过程，不代表任何真实项目表现。
假设某观察期内共创建缺陷500条，其中480条产生了AI分类结果，20条未分类。对480条已分类缺陷标注基准标签后，420条分类正确。人工处理过程中，有96条缺陷的分类字段被修改过。另抽取100条缺陷做重复分类测试，共执行两次分类，其中88条两次结果相同。时延方面，480条缺陷的分类可用时间中位数为2.5小时，90分位为9小时。
| 指标 | 计算过程 | 结果 | 需一并标注 |
|---|---|---|---|
| 分类准确率 | 420 / 480 | 87.5% | 分母480条，基准标签版本V1，观察期覆盖全部样本 |
| 人工修正率 | 96 / 480 | 20.0% | 分母为已分类缺陷，观察期至缺陷关闭 |
| 分类一致性 | 88 / 100 | 88.0% | 重复分类口径，100条样本各分类两次 |
| 处理时延 | 逐条计算后取分位数 | 中位数2.5小时，90分位9小时 | 起点为缺陷创建时间，终点为分类字段首次可用 |
这组结果可以这样读：准确率87.5%说明多数分类与基准标签一致；人工修正率20%说明每五条已分类缺陷中约有一条被人工改动，返工负担需要结合团队处理量判断是否可接受；一致性88%说明重复分类下结果较稳定，仍有约一成结果会随重复执行变化；时延中位数2.5小时、90分位9小时，说明多数缺陷当天可用，少量缺陷分类明显滞后。未分类的20条缺陷占全部缺陷的4%，应单独说明其去向。
结果呈现时，每个数值都应带上分母和时间窗。只写“准确率87.5%”无法判断样本是否具有代表性，也无法在下一周期复算对比。
解读与限制：结果怎么读、哪些结论不能下
四类指标需要放在一起看，单看准确率容易得出过于乐观的结论。准确率高但人工修正率也高，常见原因有三类：基准标签覆盖的缺陷类型偏简单，真实缺陷中难分类的占比更高；分类字段的取值集合与团队实际使用习惯不一致，AI分类“正确”但不符合流程要求；高价值或高严重程度缺陷被分错的代价大，即使总体准确率不低，人工仍倾向于逐条复核并修改。遇到这种情况，应按缺陷类型和严重程度拆分准确率，观察错误是否集中在关键类别。
一致性与样本代表性直接相关。重复分类测试的样本若只覆盖表述清晰的缺陷，一致性会偏高；若样本中包含描述简略、跨模块的缺陷，结果更能反映实际波动。多来源一致性还受人工分类质量影响，人工判断本身存在分歧时，一致性低不一定说明AI分类差，应同时报告人工标注的分歧情况。
时延要与业务节奏匹配判断。缺陷当天需要分派处理的团队，90分位时延过长会影响响应；按周批量处理缺陷的团队，数小时的中位时延通常可以接受。判断标准应来自团队实际的缺陷处理节奏，而非统一阈值。
结论边界需要明确：
- 四类指标描述的是特定样本、特定时间窗内的表现，不能直接外推为其他项目或其他缺陷类型的水平。
- 指标结果不构成对团队绩效的评价依据，也不证明AI分类与缺陷处理效率之间存在因果关系。
- 准确率、修正率等数值不设通用达标线，是否可接受由评估目标说明中约定的用途和判定方式决定。
- 报告结论时应同时给出样本范围、时间窗、分母和标签版本，缺少这些信息的数字不具备可比性。
在缺陷管理流程中落地这套评估，需要分类结果、人工修改记录和时间戳都能被稳定记录和追溯。ONES 的缺陷工作项与状态流转可以承载分类字段和修改记录，ONES Assistant 能理解项目、工作项等真实工作上下文，并可将自然语言指令转化为创建缺陷、更新状态等可追踪的操作；其输出过程可追踪、结果可审计，便于按上述口径回溯人工修正和时延数据。评估所需的现成指标报表是否提供，建议在选型时向厂商核验。
常见问题
评估样本量很小，指标还能用吗？
可以用，但要在报告中标注“样本不足，仅供参考”，并给出实际分母。样本过小时，百分比对个别缺陷的增减非常敏感，同一批数据多错一条就可能让准确率变动几个百分点。建议每类关键缺陷至少积累数十条再下结论；用于选型对比时，所有候选方案必须使用同一批样本，避免样本差异被误读为能力差异。
基准标签由谁标注，出现分歧怎么处理？
基准标签应由熟悉缺陷业务的人员标注，建议两人独立标注，分歧由第三人裁决或小组讨论定案，并记录裁决规则。标签使用的分类字段取值集合要与AI输出的取值集合完全一致，否则先做映射再比较。标签标注完成后冻结版本，评估过程中不再修改；确需修改时重算全部指标并保留修改记录，否则前后两期的结果无法对比。
人工修正率统计时，观察期应该设多长？
观察期应覆盖缺陷从提交到关闭的典型时长，避免缺陷尚未处理完就统计修正情况，导致修正率被低估。如果团队缺陷处理周期差异较大，可以按缺陷类型分别设定观察期，或在报告中说明观察期截止时仍未关闭缺陷的占比。持续监控场景下按固定周期分别计算，并保留各周期的分母，便于判断波动来自效果变化还是样本量变化。
准确率和人工修正率之间差距很大，说明什么？
两者分母对应同一批已分类缺陷时，差距大通常提示分类字段口径或流程使用方式存在问题。常见原因包括：基准标签覆盖的缺陷类型偏简单，真实缺陷中难分类的占比更高；AI分类与团队实际使用的分类习惯不一致，分类“正确”但不符合流程要求；高严重程度缺陷被分错的代价大，人工倾向于逐条复核并修改。建议按缺陷类型和严重程度拆分准确率，观察错误是否集中在关键类别，再判断差距的来源。
评估结果能不能直接作为团队绩效依据？
不建议。四类指标描述的是特定样本、特定时间窗内的分类表现，受缺陷类型分布、标签质量和观察期设置影响，不能直接外推为其他项目水平，也不证明AI分类与缺陷处理效率之间存在因果关系。指标结果适合用于选型对比、试点验收和运营趋势观察；若要用于绩效评价，需要另行设计控制样本分布和观察条件的方案。
