AI缺陷分类出现错误时，先不要急着改模型或推翻整套规则。更稳妥的做法是按“症状—假设—证据”的顺序排查：先确认错误集中在哪些缺陷类型、模块或提交来源，再判断是输入信息不足、标签口径不一致、分类配置变更，还是人工复核缺失。处置从小范围样本回放开始，逐步调整口径与字段，必要时回退到上一稳定版本，最后用抽检准确率和误分复发率确认恢复效果。
要点总览（TL;DR）
- 先把“分类不准”变成可统计的误分清单：按缺陷类型、模块、提交来源、时间窗口切分，并记录对分派、优先级和排期的影响。
- 原因按四类假设逐条验证：输入信息不足、标签口径不一致、模型或规则版本变更、人工复核与纠错缺失，只有证据支持的假设才进入处置。
- 处置从低风险动作开始：历史样本回放复现、统一标签定义与必填字段、备份后调整或回退配置、设置人工复核与纠错回流；误分率未下降时暂停自动分派。
- 用抽检准确率和误分复发率验证恢复，保持抽检范围与判定标准前后一致，避免只凭感觉判断。
- 建立误分样本库、定期复核节奏和变更留痕，把纠错结果回流到分类规则或标签体系，降低再次偏移的概率。
先界定错误范围：哪些缺陷被分错了
“分类不准”是笼统感受，无法直接支撑排查。第一步要把误分变成可统计的现象：抽取最近一段时间内被AI分类过的缺陷，逐条对照人工判断，记录原分类与应有分类。样本量不必很大，但要覆盖不同模块和提交来源，否则容易只看到局部。
统计时至少按四个维度切分：缺陷类型（功能、性能、兼容性、界面等）、所属模块、提交来源（人工提交、自动化用例、用户反馈转录）、时间窗口。这样能快速看出误分是散落在各处，还是集中在某一类缺陷或某几天之后。
单条误分与成批偏移要分开处理。单条误分可能只是描述含糊或边界案例；如果同一类型缺陷在某个时间点后集中被分错，更可能是分类配置、标签体系或模型版本发生了变化。两者的排查路径不同，混在一起会浪费精力。
还要记录误分带来的实际影响：是否导致缺陷被分派给错误的处理人、优先级被低估、修复排期被推后，或者重复缺陷未被识别。影响面决定了处置的紧迫程度，也决定了是否需要先暂停自动分派。
| 统计维度 | 记录内容 | 用途 |
|---|---|---|
| 缺陷类型 | 原分类、应有分类、是否边界案例 | 判断是否集中在特定类型 |
| 所属模块 | 模块名称、误分条数、占比 | 识别局部规则或知识缺失 |
| 提交来源 | 人工、自动化、外部反馈 | 判断输入质量差异 |
| 时间窗口 | 误分发生日期、是否突变 | 关联版本或配置变更 |
| 影响面 | 分派错误、优先级偏差、排期延误 | 确定处置优先级 |
完成这一步后，应得到一份误分现象清单：错误类型、集中范围、影响面。它是后续原因验证的输入，也方便在处置后做前后对比。
列出原因假设并逐条找证据
误分现象清楚后，把可能原因拆成若干可验证的假设，逐条找证据排除。常见方向有四类，每类都有对应的验证方式，避免凭印象直接下结论。
输入信息不足或描述含糊
缺陷标题过短、复现步骤缺失、现象描述混用多个问题，都会让分类依据不足。验证方式是抽取误分样本，检查其描述完整度，并与分类正确的样本对比。如果误分样本普遍缺少关键字段，假设成立。排除证据则是：误分样本描述完整、字段齐全，且同类描述在正确样本中也大量存在。
分类口径与标签体系不一致
同一现象在不同团队、不同时期可能被归入不同标签，AI学到的边界与人工期望不一致。验证方式是让多名测试人员对同一批缺陷独立标注，统计标注一致性。如果人工之间本身就分歧明显，说明口径需要先统一，而非直接归因于模型。排除证据是：标注一致性高，误分集中在少数明确案例。
模型、规则或提示词版本变更
误分若在某个时间点后突增，应核对分类配置、规则文件、提示词或模型版本的变更记录。验证方式是把变更前后的样本分别回放，比较误分分布是否随版本切换而变化。排除证据是：变更时间与误分突增时间不吻合，或回放结果无差异。
人工复核与纠错反馈缺失
分类结果长期无人复核，错误会持续累积且无法回流修正。验证方式是检查是否存在复核记录、纠错是否被记录并用于调整规则。排除证据是：复核流程存在且纠错已回流，误分仍然集中出现，则问题更可能在口径或输入侧。
| 原因假设 | 验证方式 | 成立信号 | 排除证据 |
|---|---|---|---|
| 输入信息不足 | 对比误分与正确样本的字段完整度 | 误分样本普遍缺关键描述 | 描述完整仍误分 |
| 标签口径不一致 | 多人独立标注，统计一致性 | 人工标注本身分歧大 | 标注一致，误分集中 |
| 版本或配置变更 | 核对变更记录并回放前后样本 | 误分突增与变更时间吻合 | 时间不吻合、回放无差异 |
| 复核与纠错缺失 | 检查复核记录与纠错回流 | 长期无复核、纠错未回流 | 复核存在且已回流 |
把每条假设标注为已排除、待验证或成立。只有证据支持的假设才进入处置，避免把猜测当成结论直接改配置。
按排查顺序处置：从低风险动作开始
处置动作按风险从低到高排列，每一步都设定完成标志和停止条件。先做不改变生产配置的动作，确认能复现问题后再动配置。
第一步：历史样本回放复现误分
取一批已确认误分的历史缺陷，在隔离环境中重新走一遍分类流程，确认误分能否稳定复现。能复现，说明问题在分类逻辑或输入侧；不能复现，则要检查是否与当时的版本、数据状态有关。这一步不改动任何生产配置，风险最低。
第二步：统一标签定义与必填字段
针对口径不一致的假设，组织测试人员明确每类缺陷的判定边界，形成简短的标签说明，并把影响分类的关键字段设为必填，例如模块、缺陷类型、复现步骤。字段补齐后再抽样回放，观察误分是否下降。这一步改变的是输入规范，需要同步通知提交缺陷的人员。
第三步：备份后调整或回退分类配置
确需修改规则、提示词或分类配置时，先完整备份当前版本并记录变更内容，再在小范围样本上验证效果。若调整后误分率没有改善甚至上升，按备份回退到上一稳定版本。回退属于有破坏风险的操作，应选择低峰时段执行，并保留回退前后的对比记录。
第四步：设置人工复核与纠错回流
对高风险类型或新出现的缺陷，保留人工复核环节；复核发现的误分要记录应有分类和原因，定期汇总后用于调整规则或补充标签说明。纠错记录本身也是后续排查的证据来源。
需要明确停止点：如果完成上述步骤后误分率仍未下降，应暂停自动分派，改为人工确认分类后再流转，避免错误继续影响修复排期。恢复自动分派的前提是抽检结果达到团队约定的可接受水平。
在缺陷记录与流转环节，ONES 的缺陷管理可以承载分类字段、复核状态和纠错记录，使误分样本与处置过程有据可查；ONES Assistant 可基于项目与工作项上下文回答问题并执行创建缺陷、更新状态等操作，其输出过程可追踪、结果可审计，便于在复核环节核对分类依据。具体可用范围以实际部署配置为准。
验证恢复并防止再次偏移
处置是否有效，要用指标说话，而不是凭感觉认为“好像准了”。建议用两个指标：抽检准确率和误分复发率。抽检准确率是按固定周期抽取一批分类结果，与人工判断比对后计算正确比例；误分复发率是此前已纠正的误分类型在后续样本中再次出现的比例。前者反映整体水平，后者反映纠错是否真正生效。
验证时保持口径一致：抽检范围、样本量、判定标准与排查阶段相同，才能做前后对比。若抽检准确率回升但复发率仍高，说明个别类型的问题没有解决，需要回到原因假设继续查。
防止再次偏移，需要建立几项常规机制：
- 维护误分样本库，把典型误分案例、应有分类和原因归档，作为后续调整规则和培训的素材。
- 设定定期复核节奏，例如每周抽检一次、每次覆盖主要缺陷类型，避免问题长期积累。
- 记录版本变更与口径调整的留痕，包括变更时间、内容、影响范围和验证结果，便于误分突增时快速关联。
- 把纠错结果回流到分类规则或标签体系，形成“发现误分—记录—调整—再验证”的闭环。
这些机制的价值在于把一次排查转化为持续的可控过程。分类口径会随业务变化，模型和规则也会更新，定期复核和留痕能让下一次偏移更早被发现，处置时也有历史依据可查。
常见问题
误分只出现在少数几条缺陷上，还需要走完整排查流程吗？
不必全套走一遍，但建议保留最小记录。先确认这几条是否属于边界案例：描述含糊、同时涉及多个问题类型，或人工标注本身存在分歧。如果属于边界案例，补充标签说明和必填字段即可；如果同类描述在正确样本中也大量存在，则按原因假设继续查。单条误分与成批偏移的排查路径不同，混在一起会浪费精力。
人工标注本身就有分歧，怎么判断是口径问题还是分类错误？
让多名测试人员对同一批缺陷独立标注，统计一致性。如果人工之间分歧明显，说明标签边界尚未统一，此时调整分类配置的收益有限，应先明确每类缺陷的判定边界，形成简短的标签说明。口径统一后再抽样回放，观察误分是否下降，才能把剩余问题归因到输入或配置侧。
调整分类配置后误分没有改善，下一步该做什么？
按备份回退到上一稳定版本，并保留回退前后的对比记录。回退属于有破坏风险的操作，应选择低峰时段执行。如果回退后误分率仍无明显下降，说明原因假设可能不成立，需要回到证据环节重新核对，例如检查输入字段是否真正补齐、复核记录是否完整。此时应暂停自动分派，改为人工确认分类后再流转。
抽检准确率回升了，但同类误分还在反复出现，怎么处理？
这说明整体水平改善但个别类型的问题没有解决。建议单独统计误分复发率，把此前已纠正的误分类型在后续样本中再次出现的比例算出来，定位到具体类型后回到原因假设继续查。同时检查纠错记录是否真正回流到分类规则或标签说明，仅记录未调整时，复发难以避免。
在ONES中做缺陷分类复核，可以借助哪些能力？
ONES 的缺陷管理可以承载分类字段、复核状态和纠错记录，使误分样本与处置过程有据可查。ONES Assistant 可基于项目与工作项上下文回答问题，并执行创建缺陷、更新状态等操作，其输出过程可追踪、结果可审计，便于在复核环节核对分类依据。具体可用范围以实际部署配置为准。
