AI缺陷管理把AI用在缺陷的识别、分类、去重、优先级判断、根因归纳和复盘沉淀等环节,用统一字段和明确责任人把AI输出变成可评审、可追溯的缺陷记录。落地时先定缺陷字段与分级规则,再选1–2个高频环节试点,设定人工复核和完成标志,最后按缺陷重开率、误分类率等指标验证后再扩展。缺陷记录与状态流转可以放在ONES这类研发管理工具中承载。
要点总览(TL;DR)
- 先固定缺陷字段与严重程度、优先级判定口径,让AI在结构化信息上做判断,而不是在自由文本里猜。
- 按提交、分诊、处理、复盘四个环节拆解AI动作,每个环节写清输入、输出和完成标志,优先从去重与分类试点。
- AI建议字段与人工确认字段分开存放,分类和优先级由分诊复核人确认,根因由开发确认,分歧升级到缺陷管理负责人裁定。
- 用误分类率、重复合并准确率、缺陷重开率和平均分诊时长验证试点效果,抽检记录可查后再扩大范围。
- 缺陷字段、状态流转、合并关联和复盘统计放在同一处承载,才能保证口径一致、记录可追溯。
AI缺陷管理先定哪些字段和分级规则
AI给出的分类、去重和优先级建议是否可用,取决于缺陷记录本身是否规范。字段缺失、描述含糊的缺陷,模型只能给出模糊判断,复核人也就无从核对。因此第一步是把缺陷字段和分级口径固定下来,让AI在结构化信息上做判断,而不是在自由文本里猜。
缺陷记录必备字段
| 字段 | 填写要求 | 填写人 | 是否必填 |
|---|---|---|---|
| 标题 | 一句话说明现象与触发条件,避免“有问题”“报错”这类无信息标题 | 提交人 | 必填 |
| 复现步骤 | 按顺序列出操作、输入数据和预期结果 | 提交人 | 必填 |
| 环境 | 版本、部署方式、操作系统或浏览器、测试数据条件 | 提交人 | 必填 |
| 影响范围 | 受影响的功能、用户群体、是否阻塞主流程 | 提交人 | 必填 |
| 严重程度 | 按缺陷造成的业务后果判定,与修复排期无关 | 提交人初判,测试负责人确认 | 必填 |
| 优先级 | 按修复紧迫性判定,结合影响范围与当前迭代安排 | 缺陷管理负责人或开发负责人 | 必填 |
| 责任人 | 当前处理人,随状态流转更新 | 分诊人 | 必填 |
| 状态 | 新建、已分诊、处理中、待验证、已关闭、已重开 | 处理人 | 必填 |
严重程度与优先级的判定口径
这两个字段最容易混用。严重程度描述缺陷本身的业务后果,优先级描述修复顺序,两者可以不一致:一个导致报表金额错误的缺陷严重程度高,但如果该报表尚未上线,优先级可以排后;一个界面文案错位的缺陷严重程度低,但出现在对外演示环境,优先级可以提前。
建议把严重程度分为四级,并给出可对照的判定条件:致命指主流程不可用或数据错误且无绕过方式;严重指核心功能受损但有临时绕过方式;一般指非核心功能异常;轻微指展示、文案、体验类问题。优先级分为三级:立即修复、本迭代修复、排期修复。判定表要写清每一级的典型场景,让提交人和复核人使用同一把尺子。
AI输出字段与人工确认字段分开
缺陷记录中要为AI建议单独设字段,例如“建议分类”“疑似重复缺陷”“根因标签建议”,并保留“确认分类”“确认根因”等人工字段。AI建议字段允许被覆盖,覆盖时记录修改人和修改理由。这样既保留了AI判断的原始输出,也保留了人工决策的痕迹,后续评估误分类率时才有对照数据。
最小必填集与例外处理
不是所有缺陷都能一次填全。可以规定最小必填集为标题、复现步骤、环境、影响范围四项,其余字段允许在分诊阶段补齐。对于线上紧急故障,允许先提交简要描述并标记“紧急”,在故障止血后24小时内补齐复现步骤和环境信息。例外处理要有明确触发条件和补录时限,否则最小必填集会逐渐失效。
按环节拆解:AI在缺陷流转中承担哪些动作
AI介入缺陷管理时,每个环节都要说清输入是什么、AI做什么、输出到哪里、什么算完成。下面按提交、分诊、处理、关闭与复盘四个环节展开。
| 环节 | 输入 | AI动作 | 输出 | 完成标志 |
|---|---|---|---|---|
| 提交 | 缺陷标题、描述、截图或日志 | 检查描述完整性,提示缺失的复现步骤或环境信息,补全表述 | 信息缺失提示、描述改写建议 | 最小必填集齐全,提交人确认描述准确 |
| 分诊 | 完整缺陷记录、历史缺陷库 | 给出分类建议、疑似重复缺陷列表、优先级初判 | 建议分类、疑似重复候选、优先级建议 | 复核人确认分类与优先级,重复缺陷完成合并或排除 |
| 处理 | 缺陷记录、相似历史缺陷、代码变更信息 | 推荐根因标签,检索相似历史缺陷及其修复方式 | 根因标签建议、相似缺陷参考 | 开发确认根因,修复提交关联缺陷编号 |
| 关闭与复盘 | 已关闭缺陷集合、迭代周期数据 | 按模块、根因、引入阶段聚类,归纳共性问题 | 缺陷聚类结果、共性问题清单 | 复盘会确认问题清单并形成改进项 |
提交环节:描述补全与信息缺失提示
提交人往往在发现问题的当下记录缺陷,描述偏向现象而缺少复现条件。AI可以在提交时检查描述中是否包含操作步骤、输入数据、预期与实际结果,对缺失项给出提示,并把口语化描述整理成结构化表述。这个环节的完成标志是提交人确认改写后的描述与实际情况一致,AI的改写只作为建议,不自动覆盖原文。
分诊环节:分类、去重与优先级初判
分诊是AI价值最集中的环节。分类建议依据缺陷标题、描述和历史同类缺陷的特征给出;疑似重复识别把新缺陷与未关闭缺陷及近期已关闭缺陷做比对,输出候选列表和相似理由;优先级初判结合影响范围字段和严重程度给出参考值。三项输出都进入待确认状态,由分诊复核人逐项确认。完成标志是分类和优先级被确认、疑似重复项完成合并或标记为不重复。
处理环节:根因标签与相似缺陷检索
开发在处理缺陷时,AI可以根据缺陷描述和关联的代码变更推荐根因标签,例如需求理解偏差、边界条件遗漏、环境配置差异、接口契约变更。同时检索历史上相似缺陷的修复记录,帮助开发快速定位。根因标签的最终确认权在开发,确认后的标签进入缺陷记录,供后续复盘统计使用。
关闭与复盘环节:缺陷聚类与共性问题归纳
迭代结束或版本发布后,AI对已关闭缺陷按模块、根因标签、引入阶段做聚类,输出高频问题清单和集中出现的模块。复盘会以此为基础讨论改进项,而不是从零翻阅缺陷列表。完成标志是复盘会确认共性问题清单,并为每项指定改进责任人和跟进时间。
角色分工与交付物:谁确认、谁复核、谁维护规则
AI建议进入流程后,责任归属必须清楚,否则会出现“AI说的”这类无人负责的情况。基本分工是:提交人对缺陷描述质量负责,开发对根因结论负责,缺陷管理负责人对规则和口径负责,AI建议由对应环节的复核人确认。
| 角色 | 主要职责 | 交付物 |
|---|---|---|
| 测试人员(提交人) | 保证缺陷描述完整、复现步骤可执行、环境信息准确;对AI补全建议做确认 | 符合最小必填集的缺陷记录 |
| 分诊复核人(通常为测试负责人) | 确认分类与优先级,处理疑似重复缺陷的合并或排除 | 已分诊缺陷记录、重复合并记录 |
| 开发人员 | 确认根因标签,提交修复并关联缺陷,给出修复结论 | 根因确认记录、修复提交关联 |
| 缺陷管理负责人 | 维护字段定义、严重程度与优先级判定表、去重口径和统计口径;组织复盘 | 字段与分级规则文档、口径说明、复盘纪要 |
| AI规则维护者 | 维护提示词与判断规则,跟踪误分类和误合并案例,定期调整 | 规则变更记录、误判案例分析 |
复核责任与升级路径
分类和优先级建议由分诊复核人确认;疑似重复的合并涉及两条记录,合并前需由被合并缺陷的提交人或其负责人知情;根因标签由开发确认。当复核人与AI建议不一致且无法当场判断时,升级到缺陷管理负责人裁定,裁定结果记入规则文档,作为后续同类情况的判断依据。升级路径要写进流程说明,避免争议停留在个人之间。
规则维护的节奏
字段和分级规则不宜频繁变动,但也不能长期不更新。建议每个迭代或每月检查一次误判案例,把反复出现的分歧转化为判定表中的具体条目。规则变更要通知到提交人和复核人,并在缺陷记录中保留变更前后的口径,避免历史统计口径混乱。
示例:一条重复缺陷从提交到合并的完整处理
以下为演示情景,用于说明AI建议与人工判断如何衔接,不代表真实项目数据。
提交时的原始信息
测试人员在回归测试中发现:在订单列表页连续点击“导出”按钮两次,页面提示“系统繁忙”,导出文件未生成。提交的缺陷标题为“导出按钮点击两次报错”,描述中写明了操作步骤和浏览器版本,环境字段填写了当前测试版本,影响范围标注为“订单导出功能,影响运营人员批量取数”。
AI给出的建议
提交后,AI检查发现描述中缺少导出数据量和账号权限信息,给出补充提示;分诊阶段,AI建议分类为“订单模块—导出功能”,优先级初判为“本迭代修复”,并列出两条疑似重复缺陷:一条是三天前提交的“导出接口超时”,另一条是上周已关闭的“重复提交导致提示异常”。AI给出的相似理由是操作路径和错误提示一致。
复核人的核对与处理
分诊复核人先补充了导出数据量和账号权限信息,然后逐条核对疑似重复项。第一条“导出接口超时”的复现步骤是单次点击后等待超时,与本次连续点击触发的问题不同,标记为不重复;第二条已关闭缺陷的复现步骤与本次一致,且修复版本尚未包含在当前测试版本中,判定为重复。复核人将新缺陷合并到原缺陷,保留新缺陷中的补充信息,状态改为“已合并”,并在记录中写明合并依据和核对人。
判断依据与记录方式
合并判断依据有三项:复现步骤一致、错误提示一致、当前版本未包含原修复。记录方式是在原缺陷下追加关联记录,注明合并来源、核对人和时间,新缺陷状态置为已合并并指向原缺陷。这样后续统计缺陷数量时不会重复计数,追溯时也能看到完整信息。
可迁移的规律
这个示例的处理逻辑可以迁移到其他缺陷类型:AI负责给出候选和理由,复核人按复现步骤、错误现象、版本状态三项逐一核对,合并动作保留双向关联和判断记录。对于功能缺陷、性能问题、兼容性问题,区别只在于核对时关注的字段不同,流程结构保持一致。
试点与完成检查:怎么判断这套做法跑通了
不建议一次性在全团队推开。先选缺陷量适中、模块边界清晰的1–2个模块或一个测试小组试点,周期设为两到三个迭代,覆盖从提交到复盘的完整循环。缺陷量太少无法形成统计,太多则复核压力过大,难以判断问题出在规则还是执行。
验证指标
| 指标 | 口径 | 观察方向 |
|---|---|---|
| 误分类率 | 复核人修改分类的缺陷数 ÷ AI给出分类建议的缺陷数 | 持续下降说明分类规则与历史数据在收敛 |
| 重复缺陷合并准确率 | 确认合并的疑似重复数 ÷ AI给出的疑似重复候选数 | 过低说明去重口径过宽,过高需检查是否漏合并 |
| 缺陷重开率 | 重开缺陷数 ÷ 已关闭缺陷数 | 反映修复质量和根因判断是否准确 |
| 平均分诊时长 | 缺陷提交到完成分诊的平均耗时 | 对比试点前后,判断AI是否真正减少了人工核对时间 |
人工复核抽检
试点期间对AI建议保持较高复核强度,分类和优先级建议逐条确认,疑似重复候选全部人工核对。同时由缺陷管理负责人每周抽检一定比例的已确认记录,检查复核是否流于形式。抽检结果记录在案,作为调整规则的输入。抽检比例和频次在试点方案中写明,试点结束后根据误判情况决定是否降低。
完成检查清单
- 缺陷字段清单与分级判定表已发布,提交人和复核人使用同一版本
- AI建议字段与人工确认字段在缺陷记录中分开存放,覆盖操作有记录
- 提交、分诊、处理、复盘四个环节的输入、输出和完成标志已明确
- 各角色职责与升级路径已书面确认,复核人到位
- 试点周期内四项指标有完整数据,抽检记录可查
- 误判案例已归类,至少完成一轮规则调整
阻断项包括:最小必填集长期不达标、疑似重复合并无记录、复核人缺位导致AI建议直接生效。出现任一情况,应先修复流程再扩大范围。
不达标时的调整方向
误分类率偏高时,先检查分类体系是否过细或边界模糊,再补充历史缺陷作为判断依据;重复合并准确率偏低时,收紧去重口径,要求复现步骤和错误现象同时匹配才进入候选;重开率偏高时,把根因确认环节前移,要求开发在关闭前说明验证方式;分诊时长没有改善时,检查复核是否变成逐条重判,适当缩小AI建议范围,只保留高置信度的输出。
缺陷字段、状态流转、复核记录和复盘统计需要在同一处承载,才能保证口径一致、记录可追溯。ONES的工作项可以按上述字段配置缺陷记录,状态流转和合并关联留痕,复盘时按模块和根因标签汇总,适合作为试点阶段的承载工具。
常见问题
缺陷量很少的团队,还有必要做AI辅助去重和分类吗?
缺陷量少时,AI去重和分类带来的收益有限,但字段规范和分级口径仍然值得先做,因为它们是后续任何统计和复盘的基础。可以先只启用提交环节的描述完整性提示,分诊环节保持人工判断,等缺陷量上升或模块变多后再引入分类和去重建议。判断是否引入的一个简单标准是:分诊人每周花在分类和查重上的时间是否已经影响到其他测试工作。
AI建议和复核人判断长期不一致,应该改规则还是换人?
先看分歧集中在哪一类。如果集中在某个模块或某类缺陷,通常是分类体系边界模糊或历史数据不足,应补充判定表条目和历史案例;如果分歧分散且复核人之间也不一致,说明判定口径本身没有对齐,需要先统一人的标准。调整顺序建议是:先对齐人的口径,再补充规则,最后才考虑更换复核人。每次调整都记入规则文档,保留变更前后的口径,避免历史统计混乱。
疑似重复缺陷合并后,原提交人的信息会不会丢失?
合并动作应保留双向关联:新缺陷状态置为已合并并指向原缺陷,原缺陷下追加关联记录,注明合并来源、核对人和时间。新缺陷中补充的复现信息、数据量、账号权限等内容要转移到原缺陷,而不是随合并丢弃。这样统计缺陷数量时不会重复计数,追溯时也能看到完整信息。合并前需让被合并缺陷的提交人或其负责人知情,避免信息在不知情的情况下被归并。
试点期间人工逐条复核,会不会抵消AI带来的效率提升?
试点阶段逐条复核是必要的,目的是积累误判案例、校准规则,而不是长期运行方式。判断能否降低复核强度,可以看两个信号:一是误分类率连续两个迭代下降并趋于稳定,二是抽检中复核记录的质量没有明显下滑。满足后再对高置信度的建议改为抽检,低置信度的仍逐条确认。如果分诊时长在逐条复核下没有改善,说明复核变成了逐条重判,应缩小AI建议范围,只保留高置信度输出。
线上紧急故障来不及填全字段,流程怎么兼容?
可以规定最小必填集为标题、复现步骤、环境、影响范围四项,其余字段在分诊阶段补齐。对线上紧急故障,允许先提交简要描述并标记“紧急”,在故障止血后24小时内补齐复现步骤和环境信息。例外处理要写明触发条件和补录时限,并由缺陷管理负责人在复盘中检查补录情况。没有时限和检查的例外会逐渐变成常态,最小必填集也就失效了。
