评估一套AI需求分析输入规范是否有效，核心是看它是否让AI在理解与整理需求时减少返工、减少澄清轮次、更早发现冲突、减少遗漏。做法是围绕这四类结果设定可复算的指标，明确分子分母、时间窗和数据来源，用规范启用前后的同类需求做对比，再通过抽样复核判断改善是否来自规范本身。单看某一指标下降不足以证明规范有效，需要多指标同向变化并排除需求复杂度、人员变动等干扰。需求单、评审记录和澄清记录是取数的基础，ONES可以承载这些过程数据，便于按同一口径回溯复盘。
要点总览（TL;DR）
- 评估对象是AI需求分析输入规范本身，判断标准是AI理解与整理需求时是否更准、更省，多指标同向改善且能排除干扰才算有效。
- 四类核心指标：分析结果返工率、澄清轮次、冲突发现情况（含提示准确率）、遗漏率，各自明确分子分母、时间窗与数据来源。
- 验证方法是采集规范启用前基线，启用后保持其他条件稳定，按同类型同规模需求做前后对比，再抽样复核改善是否对应规范条款。
- 单指标下降不能证明规范有效，需排查需求复杂度、人员变动、评审尺度变化等干扰，指标反映相关关系，抽样证据补充因果判断。
- 评估结论要写明适用需求类型、时间段和规范版本，规范修订后需重新采集对比，把评估做成周期性复盘而非一次性验收。
评估目标：判断规范是否改善了需求理解质量
评估对象是“AI需求分析输入规范”这份输入约定，包括它规定的字段、颗粒度、示例、约束条件和提交要求。评估要回答的问题是：按这套规范提交需求后，AI在理解与整理需求时是否更准、更省。更准体现为冲突和遗漏更少，更省体现为返工和澄清轮次更少。评估不覆盖AI工具本身的模型能力、界面体验或整体采购价值，这些属于另一类判断。
判断方向可以归纳为三条。第一，多指标同向改善，即返工率、澄清轮次、冲突发现、遗漏情况中至少多数指标朝有利方向变化，且没有明显反向恶化。第二，改善发生在规范启用之后的同类需求上，而不是全部需求一起波动。第三，改善能够通过抽样复核找到与规范条款对应的证据，例如某类字段补齐后澄清问题明显减少。三条同时成立，才可以给出“规范有效”的初步结论；只满足其中一条，更适合写成“有改善迹象，需继续观察”。
指标与范围：四类可观察的质量指标
四类指标分别对应需求理解与整理过程中的不同失效点，选取时保持定义稳定，避免中途改口径。
分析结果返工率
返工指AI产出的需求分析结果（如需求拆解、验收条件草稿、冲突提示）在评审或后续使用中被要求实质性修改。返工率衡量规范是否让首次输出更接近可用状态。适用范围是已经进入评审环节的需求，未提交评审的需求不计入。
澄清轮次
澄清轮次指从需求提交到分析结果被接受之间，因信息缺失、表述歧义而发起的澄清次数。它衡量规范是否把必要信息前置说清。适用范围是同一需求单内的澄清往来，跨需求合并讨论的澄清单独记录。
冲突发现情况
冲突发现关注两类结果：一是规范启用后，AI在分析阶段主动提示的需求间冲突数量；二是这些提示中被确认成立的比例。前者反映发现能力，后者反映提示质量，两者需要一起看，避免用大量误报换取数量。
遗漏情况
遗漏指需求进入开发或验收后，才暴露出分析阶段应当识别却未识别的关键信息，例如缺失的边界条件、未说明的异常流程。遗漏通常通过事后回溯登记，统计周期要留出足够的暴露时间。
指标适用的需求类型应保持一致，例如同为业务系统功能需求，或同为接口类需求。时间窗建议以规范启用日为界，前后各取一段可比区间，区间长度根据需求吞吐量确定，样本过少时延长观察期而不是强行下结论。
数据口径：分子分母、时间窗与数据来源
口径不清是指标失真的主要原因。下表给出四类指标的取数约定，团队可在此基础上按自身流程微调，但调整后应保持前后一致。
| 指标 | 分子 | 分母 | 数据来源 | 时间窗与单位 |
|---|---|---|---|---|
| 分析结果返工率 | 评审中被要求实质性修改的分析结果数 | 同期提交评审的分析结果总数 | 需求单状态变更、评审记录 | 按评审完成日期统计，单位：百分比 |
| 澄清轮次 | 需求提交至结果被接受期间的澄清次数 | 同期完成分析的需求数 | 需求单评论、澄清记录 | 按需求关闭日期统计，单位：次/需求 |
| 冲突发现率 | 分析阶段提示且被确认成立的冲突数 | 同期分析的需求数 | 分析输出、评审确认记录 | 按分析完成日期统计，单位：个/百需求 |
| 冲突提示准确率 | 被确认成立的冲突提示数 | 分析阶段全部冲突提示数 | 分析输出、评审确认记录 | 同上，单位：百分比 |
| 遗漏率 | 事后回溯登记的分析阶段遗漏项对应需求数 | 同期进入开发或验收的需求数 | 缺陷与变更记录、复盘登记 | 按暴露日期回溯归属，单位：百分比 |
分母为零时需要单独说明。某时间窗内没有需求提交评审，返工率没有意义，应标注“无样本”而不是记为0%。数据缺失同样要显式处理：澄清记录散落在即时通讯工具中无法完整取数时，该指标标注为“数据不完整”，并在结论中降低其权重，不用估算值填补。
不可比问题主要来自三处：需求类型结构变化、需求平均规模变化、参与人员变化。处理方式是在对比时按需求类型分层统计，规模差异明显时补充按规模分组的对照，人员变动较大的区间单独标注。取数来源应尽量统一在需求单和评审记录中，减少手工台账与系统记录混用带来的口径漂移。
评估步骤：从基线到对比验证
评估按四步推进，每步都有明确的产物，便于复算和复核。
- 采集启用前基线。选定规范启用日之前的一段区间，按上表口径统计四类指标，同时记录该区间的需求类型分布、平均规模和参与人员。产物是一份基线数据表，注明取数日期和数据完整度。
- 启用规范并保持其他条件稳定。规范启用后，尽量维持需求提交渠道、评审流程和AI分析环节不变，只改变输入约定。若同期还有流程调整或人员轮换，在记录中标注，作为后续解读的干扰项。产物是变更记录，说明规范版本和生效时间。
- 前后同类需求对比。取启用后一段区间，按相同口径统计指标，并与基线做同类型、同规模分组的对比。对比时同时看绝对值和变化方向，避免只报告相对变化。产物是对比表，包含前后数值、样本量和差异说明。
- 抽样复核确认改善来源。从改善明显的指标中抽取若干需求，回看澄清记录和评审意见，确认减少的澄清或返工是否与规范条款直接相关。例如规范要求填写异常流程后，相关澄清问题确实消失。产物是抽样复核记录，列出样本、观察到的对应关系和反例。
四步完成后，把定量对比和抽样证据放在一起判断。若指标改善但抽样找不到与规范的对应关系，应怀疑改善来自其他因素，例如需求本身变简单或评审标准放宽。
算例：一次需求输入质量复盘
以下为演示情景，数据为示例，用于说明计算与推导方式，不代表任何真实团队的水平。
某团队在规范启用前三个月内提交评审的分析结果共120份，其中36份被要求实质性修改；同期完成分析的需求100个，累计澄清180次；分析阶段提示冲突40个，确认成立24个；进入开发的需求90个，事后回溯登记遗漏9个。规范启用后三个月，提交评审130份，返工33份；完成分析需求110个，澄清143次；冲突提示52个，确认成立39个；进入开发需求100个，遗漏5个。
| 指标 | 启用前 | 启用后 | 变化 |
|---|---|---|---|
| 返工率 | 36/120 = 30.0% | 33/130 = 25.4% | 下降4.6个百分点 |
| 澄清轮次 | 180/100 = 1.80次/需求 | 143/110 = 1.30次/需求 | 下降0.50次/需求 |
| 冲突发现率 | 24/100 = 24个/百需求 | 39/110 ≈ 35.5个/百需求 | 上升约11.5个/百需求 |
| 冲突提示准确率 | 24/40 = 60.0% | 39/52 = 75.0% | 上升15.0个百分点 |
| 遗漏率 | 9/90 = 10.0% | 5/100 = 5.0% | 下降5.0个百分点 |
从结果看，返工率、澄清轮次、遗漏率下降，冲突发现率和提示准确率上升，五项指标方向一致。推导判断时还需两步：一是确认前后需求类型和规模分布接近，若启用后需求明显变小，返工下降可能来自需求本身；二是抽样复核，例如抽取澄清减少最多的十个需求，检查其澄清问题是否集中在规范新增的字段上。两步都支持时，可以给出“规范对需求理解质量有正向作用”的结论；若抽样发现改善集中在少数人员提交的需求上，则应写成“存在改善，但来源需进一步区分”。
解读与限制：避免把单指标当结论
指标下降与规范有效之间隔着若干解释。返工率下降可能因为评审标准放宽，澄清轮次减少可能因为团队沟通习惯改变，冲突提示增加可能只是提示更激进而准确率未升。因此解读时坚持多指标同向、同类型对比和抽样证据三条同时满足，再下结论。
干扰因素需要逐项排查。需求复杂度上升会推高返工和澄清，掩盖规范的作用；人员变动会改变提交质量和评审尺度；AI分析环节本身的调整会与规范效果混在一起。排查方式是在对比表中标注这些变化，必要时剔除受影响区间的数据或单独分组统计。
指标反映的是相关关系，不能直接证明因果。抽样复核的作用是把指标变化与规范条款建立可观察的对应关系，例如某字段补齐后对应澄清消失，这比单纯数值下降更有说服力。定性证据还包括评审人对分析结果可用性的反馈、澄清问题类型的分布变化，这些材料与指标一起构成判断依据。
最后，评估结论应写明适用范围：哪类需求、哪个时间段、哪版规范。规范后续修订后，原有结论不自动延续，需要重新采集对比。把评估做成周期性复盘，而不是一次性验收，才能持续判断输入规范是否仍然有效。
常见问题
规范启用后指标改善，但团队同期还调整了评审流程，怎么判断改善来自规范？
先看变更记录：把评审流程调整的时间点和范围标出来，与规范启用时间对照。如果两者重叠，可以按受影响区间分组统计，或剔除重叠期数据后重新对比。再看抽样复核，回看澄清减少或返工下降的具体需求，确认变化是否对应规范条款，例如某字段补齐后相关澄清消失。若抽样发现改善集中在流程调整之后提交的需求上，应写成“存在改善，来源需进一步区分”，并延长观察期。
需求吞吐量小，前后各三个月样本只有几十个，指标波动很大，评估还成立吗？
样本过少时不宜直接下结论。可以延长观察期，把前后区间各扩展到能覆盖足够需求数量的长度；也可以按需求类型分层，只在样本较充足的类型上做对比。分母为零或接近零的指标标注“无样本”，不记为0%。结论措辞相应调整为“有改善迹象，需继续观察”，并注明样本量和观察区间，便于后续复算。
澄清记录散落在即时通讯工具里，取数不完整，这个指标还能用吗？
可以用，但要显式标注数据完整度。把能从需求单评论和澄清记录中取到的部分作为统计基础，标注“数据不完整”，并在结论中降低该指标权重，不用估算值填补。更稳妥的做法是评估启动时就把澄清往来收敛到需求单内记录，使后续周期可完整取数。ONES可以承载需求单与评论记录，便于按同一口径回溯。
冲突提示数量上升，但团队觉得误报变多了，这种情况算规范有效吗？
需要把冲突发现率和冲突提示准确率一起看。提示数量上升而准确率下降，说明发现更激进但质量未改善，不能算规范有效。准确率上升且确认成立的冲突数增加，才说明规范让AI更早识别出真实冲突。评估时应同时报告两个数值，并在抽样复核中检查误报集中在哪类需求，判断是否与规范字段设计有关。
评估做完给出“规范有效”的结论后，多久需要重新评估？
没有统一周期，取决于需求类型和规范修订频率。规范发生修订、需求结构明显变化、参与人员大幅轮换时，应重新采集基线和对比数据，原有结论不自动延续。日常可以按季度或按版本节奏做一次轻量复盘，重点看指标是否维持同向，抽样复核是否仍能找到与规范条款的对应关系。把评估做成周期性复盘，比一次性验收更能反映规范的实际作用。
