评估AI需求分析的人工复核，核心是回答两件事：AI整理出的需求内容是否准确、可追溯，人工复核是否真正拦住了错误。本文给出一套可复算的评估方法，从确定目标、定义指标与口径，到抽样比对、汇总计算和结果解读，帮助团队判断是否继续试点、如何调整复核规则。文中示例数据均为演示情景。
要点总览（TL;DR）
- 评估对象限定为AI整理出的需求条目、分类、优先级建议与待澄清项，文档成稿质量不混入同一套指标。
- 核心指标建议覆盖需求条目准确率、关键信息遗漏率、误判率、复核拦截率和复核耗时，每项写明分子、分母、统计单位与时间窗。
- 执行时先抽样再逐条比对原始需求来源，汇总后由另一人交叉核对分子分母，判定分歧组织复判并记录原因。
- 分母为零记为不适用，条目缺失标为缺失值，AI未输出单独归类，均不默认按正确或错误计入。
- 样本量小或来源单一时结论限定在样本范围内；准确率高不等于复核可省略，指标与业务结果之间不能直接画等号。
复核评估要回答什么问题
评估开始前先把对象定清楚。AI需求分析人工复核的评估对象，是AI整理输出的需求条目、分类结果、优先级建议和待澄清项，不包括文档排版、报告成稿这类交付物质量。对象定得越窄，后续指标越容易对齐。
围绕这个对象，评估要回答三类问题：
- 内容准确性：AI整理的需求条目与原始需求来源是否一致，关键信息有没有丢失，分类和优先级建议是否合理。
- 复核有效性：人工复核实际拦下了多少错误，漏放了多少，复核动作本身是否稳定执行。
- 投入产出：复核花了多少时间，相比不借助AI的整理方式，净节省或净增加多少工作量。
评估结论的使用者通常有三类：决定是否扩大试点的负责人、负责调整复核规则的需求负责人、以及关注流程成本的团队管理者。用途不同，关注指标也不同，试点决策更看拦截率和准确率，规则调整更看错误类型分布。建议在评估启动时写一份目标说明，列出待回答的问题清单、对应指标和结论用途，避免评估做完才发现数据回答不了决策问题。
指标与统计范围怎么定
指标不在多，在于每个都能复算。建议至少覆盖以下五项，并同时约定统计范围。
| 指标 | 含义 | 统计单位 | 时间窗 |
|---|---|---|---|
| 需求条目准确率 | AI输出中被判定为准确的需求条目占比 | 单条需求 | 按批次或自然周 |
| 关键信息遗漏率 | 原始来源中的关键信息在AI输出中缺失的比例 | 单条需求 | 同上 |
| 误判率 | 分类、优先级建议被判定为错误的比例 | 单条需求 | 同上 |
| 复核拦截率 | 人工复核发现并修正的错误占全部错误的比例 | 单条需求 | 同上 |
| 复核耗时 | 单条需求人工复核的平均用时 | 分钟/条 | 同上 |
统计范围要写清楚三件事：需求来源（例如来自哪几个项目、哪类需求文档）、时间窗（AI输出生成时间和复核完成时间分别落在哪个区间）、纳入与排除规则（例如重复条目、测试性输入、明显无效的原始需求是否排除）。样本单位建议以单条需求为主，因为准确率和遗漏率的判定天然落在条目粒度；如果团队更关心整份文档的可用性，可以另设文档级指标，但两套口径不要混算。
数据口径与证据要求
口径决定数据能不能被别人复算。每个指标都要写明分子、分母和公式，并规定异常情况的处理方式。
- 需求条目准确率 = 判定为准确的条目数 ÷ 纳入评估的条目总数 × 100%。分母是纳入评估的条目数，不是AI输出的全部条目数。
- 关键信息遗漏率 = 存在关键信息缺失的条目数 ÷ 纳入评估的条目总数 × 100%。关键信息需事先列出清单，例如业务目标、使用角色、触发条件、验收要点。
- 误判率 = 分类或优先级判定错误的条目数 ÷ 有对应输出的条目数 × 100%。AI未给出分类或优先级的条目不计入分母，单独统计为“未输出”。
- 复核拦截率 = 复核发现并修正的错误条目数 ÷ 评估中确认存在错误的条目总数 × 100%。这个指标依赖对“全部错误”的识别，通常通过独立抽检或双人判定来补全。
- 复核耗时 = 复核总用时 ÷ 复核条目数，单位为分钟/条，需说明是否包含沟通和返工时间。
异常处理规则要提前写死：分母为零时该指标记为“不适用”，不写0%；条目缺失时标记为缺失值，不默认按正确或错误计入；AI未输出时单独归类，不并入错误率。定性判定同样需要证据，每条判定应保留原始需求来源、复核记录和判定人，便于出现分歧时回溯。判定标准可以在评估前用少量样本试判一轮，统一“准确”“遗漏”“误判”的边界后再正式执行。
评估执行步骤
执行阶段按以下顺序推进，每一步都留下可核对的记录。
- 确定样本与抽样方式：从统计范围内按随机或分层方式抽取需求条目，记录抽样方法、样本量和抽取时间。分层可以按需求来源或复杂度划分，便于后续比较。
- 逐条比对：以原始需求来源为基准，逐条核对AI输出的条目内容、分类、优先级和待澄清项，在记录表中填写判定结果和依据。
- 汇总计算：按口径公式计算各指标，至少由另一人交叉核对分子分母，确认纳入排除规则执行一致。
- 复核结论与分歧处理：对判定不一致的条目组织复判，记录分歧原因；复判后更新数据，并在报告中说明复判条数。
记录表建议包含：条目编号、原始来源位置、AI输出摘要、判定结果（准确/遗漏/误判/未输出）、判定依据、判定人、复核人、复核耗时。这张表既是计算底稿，也是后续调整复核规则的依据。
一个可复算的评估例子
以下为演示情景，数字仅用于说明计算过程。假设某团队在两周内对3个项目产生的AI整理需求做评估，纳入评估的条目共200条，随机抽取80条进行逐条比对。
比对结果：判定准确62条，存在关键信息遗漏9条，分类或优先级误判6条，AI未输出3条。按口径计算：
- 需求条目准确率 = 62 ÷ 80 × 100% = 77.5%
- 关键信息遗漏率 = 9 ÷ 80 × 100% = 11.25%
- 误判率 = 6 ÷ 77 × 100% ≈ 7.8%（分母为有对应输出的77条，未输出的3条不计入）
复核拦截情况：通过独立抽检补全错误识别后，确认样本中实际存在错误18条，人工复核发现并修正14条，则复核拦截率 = 14 ÷ 18 × 100% ≈ 77.8%。复核耗时方面，80条共投入复核工时约6小时，折合4.5分钟/条；若包含沟通与返工，按8小时计则为6分钟/条，报告中需注明采用哪种口径。
这组数字可以回答“AI整理质量如何”和“复核是否有效”两个问题，但不能直接回答“是否应该继续使用AI”，后者还要结合复核成本和业务影响一起看。
结果怎么解读，边界在哪里
指标是样本内的观察，不是整体质量的保证。样本量小、来源单一（例如只覆盖一个项目或一类需求）时，准确率的波动区间会比较大，结论宜限定在样本范围内，扩大试点前先补充样本。复核拦截率高说明复核环节在起作用，也说明AI输出仍有需要拦截的错误；准确率高同样不等于复核可以省略，因为遗漏和误判往往集中在少数复杂条目上。
指标与业务结果之间不能直接画等号。需求条目准确率提升，不必然带来返工减少或交付加快，中间还隔着评审、排期等环节。解读时应把指标当作过程信号，结合错误类型分布判断问题出在输入质量、提示方式还是复核规则。
据此可以做的后续动作包括：按错误类型调整复核重点，例如对遗漏集中的需求类型增加检查项；按拦截率变化决定是否维持当前复核强度；在样本扩大后重新计算指标，再决定试点范围。评估记录、需求条目状态和复核结论如果沉淀在研发管理工具中，后续复算和追溯会更方便。ONES Assistant 可基于项目、工作项和 Wiki 页面等上下文提炼需求要点、待澄清问题与拆解建议，其输出过程可追踪、结果可审计，团队可以把复核判定和评估数据与需求条目放在同一处管理，减少口径对不齐的情况。
常见问题
评估样本应该抽多少条，抽样方式怎么选？
样本量没有统一标准，取决于需求总量、条目之间的差异程度和结论要支撑的决策。试点阶段可以先按需求来源或复杂度分层，每层抽足够条数覆盖主要类型，再根据首轮结果的波动情况决定是否扩大。抽样方式、样本量和抽取时间都要记录，便于他人复算。样本只覆盖一个项目或一类需求时，结论宜限定在该范围内。
复核拦截率需要知道“全部错误”，可实际只能看到复核发现的错误，怎么办？
这是拦截率最难处理的地方。常见做法是对已复核样本再做一轮独立抽检，或由两人背对背判定，把两次结果合并作为错误总数的近似。报告中要说明错误总数是怎么补全的、补全了多少条，避免把拦截率当成精确值。若无法补全，可以只报告复核发现并修正的错误条数，不计算比率。
AI输出和原始需求来源不一致时，怎么判定是AI遗漏还是原始需求本身表述不清？
判定前先统一边界：以原始需求来源中已明确写出的信息为基准，来源本身模糊的内容不计入遗漏，另列为“来源待澄清”。评估前用少量样本试判一轮，把“准确”“遗漏”“误判”“来源待澄清”的边界对齐后再正式执行。每条判定保留原始来源位置和判定依据，出现分歧时按记录回溯。
复核耗时要不要把沟通和返工算进去？
两种口径都可以用，关键是全篇统一并注明。只算逐条比对时间，反映复核动作本身的效率；把沟通、复判和返工算进去，更接近团队实际投入。建议主口径采用含沟通与返工的完整用时，另附纯比对用时作为参考，避免不同批次之间口径不一致导致数据不可比。
评估做完，怎么判断要不要继续用AI做需求分析？
把准确率、遗漏率、拦截率和复核耗时放在一起看，再结合错误类型分布判断问题出在输入质量、提示方式还是复核规则。如果复核拦截率长期偏高且错误集中在少数复杂需求类型，可以先调整复核重点而不是直接停用；如果复核成本接近甚至超过人工整理的节省，就需要重新评估适用范围。结论应写明样本范围和时间窗，扩大试点后再复算一次。
