评估AI报告审阅效果，先要固定评估对象与时间窗，再分别统计覆盖率、误报率、漏报率和人工返工量。覆盖率回答“该审的报告有多少被审过”，误报率回答“AI提示里有多少是无效告警”，漏报率回答“人工发现的问题里AI漏了多少”，返工量回答“因AI告警产生了多少修改成本”。漏报率无法从AI日志直接得出，必须依靠分层抽检，抽检方案的可信度决定了整组指标能否用于结论。
要点总览（TL;DR）
- 评估前先固定三件事：纳入哪些报告类型与审阅环节、基线期与观察期、排除项；范围中途变化应单独统计，不与原范围混算。
- 覆盖率分母来自报告清单而非AI日志，未触发审阅的报告单独计数并标注原因；误报率分母是AI告警条目数，漏报率分母是抽检样本中人工确认的问题总数，两者不可合并成“准确率”。
- 人工返工量同时保留条目口径与工时口径：条目口径易采集适合按周看趋势，工时口径贴近成本适合阶段复盘，并列报告并注明工时是估算还是实际记录。
- 漏报率必须靠分层随机抽检：按报告类型、风险等级、AI告警密度分层，设最小样本量，双人独立标注、分歧由第三人仲裁并留档；上线初期加密抽检，稳定后降频。
- 四项指标存在张力，覆盖率上升可能推高误报，压误报可能抬升漏报；结论需附分子分母、时间窗、缺失值处理与未复核比例，单指标不能代表整体绩效。
评估目标：先定义“审阅有效”再选指标
“审阅效果如何”是一个复合问题，直接问会得到互相矛盾的答案：AI提示变多，覆盖率上去了，误报也可能同步上升；误报压下来，漏报可能增加。评估开始前，需要把这个问题拆成三个可判断的层次，并为每一层指定指标。
- 覆盖到位：应审阅的报告是否都进入了AI审阅流程，对应覆盖率。
- 判断准确：AI给出的告警是否成立、是否遗漏了人工能发现的问题，对应误报率与漏报率。
- 返工可控：因AI告警产生的修改量是否在团队可承受范围内，对应条目口径与工时口径的返工量。
评估对象要写清楚三件事：纳入哪些报告类型（如需求评审报告、测试总结报告、上线复盘报告）、纳入哪个审阅环节（初稿提交后、评审会前、发布前）、由谁提交审阅。范围一旦确定，整个观察期内保持一致，中途新增报告类型应单独统计，不与原范围混算。
时间窗分基线期与观察期。基线期取上线前同类报告的人工审阅结果，用于对比误报、漏报和返工水平；观察期从上线后第一份纳入范围的报告开始，按周或按迭代汇总。跨期比较时，报告类型、提交标准和评审人员尽量保持稳定，否则差异可能来自范围变化而非AI效果。
本次评估聚焦文档产出环节的审阅效果。需求判断是否准确、项目风险识别是否充分，属于其他评估主题，不在本文指标范围内；审阅工具的具体产品能力、版本与价格也不在评估方法之列。
| 项目 | 填写内容 | 示例 |
|---|---|---|
| 纳入报告类型 | 列出类型与判定标准 | 需求评审报告、测试总结报告 |
| 纳入审阅环节 | 报告在哪个节点触发AI审阅 | 初稿提交后、评审会前 |
| 基线期 | 起止日期与样本来源 | 上线前4周同类报告人工审阅记录 |
| 观察期 | 起止日期与汇总频率 | 上线后8周，按周汇总 |
| 排除项 | 本次不评估的内容 | 需求判断、风险判断、工具选型 |
指标与范围：覆盖率、误报、漏报、返工量的定义
四项指标要能被不同的人按同一口径复算，每个指标都必须写明公式、分子、分母、单位与统计粒度。下表是指标定义卡的核心内容。
| 指标 | 公式 | 分子 | 分母 | 单位与粒度 |
|---|---|---|---|---|
| 覆盖率 | 被AI审阅报告数 ÷ 应审阅报告数 | 实际触发AI审阅的报告数 | 按报告清单圈定的应审阅报告数 | 百分比，按报告统计 |
| 误报率 | 无效告警数 ÷ AI告警总数 | 人工复核判定为无效的告警数 | AI产生的告警条目总数 | 百分比，按告警条目统计 |
| 漏报率 | AI未提示的问题数 ÷ 人工确认问题总数 | 抽检样本中人工发现而AI未提示的问题数 | 抽检样本中人工确认的问题总数 | 百分比，按问题条目统计 |
| 返工量（条目） | 因AI告警修改的条目数 ÷ 审阅报告数 | 因AI告警而修改的条目数 | 审阅报告数 | 条/份，按报告统计 |
| 返工量（工时） | 因AI告警产生的修改工时 ÷ 审阅报告数 | 因AI告警产生的修改工时 | 审阅报告数 | 小时/份，按报告统计 |
覆盖率的分母来自报告清单，而不是AI日志。先按报告类型、所属项目、发布状态圈定应审阅报告全集，再与AI实际审阅集合比对。未触发AI审阅的报告要单独计数并标注原因（如提交时未勾选审阅、系统未覆盖该类型、审阅任务失败），不能把未触发直接算作已覆盖，也不能从分母中悄悄剔除。
误报率与漏报率的分母口径不同，这是最容易混用的地方。误报率的分母是AI告警条目总数，一条报告产生五条告警就计五次判定机会；漏报率的分母是抽检样本中人工确认的问题总数，包括AI提示过的和未提示的。前者衡量AI说了多少错话，后者衡量AI漏了多少该说的话，两者不能互相替代，也不能合并成一个“准确率”。
人工返工量建议同时保留条目口径与工时口径。条目口径采集成本低，适合按周跟踪趋势；工时口径更贴近真实成本，适合在阶段性复盘时使用。两个口径并列报告，并注明工时是估算填报还是实际记录，避免读者把估算值当成精确成本。统计粒度上，覆盖率与返工量按报告统计，误报率按告警条目统计，漏报率按问题条目统计，汇总时先算各层比率再加权，不直接平均各周百分比。
单位与精度约定：比率保留一位小数，样本量小于30时只报告区间或方向，不给出精确到小数点的比率；返工量保留一位小数，工时单位统一为小时。所有指标注明统计时间窗，跨周汇总时说明是自然周还是迭代周期。
数据口径与证据：告警日志、人工标注与工时记录怎么对齐
四项指标能否复算，取决于三类数据能否按同一主键关联起来：AI审阅日志、人工复核记录、修改记录与工时记录。建议以报告ID作为主键，告警ID作为告警层级的子键，问题条目ID作为抽检比对的子键。
| 数据类别 | 关键字段 | 用途 | 常见缺失 |
|---|---|---|---|
| AI审阅日志 | 报告ID、告警ID、告警类型、触发时间、审阅状态 | 确定实际审阅集合与告警总数 | 审阅失败未记录、告警未落库 |
| 人工复核记录 | 告警ID、判定结论（有效/无效/表述需改）、判定依据、标注人、标注时间 | 计算误报率、支撑漏报比对 | 部分告警未复核 |
| 修改记录 | 报告ID、条目ID、修改原因、是否因AI告警触发 | 计算条目口径返工量 | 修改原因未标注 |
| 工时记录 | 报告ID、修改工时、填报方式（估算/实际） | 计算工时口径返工量 | 工时未单独记录 |
一报告多告警的情况，按告警ID逐条展开，报告ID作为关联字段保留。人工复核记录必须包含判定依据，例如引用报告原文段落或评审规范条款，仅有“无效”二字不足以支撑复算。标注人、标注时间一并留存，便于追溯和分歧复盘。
缺失值处理规则要在计算前写定。未复核的告警不计入误报率分子，但要在报告中单列“未复核告警数”，并说明未复核比例；未记录工时的报告不计入工时口径分母，同时报告“工时缺失报告数”。分母为零时（如某周无AI告警），该周误报率记为“不适用”，不写0%；样本过少时只报告样本数与方向性描述。
当审阅记录、复核结论和返工条目需要关联到同一份报告时，承载这些信息的文档与工作项需要保持可追溯。ONES Assistant 可连接 ONES Project、ONES Wiki 与 ONES TestCase，理解项目、工作项和 Wiki 页面等工作上下文，并将结果保存为工作项或 Wiki 页面；其输出过程可追踪、结果可审计。评估团队可以把审阅结论和复核记录沉淀在对应文档与工作项上，按报告维度回溯。具体告警明细的留存与导出方式，需在选型核验时确认。
计算与评估步骤：从原始记录到四项指标
计算按五步推进，每一步产出可核对的中间结果，最后再做交叉校验。
- 确定两个集合：按报告清单导出应审阅报告全集，按AI审阅日志导出实际审阅集合，两者按报告ID比对，得到覆盖率及未触发清单。
- 逐条判定告警：对观察期内全部AI告警逐条人工判定，结论分为“有效”“无效”“提示正确但表述需改”三类。第三类不计入误报分子，单独统计，避免把表述问题算成判断错误。
- 抽检比对漏报：按分层方案抽取样本，由评审人独立通读报告，列出人工确认的问题，再与AI告警逐条比对，标记“AI已提示”“AI未提示”，得到漏报率。
- 汇总返工：按修改记录统计因AI告警触发的修改条目数，按工时记录汇总修改工时，分别除以审阅报告数。
- 交叉校验：检查同一报告在覆盖率、误报率、返工量中的记录是否一致，例如某报告被计为已审阅但无任何告警记录，需回查日志。
用一组假设数据完整演算一遍（演示情景，仅说明算法，不代表任何真实产品表现）：某期应审阅报告200份，AI实际审阅180份，覆盖率90%；AI告警500条，人工复核判定无效120条，误报率24%；抽检40份报告，人工确认问题50个，其中AI未提示10个，漏报率20%；因告警修改条目60条，条目口径返工量0.3条/份；修改工时合计30小时，工时口径返工量0.15小时/份。若另有15条告警判定为“提示正确但表述需改”，则单列说明，不计入120条无效告警。
抽检方法：分层抽样、样本量与分歧处理
漏报率的可信度完全取决于抽检设计。抽检采用分层随机，分层维度建议取三个：报告类型、风险等级、AI告警密度。告警密度按每份报告告警条数分高、中、低三档，高密度报告更容易掩盖漏报，应保证有足够样本进入抽检。
| 分层维度 | 分层方式 | 抽样比例 | 最小样本量 |
|---|---|---|---|
| 报告类型 | 按纳入类型逐类分层 | 每类10%–20% | 每类不少于10份 |
| 风险等级 | 高/中/低 | 高风险层加倍抽取 | 高风险层不少于8份 |
| AI告警密度 | 高/中/低三档 | 高密度层不低于15% | 每档不少于8份 |
抽样比例与最小样本量按观察期总量设定：上线初期样本少、指标波动大，抽样比例取上限并保证每层最小样本量；指标稳定后可降低比例，但每层最小样本量不取消。样本量过少时（如某层不足8份），只报告该层的区间与方向，不与其他层合并成一个精确比率。
判定采用双人独立标注：两名评审人各自通读同一份样本，独立列出问题清单并标注AI是否已提示，完成后比对。分歧先由两人讨论，仍不一致时由第三人仲裁，仲裁理由记录在案。标注记录保留判定依据、标注人、标注时间与样本编号，抽检周期上线初期按周执行，连续四周指标波动在约定范围内后可改为按迭代或按月执行。
解读与限制：指标怎么读、哪些结论不能下
四项指标之间存在张力，单独看任何一项都可能得出相反结论。覆盖率提高往往意味着更多报告进入审阅，低价值告警随之增加，误报率可能上升；为压低误报率而收紧提示规则，漏报率可能同步走高。误报率与返工量通常同向变化，误报越多，因无效告警产生的修改条目和工时越多。评估时应把覆盖率、误报率、漏报率、返工量放在同一时间窗内并列呈现，观察它们的联动方向，而不是挑一个好看的指标汇报。
常见误读有三类。第一，把误报率当作准确率，忽略了漏报率的分母口径不同，两者不能合并计算。第二，用单周数据下结论，样本量不足时比率波动很大，应看连续多周的趋势。第三，把“提示正确但表述需改”计入误报，导致误报率虚高，这类情况应单列并说明占比。
结论边界需要提前写明：抽检样本存在抽样偏差，标注者的判断带有主观性，双人标注与仲裁只能降低而不能消除这种偏差；指标改善反映的是审阅环节的变化，不能直接推导为报告质量提升或交付周期缩短，业务结果需要另行验证。评估报告应同时给出分子分母、时间窗、缺失值处理方式和未复核比例，让读者能自行判断结论的适用范围。
常见问题
上线初期报告量很少，四项指标还要不要算？
可以算，但要改变报告方式。样本量不足时，比率波动很大，建议只报告样本数、分子分母和方向性描述，例如“本期应审阅12份，实际审阅10份，覆盖率约83%，样本过少仅供趋势参考”，不给出精确到小数点的结论。分层抽检中某层不足最小样本量时，该层单独说明，不与其他层合并成一个精确比率。等观察期累积到足够样本后，再按完整口径复算并做跨期比较。
AI提示“表述需改”算不算误报？怎么统计才不影响误报率？
建议单列为第三类结论，不计入误报分子。人工复核告警时把结论分为“有效”“无效”“提示正确但表述需改”三类，误报率只用“无效”数除以AI告警总数，同时在报告中给出“表述需改”的条数与占比。这样误报率反映的是判断对错，表述问题另行跟踪。如果团队希望把表述问题也纳入质量改进，可以另设一个“表述问题占比”指标，与误报率并列呈现，避免两个问题混在一个数字里。
人工返工量用条目还是工时？工时靠估算填报还能用吗？
两个口径建议都保留，用途不同。条目口径采集成本低、口径稳定，适合按周跟踪趋势；工时口径更贴近真实修改成本，适合阶段性复盘。工时如果是估算填报，仍可使用，但必须在报告中注明“估算填报”，并说明估算方法（如按修改条目数乘以标准工时），不能把估算值当作实际记录成本对外引用。若部分报告未记录工时，这些报告不计入工时口径分母，同时单列“工时缺失报告数”，让读者知道覆盖比例。
抽检发现AI漏报后，怎么判断是AI的问题还是评审标准不一致？
先看判定依据是否落在同一套评审规范上。抽检时要求标注人写明问题对应的规范条款或报告原文段落，比对时区分两种情况：一是问题明确违反已发布的评审规范而AI未提示，计入漏报；二是规范本身没有覆盖、属于评审人个人经验判断，单独记录为“规范外发现”，不计入漏报率分子，但可作为下一轮提示规则优化的输入。双人独立标注与第三人仲裁能降低这类分歧，仲裁理由要留档，供后续统一口径。
评估结论能不能直接用来判断AI审阅是否值得继续投入？
四项指标反映的是审阅环节的覆盖、判断准确性和返工成本，可以作为投入决策的输入，但不足以单独支撑结论。指标改善不等于报告质量提升或交付周期缩短，业务结果需要另行验证；同时要看到覆盖率与误报率、误报率与返工量之间的联动，避免只挑一个指标汇报。建议把指标结果与基线期的人工审阅成本、报告返修次数等数据放在一起看，并注明抽检样本偏差与标注主观性带来的不确定性，再讨论是否扩大使用范围。
