评估AI文档的人工审阅环节，需要回答三个问题：该审的文档是否都审了，审出了多少问题，为此花了多少工时。把覆盖率、缺陷发现能力和审阅成本放在同一时间窗、同一文档范围、同一缺陷判定口径下统计，才能判断这个环节应当保留、调整还是取消。本文给出一套可复算的指标定义、取数口径和算例。
要点总览（TL;DR）
- 评估AI文档人工审阅机制，先明确要支持保留、调整还是取消的决策，再在同一时间窗、同一文档范围、同一缺陷判定口径下统计覆盖率、缺陷发现能力和审阅成本。
- 覆盖率＝实审文档数÷应审文档数，并同时报告全文审阅与抽检审阅的篇数和抽检比例；分母为零时不计比率并单独说明。
- 缺陷发现能力用人工提出问题数、严重度分布和抽样复核估算的漏检率组合表达，漏检率＝复核发现问题数÷（原审阅问题数＋复核发现问题数）。
- 审阅成本以单位审阅成本＝（审阅工时＋返工工时）÷审阅文档数为主，返工工时单列，便于区分必要投入与返工浪费。
- 三组指标与基线期或对照组同口径比较后再下结论；出现背离时先排查口径与数据质量，再讨论机制调整。
评估目标：判断审阅机制是否值得保留
评估的落点是决策，而非给审阅工作打分。常见决策有三类：保留现有审阅机制并维持投入；调整审阅范围、深度或人员配置；取消或大幅缩减人工审阅，改由其他控制手段承接。评估开始前先写清本次要支持哪一类决策，后续指标取舍才有依据。
有效性从三个方向判断。覆盖是否到位，看应审文档中实际被审的比例和审阅深度，防止AI产出未经人工确认就流出。缺陷是否被拦住，看人工审阅在AI文档中识别出的问题数量、严重度分布，以及抽样复核发现的漏检情况。成本是否可承受，看单位文档消耗的审阅工时与返工工时，判断投入产出是否合理。
评估周期建议与文档产出节奏对齐，按月或按季度统计，并保留至少一个基线期用于对照。责任角色上，业务负责人确定文档范围与缺陷判定口径，审阅负责人维护审阅记录，度量负责人完成取数与计算，三方共同解读结论。角色分离可以降低“自己评自己”带来的口径松动。
评估目标与决策问题清单可包含：本次评估支持保留、调整还是取消；三组指标各自的统计范围与时间窗；基线期如何选取；结论由谁确认、何时复盘。
指标与范围：三组指标及统计边界
三组指标需要先定义清楚分子、分母和统计单位，否则不同月份、不同团队的数据无法放在一起看。下表给出建议的指标定义。
| 指标组 | 指标 | 定义与计算口径 | 统计单位 |
|---|---|---|---|
| 覆盖率 | 应审文档数 | 按纳入规则应进入人工审阅的AI生成文档数量 | 篇/期 |
| 覆盖率 | 实审文档数 | 在统计期内完成人工审阅并有审阅记录的文档数量 | 篇/期 |
| 覆盖率 | 审阅深度 | 全文审阅与抽检审阅分别计数，抽检需记录抽检比例 | 篇、比例 |
| 缺陷发现 | 人工提出问题数 | 人工审阅中记录的问题条数，按严重度分级统计 | 条/期 |
| 缺陷发现 | AI自检已拦截数 | AI生成环节自检或规则校验已标记并修正的问题数，单独统计 | 条/期 |
| 缺陷发现 | 漏检数 | 抽样复核中发现的、人工审阅未记录的问题数 | 条/样本 |
| 成本 | 审阅工时 | 人工审阅投入的工时，按文档归集 | 人时/期 |
| 成本 | 返工工时 | 因审阅发现问题而修改文档、重新生成或重新审阅的工时 | 人时/期 |
| 成本 | 单位文档成本 | （审阅工时＋返工工时）÷审阅文档数 | 人时/篇 |
统计范围需明确四件事：文档类型（如需求说明、设计文档、测试报告、对外报告分别统计，避免混算）、时间窗（起止日期与文档归属规则，按生成日期还是审阅完成日期归期需固定）、纳入规则（哪些AI生成文档必须人工审阅，哪些可豁免）、排除规则（如作废文档、重复版本、纯格式调整的修订）。范围一旦确定，基线期与评估期保持一致，变更时需在报告中注明。
数据口径与证据：从哪里取数、如何保证可比
取数来源主要有三类：文档清单来自文档管理或知识库系统，需包含文档标识、类型、生成方式、生成日期、版本；审阅记录来自审阅流程或工作项，需包含审阅人、审阅起止时间、审阅深度、提出问题及严重度；工时记录来自工时填报或审阅任务的实际耗时字段。三份数据以文档标识为主键关联，形成一张可复算的明细表。
缺陷判定口径决定缺陷发现能力是否可比。建议在评估前写一份判定说明：什么算一个问题（如事实错误、数据不一致、结论缺少依据、表述歧义、格式规范问题分别归类）；严重度如何分级（如阻断级、重要级、一般级、建议级，并给出每级的判定示例）；同一文档同一位置的重复问题如何计一次。判定说明由审阅负责人维护，评估期内不随意调整，调整时新旧口径分段统计。
工时记录容易出现缺失。处理方式：优先使用审阅任务上的实际耗时；缺失时用同类型文档同期的中位工时估算，并标记为估算值；估算占比超过一定比例（如两成）时，成本结论需注明可靠性受限。抽样复核作为证据补充，从已审文档中按类型分层随机抽取样本，由未参与原审阅的人员复核，记录原审阅未发现的问题，用于估算漏检率。
审阅记录、工时与缺陷数据需要在同一套工作项和文档流程中留痕，取数时才不必跨系统手工拼接。ONES 的 AI 能力基于权限体系执行知识问答和任务，输出过程可追踪、结果可审计；ONES Assistant 可将自然语言指令的结果保存为工作项、Wiki 页面等内容，审阅任务、问题记录和工时填报可以在同一工作项体系中关联到具体文档，为上述明细表提供可追溯的数据来源。是否具备审阅环节的专门统计报表，需在选型或配置时核验。
计算与评估步骤：从取数到结论
按以下顺序计算，每一步保留中间结果，便于复核和解释。
- 确定统计期与文档范围，导出应审文档清单，核对纳入与排除规则。
- 计算覆盖率：覆盖率＝实审文档数÷应审文档数。分母为零时不计比率，单独说明该期无应审文档；分子大于分母通常意味着归期口径不一致，需先修正再计算。同时报告全文审阅与抽检审阅的篇数及抽检比例。
- 计算缺陷发现密度：缺陷发现密度＝人工提出问题数÷审阅文档数，也可补充按文档字数计算的每万字问题数，用于比较长短文档差异较大的场景。按严重度分别列出条数，阻断级与重要级单列。
- 计算单位审阅成本：单位审阅成本＝（审阅工时＋返工工时）÷审阅文档数。返工工时单列一份，便于区分必要审阅投入与返工浪费。
- 与基线期或对照组比较：基线期取审阅机制调整前的同期数据，对照组取未纳入人工审阅或采用不同审阅深度的同类文档。比较时保持文档类型、时间窗长度和缺陷判定口径一致，报告绝对值和变化幅度。
- 抽样复核估算漏检率：从实审文档中分层抽取样本，复核记录未发现问题数；漏检率＝复核发现问题数÷（原审阅问题数＋复核发现问题数），按文档类型分别报告，样本量过小时只作参考。
完成计算后，把三组指标并列成一张评估表，附上口径说明与数据完整性说明，再进入解读环节。任何一组指标单独出现异常，都应先检查口径与数据质量，再判断机制本身。
一个算例：三组指标如何合起来看
以下为演示情景，数据为假设值，用于说明计算过程，不代表任何真实团队水平。假设某团队统计一个月内AI生成的需求说明与设计文档，应审文档120篇，实际完成人工审阅108篇，其中全文审阅72篇、抽检36篇；人工审阅共提出问题216条，其中阻断级12条、重要级48条、一般级120条、建议级36条；审阅工时合计162人时，返工工时54人时；抽样复核抽取20篇，复核发现原审阅未记录问题10条，原审阅在这20篇中记录问题40条。
| 指标 | 计算 | 结果 |
|---|---|---|
| 覆盖率 | 108÷120 | 90% |
| 全文审阅占比 | 72÷108 | 66.7% |
| 缺陷发现密度 | 216÷108 | 2.0条/篇 |
| 阻断级与重要级占比 | （12＋48）÷216 | 27.8% |
| 单位审阅成本 | （162＋54）÷108 | 2.0人时/篇 |
| 漏检率（样本估算） | 10÷（40＋10） | 20% |
组合解读时，先看覆盖再看发现，最后看成本。本例覆盖率90%，说明大部分应审文档进入了审阅，但仍有12篇未审，需查明是流程遗漏还是豁免规则未更新。缺陷发现密度2.0条/篇且阻断级与重要级占27.8%，说明人工审阅确实拦住了有分量的问题；但样本漏检率约20%，意味着仍有问题流出，审阅深度或审阅者经验可能需要调整。单位成本2.0人时/篇中返工工时占四分之一，需区分哪些返工源于AI生成质量、哪些源于审阅意见反复，前者指向生成环节改进，后者指向审阅流程改进。
如果出现高覆盖但低发现的情况，例如覆盖率接近100%而缺陷发现密度明显低于基线，可能的原因包括审阅流于形式、缺陷判定口径收紧、AI生成质量提升，需结合抽样复核和基线对照判断，不能直接认定审阅无效。本例的假设条件包括：文档类型仅两类、统计期一个月、工时记录完整、抽样为分层随机抽取。
解读与限制：指标不能替代因果判断
覆盖率反映流程执行情况，与文档质量没有必然因果关系。覆盖率高只说明审阅动作发生了，不能证明问题被有效识别；覆盖率低也不必然意味着风险高，若未审文档本身复杂度低，实际影响可能有限。解读时应把覆盖率与缺陷发现、漏检率放在一起看。
缺陷发现数受文档复杂度、文档长度、审阅者经验和判定口径共同影响。同一批文档换一批审阅人，问题数可能明显变化；判定口径放宽，问题数会下降而漏检率可能上升。因此缺陷发现能力宜用“问题数＋严重度分布＋漏检率”组合表达，并与基线期同口径比较，避免把问题总数当作审阅质量的唯一证据。
成本指标需区分必要投入与浪费。审阅工时是保障文档质量的必要投入，返工工时中有一部分是正常修正，另一部分源于生成质量不稳定或审阅意见反复，后者才是可压缩的浪费。报告成本时把两类工时分开列示，改进方向才清晰。
数据不可比时需明确处理方式：口径变更时新旧分段统计并注明变更点；样本过小时只报告区间或方向性判断，不给出精确比率；分母为零时不计比率并说明原因；文档类型构成变化较大时按类型分别比较，或做构成调整后再比较。指标组合使用的建议是：以覆盖率为流程底线，以缺陷发现密度和漏检率判断拦截效果，以单位成本判断投入合理性，三者同向变化时结论较可靠，出现背离时优先排查口径与数据质量，再讨论机制调整。
常见问题
应审文档的纳入与排除规则怎么定，才能让覆盖率跨期可比？
纳入规则按文档类型和用途确定，例如需求说明、设计文档、测试报告、对外报告分别列出必须人工审阅的范围；豁免项要写明理由，如纯格式调整、作废版本、重复修订。排除规则同样固定下来，评估期内不随意增删。
规则变更时，把变更前后的数据分段统计并在报告中注明变更点，避免把口径变化误读为覆盖率升降。基线期与评估期使用同一套规则，是跨期比较的前提。
抽样复核应该抽多少、由谁来复核，漏检率结果才可信？
按文档类型分层随机抽取，样本覆盖不同类型和审阅深度，避免只抽某一类文档。复核人选择未参与原审阅的人员，减少同一视角带来的盲区。样本量过小时只报告方向性判断或区间，不给出精确比率。
复核记录要与原审阅记录按文档标识关联，逐条比对后统计原审阅未发现的问题数，再代入漏检率公式。复核发现的问题也应按同一严重度口径分级，便于与缺陷发现数据合并解读。
审阅工时记录缺失较多时，成本结论还能用吗？
可以计算，但需要标注可靠性。优先使用审阅任务上的实际耗时；缺失时用同类型文档同期的中位工时估算，并逐条标记为估算值。估算占比超过一定比例（如两成）时，在报告中注明成本结论可靠性受限，结论以方向性判断为主。
同时把返工工时单列，区分正常修正与因生成质量不稳定、审阅意见反复产生的返工，后者才是可压缩的部分。
覆盖率很高但缺陷发现数明显偏低，说明审阅机制失效了吗？
不能直接下这个结论。可能的原因包括审阅流于形式、缺陷判定口径收紧、AI生成质量提升、文档复杂度下降。需要结合抽样复核估算的漏检率和基线期同口径数据判断：漏检率同时上升，才更可能指向审阅深度或审阅者经验问题；漏检率稳定而问题数下降，可能反映生成质量改善。
排查顺序建议先核对口径与数据质量，再讨论机制调整。
审阅记录、工时和缺陷数据分散在多个系统，取数时怎么减少手工拼接？
让审阅任务、问题记录和工时填报关联到同一个文档标识，形成可追溯的明细表，是减少手工拼接的关键。ONES 的 AI 能力基于权限体系执行知识问答和任务，输出过程可追踪、结果可审计；ONES Assistant 可将自然语言指令的结果保存为工作项、Wiki 页面等内容，审阅任务与问题记录可以在同一工作项体系中关联到具体文档。
是否具备审阅环节的专门统计报表，需在选型或配置时核验。
