AI文档发布检查要解决的是一个判定问题:这份由AI参与生成的文档,现在能不能发。可执行的做法是把“能不能发”拆成准确性、完整性、合规性、可读性、可追溯性等检查目标,为每类目标定义指标、分子分母、时间窗和单位,用抽样加全量规则校验取证,再按通过标准决定放行或退回。本文给出一套可复算的检查方法,包括指标口径、证据要求、计算步骤和一个带数字的算例,并说明结果解读时的可比性边界。
要点总览(TL;DR)
- 发布检查先定判定目标:内容准确、要素完整、合规与敏感信息、可读与格式、可追溯与责任,每类目标对应放行或退回的明确用途。
- 指标要写清公式、分子、分母、单位与时间窗;主指标以送检文档数为分母,检查项维度数据用于下钻,两类口径不混用。
- 取证靠检查记录、规则命中日志、人工复核结论和修改前后版本;无法判定的检查项记为待定,不计入分子分母并单列数量。
- 比率类指标分母为零时记为不适用;严重缺陷一票否决,单独统计占比,不用数量稀释严重问题。
- 指标只反映检查结果,样本量小、文档类型变化、检查项调整都会导致不可比,达标线应基于团队历史基线设定。
发布检查要回答哪几个判断
发布检查的第一步是把模糊的“质量还行”转成可以判定的问题。每个检查目标都要对应一个明确的判定用途:满足什么条件放行,出现什么情况退回。判定用途决定了后续指标怎么设、证据怎么留。
| 检查目标 | 要判什么 | 判定用途 |
|---|---|---|
| 内容准确 | 文档中的事实、数据、结论与来源材料是否一致,有无AI编造或错引 | 出现事实性错误即退回;轻微表述偏差可放行并记录 |
| 要素完整 | 必填章节、背景、范围、结论、责任人等要素是否齐全 | 缺关键要素退回;缺非关键要素可放行并限期补齐 |
| 合规与敏感信息 | 是否含客户隐私、内部密级信息、未授权引用内容 | 命中敏感信息规则即退回,属一票否决项 |
| 可读与格式 | 结构是否清晰、术语是否统一、格式是否符合模板 | 影响理解的结构问题退回;格式瑕疵可放行并记录 |
| 可追溯与责任 | AI参与环节、修改记录、复核人是否可查 | 无法追溯来源或缺少复核人即退回 |
需要区分的是检查边界。发布检查判断的是“这份文档本身能不能发”,它不判断需求是否值得做,也不判断项目风险高低。需求判断和风险判断属于上游决策,发布检查只对文档产出负责。把这两类判断混在一起,会导致检查项无限扩张,指标也无法稳定计算。
每类目标还应写明判给谁用:准确性、完整性、合规性通常由文档责任人和质量角色共同判定;可读与格式可由模板规则自动校验;可追溯性由流程记录直接核验。明确使用人,后续复核一致率才有比较基础。
指标与检查范围怎么划
指标要能复算,关键是公式、分子、分母、单位和时间窗五件事写清楚。建议采用以下指标集合,覆盖通过效率、缺陷分布和复核质量三个角度。
| 指标名 | 公式 | 分子 | 分母 | 单位 | 时间窗 |
|---|---|---|---|---|---|
| 一次通过率 | 一次通过文档数 ÷ 送检文档数 | 首次检查即判定放行的文档数 | 当期送检文档总数 | 百分比 | 按周或按月 |
| 缺陷密度 | 命中缺陷数 ÷ 送检文档数 | 检查中确认的缺陷条数 | 当期送检文档总数 | 条/篇 | 按周或按月 |
| 严重缺陷占比 | 严重缺陷数 ÷ 缺陷总数 | 判定为严重级别的缺陷数 | 当期确认缺陷总数 | 百分比 | 按周或按月 |
| 平均返工轮次 | 返工总轮次 ÷ 发生返工的文档数 | 退回后修改并再次送检的累计轮次 | 当期至少退回一次的文档数 | 轮/篇 | 按周或按月 |
| 人工复核一致率 | 复核结论一致项数 ÷ 复核抽查项数 | 复核人与初检结论相同的检查项数 | 当期被抽查复核的检查项数 | 百分比 | 按周或按月 |
分母的选择直接决定指标含义。一次通过率、缺陷密度以送检文档数为分母,回答的是“每篇文档平均表现如何”;如果关心“每个检查点的问题密度”,可以另设以检查项数为分母的缺陷率,但两类指标不能混用同一张趋势图。建议主指标统一以送检文档数为分母,检查项维度的数据作为下钻分析使用。
检查范围要固定三件事:文档类型(如技术方案、测试报告、上线说明)、AI参与环节(AI起草、AI改写、AI摘要等)、统计时间窗。范围一旦变化,历史数据就不可直接比较。抽样与全量规则校验的分工建议是:敏感信息、必填要素、格式模板这类可规则化的检查项做全量校验;准确性、可读性这类需要判断的检查项按比例抽样人工复核,抽样比例在检查规范中固定,不随批次临时调整。
数据口径与证据怎么留
检查结论要能被第三方复核,靠的是证据而不是印象。每类检查项都应规定证据类型和通过标准。
- 检查记录:逐项记录检查项、判定结果、判定人、判定时间,作为计算通过率的原始数据。
- 规则命中日志:敏感信息、必填要素等自动校验的命中明细,保留命中位置和规则版本,规则调整后旧日志仍可解释。
- 人工复核结论:复核人、复核项、与初检是否一致,用于计算复核一致率。
- 修改前后版本:退回文档的修改对照,证明缺陷已修复,也用于统计返工轮次。
定性检查项要给出可操作的通过标准。例如“内容准确”可定义为:文档中引用的数据均能在来源材料中找到对应出处,且数值一致;无法找到出处的关键结论计为缺陷。“可读与格式”可定义为:章节结构与模板一致、术语表内术语用法统一、无影响理解的残缺段落。标准写成可对照的条目,复核人才可能得出一致结论。
缺失值和无法判定项要单独处理,不能默认计入通过。建议规则是:检查项因材料缺失无法判定的,记为“待定”,不计入分子也不计入分母,并在报告中单列待定数量;同一文档重复送检的,以最后一次有效送检计入当期统计,前次结果仅用于返工轮次计算。待定项占比过高时,应先补齐材料再计算通过率,否则指标会失真。
检查与计算步骤
一次完整的发布检查按以下顺序执行,每一步都有明确产物。
- 定范围:确认本期送检文档清单、文档类型、AI参与环节和时间窗,形成送检台账。
- 跑规则与抽样:对可规则化检查项执行全量校验,输出命中日志;对需判断的检查项按固定比例抽取样本。
- 逐项判定:检查人按检查项标准给出通过、缺陷或待定结论,严重缺陷单独标记。
- 汇总计算:按指标公式汇总,先算文档级结果,再算比率类指标。
- 复核:复核人抽查一定比例检查项,比对结论,计算一致率;不一致项回溯判定依据。
计算时注意两个细节。其一,比率类指标的分母为零时(例如当期没有文档被退回,平均返工轮次的分母为零),该指标记为“不适用”,不写0,也不并入其他指标平均,报告中注明原因。其二,严重缺陷采用一票否决:只要一篇文档命中严重缺陷,该文档即判定退回,且不计入一次通过;严重缺陷占比单独统计,不与普通缺陷合并加权,避免用数量稀释严重问题。若组织需要综合评分,可对严重缺陷设固定扣分上限,但综合分只作参考,放行判定仍以否决规则为准。
检查记录、复核结论和文档版本需要在一个可追溯的载体上流转。ONES Assistant 智能助手可连接 ONES Project、ONES Wiki 与 ONES TestCase,理解项目、工作项和 Wiki 页面等上下文,并将结果保存为工作项或 Wiki 页面;其输出过程可追踪、结果可审计。团队可以把送检台账、检查记录和复核结论放在同一套工作项与文档体系中,让每次放行或退回都有对应记录可查。是否具备发布检查专用的规则校验或质量门禁能力,需在选型时单独核验。
一个可复算的例子
假设某团队一个月内送检AI参与生成的文档40篇,每篇按10个检查项检查,共400个检查项。检查结果:首次检查即放行24篇;确认缺陷合计60条,其中严重缺陷6条,分布在5篇文档中;发生退回的文档共16篇,退回后累计返工22轮;复核人抽查了80个检查项,与初检结论一致72项;另有8个检查项因材料缺失记为待定。
| 指标 | 计算过程 | 结果 |
|---|---|---|
| 一次通过率 | 24 ÷ 40 | 60% |
| 缺陷密度 | 60 ÷ 40 | 1.5条/篇 |
| 严重缺陷占比 | 6 ÷ 60 | 10% |
| 平均返工轮次 | 22 ÷ 16 | 1.375轮/篇 |
| 人工复核一致率 | 72 ÷ 80 | 90% |
待定项的处理:8个待定检查项不计入通过率分子分母,报告中单列“待定8项,占比2%”。若待定比例继续上升,应先补齐材料再评估。
结果对应放行判定:24篇一次通过文档放行;16篇退回文档中,命中严重缺陷的5篇必须完成修复并重新送检,其余11篇按缺陷级别修复后再次检查。若团队设定的当期放行条件是“严重缺陷为零且一次通过率不低于60%”,本期严重缺陷6条未清零,整体判定为“有条件放行”:已修复严重缺陷的文档可放行,未修复的继续挂起。这里的60%是示例阈值,实际应结合团队历史基线设定。
结果怎么解读,哪些限制要说明
指标反映的是检查结果,不能直接证明文档质量提升。一次通过率上升,可能来自文档质量改善,也可能来自检查标准放宽、文档类型变简单或抽样比例调整。解读时应同时看缺陷密度和严重缺陷占比:通过率上升而缺陷密度不降,更可能是判定口径变化而非质量变化。
以下情形会导致结果不可比,报告中应主动说明:
- 样本量小:单月送检不足二三十篇时,比率波动大,一两个严重缺陷就能显著改变占比,不宜据此下结论。
- 文档类型变化:技术方案与上线说明的检查难度不同,类型结构变化会带动整体指标漂移,应按类型分层看。
- 检查项调整:新增或删除检查项后,缺陷密度和通过率的历史序列出现断点,需标注规则版本。
- 复核一致率偏低:一致率低于团队约定水平时,先校准判定标准,再使用通过率数据。
达标线要结合组织实际设定。不同团队的历史基线、文档重要程度和发布节奏差异很大,套用外部通用阈值容易产生误导。可行的做法是先用两三个月的检查数据建立基线,再设定略高于基线的目标,并在检查项或范围变化时重新校准。指标用于发现问题和推动修复,单看一个指标不足以判断文档质量,也不应直接与个人绩效挂钩。
常见问题
检查项因材料缺失无法判定时,应该算通过还是算缺陷?
两者都不算。建议单独记为“待定”,不计入通过率的分子,也不计入分母,并在报告中单列待定项数量与占比。待定项占比过高时,先补齐材料再计算通过率,否则指标会失真。待定与缺陷的区别在于:缺陷是已确认的问题,待定是证据不足、无法下结论,两者混在一起会让缺陷密度虚高或通过率虚低。
同一篇文档退回后修改再送检,统计时算一篇还是两篇?
以最后一次有效送检计入当期统计,前次结果只用于计算返工轮次。这样一次通过率、缺陷密度都以文档为口径,不会因为反复送检把分母放大。如果团队关心的是“每次送检的问题密度”,可以另设以送检次数为分母的指标,但要与文档级指标分开呈现,不能画在同一张趋势图上。
严重缺陷占比不高,是否就可以放行?
不能只看占比。严重缺陷采用一票否决:只要一篇文档命中严重缺陷,该文档即判定退回,且不计入一次通过。严重缺陷占比低可能只是因为缺陷总数大,被普通缺陷稀释了。放行判定应以否决规则为准,占比数据用于观察严重问题的分布和趋势。
检查记录和复核结论放在哪里,才能保证后续可查?
关键是让送检台账、检查记录、复核结论和文档版本在同一套体系里流转,每次放行或退回都能对应到具体记录。ONES Assistant 智能助手可连接 ONES Project、ONES Wiki 与 ONES TestCase,理解项目、工作项和 Wiki 页面等上下文,并将结果保存为工作项或 Wiki 页面,输出过程可追踪、结果可审计。团队可以把检查记录与复核结论放在同一套工作项和文档体系中管理。是否具备发布检查专用的规则校验或质量门禁能力,需在选型时单独核验。
团队刚开始做发布检查,达标线怎么定?
先用两三个月的检查数据建立基线,再设定略高于基线的目标,并在检查项或文档范围变化时重新校准。不同团队的历史基线、文档重要程度和发布节奏差异很大,直接套用外部通用阈值容易产生误导。初期样本量小时,比率波动大,建议同时看缺陷密度和严重缺陷占比,避免只盯一次通过率。
