AI辅助生成的文档要进入月度质量评估，先要有一套能对齐口径的判定方法：事实错误按对象分为实体、数值、引用、时间、关系五类，按影响后果分为三级；抽检统计固定分母、分子、时间窗与去重规则，才能算出可比的文档错误率、条均错误数和一级错误条数。本文给出分类表、分级标准、口径表和带数字的月度示例，适用于对AI辅助生成的文档与报告正文做事实核查，需求判断与项目风险判断不在讨论范围内。
要点总览（TL;DR）
- 事实错误按错误对象分为实体、数值、引用、时间、关系五类，同一处错误只归一类，跨类争议由复核人裁定并写入当月口径说明。
- 严重度按影响后果分三级：一级改变决策依据或对外发布造成实质影响，二级读者需自行纠正但结论不变，三级为不影响理解的表述瑕疵；同一文档多条二级错误集中在同一结论支撑材料上时合并升级为一级。
- 抽检统计固定抽样框、抽样方法、分母纳入排除规则、分子口径、时间窗归属、去重规则与缺失值处理；文档错误率=含事实错误文档数÷抽检文档数，条均错误数=错误总条数÷抽检文档数，一级错误占比=一级错误条数÷错误总条数。
- 时间窗按文档定稿日归属月份，连续月份保持一致；分母为零时报告“本期无样本”，不计0%。
- 跨月比较的前提是抽样方法、判定人、口径三项不变；错误率下降不等于生成质量提升，需结合样本量、抽样方法和判定一致率解读。
月度评估要回答什么：错误分类分级与抽检口径的目标
月度评估要回答三个问题：这个月AI辅助产出的文档里，事实错误主要出在哪类对象上；严重到影响决策或对外发布的有多少；与上月相比，错误的发生水平是升了还是降了。三个问题对应分类、分级、统计三件事，最终服务于改进优先级——把有限的复核精力投向高频、高严重度的错误类别。
评估对象限定为AI辅助生成的文档与报告正文，包括对外发布的材料、提交给管理层的报告、进入知识库的说明文档等。判定的是文档中与客观事实不符的陈述，例如名称写错、数字算错、引用来源不存在、日期过期、因果关系倒置。
需要划清的边界有两处。一是需求判断：AI整理需求时对需求优先级、合理性的判断偏差，属于需求管理质量问题，不纳入本文的事实错误统计。二是项目风险判断：AI在跟踪材料中对风险等级、风险概率的判断，属于风险管理范畴，同样不按事实错误计。这两类判断没有唯一客观答案，混入事实错误统计会让口径失去可复核性。评估结果用于月度质量回顾和改进排期，不直接作为个人绩效依据。
事实错误怎么分类：五类错误对象与判定要点
分类按“错误落在什么对象上”划分，同一处错误只归一类，取最直接的对象。五类覆盖了文档事实陈述的主要构成，抽检时逐条对照下表归类。
| 类别 | 判定要点 | 示例 |
|---|---|---|
| 实体类 | 名称、主体、归属与客观记录不一致；判定时核对权威名录或系统主数据 | 把合作方A公司写成B公司；把某功能归属到错误的产品模块 |
| 数值类 | 数字、单位、比例、金额与源数据不符，或换算、加总出错；判定时复算一遍 | 把“12.5%”写成“125%”；金额单位由万元误写为元 |
| 引用类 | 来源不存在、出处错配、链接失效或转述改变原意；判定时回查原文 | 引用的标准编号不存在；转述访谈结论时把“可能”写成“确定” |
| 时间类 | 日期、版本号、时效状态错误；判定时对照发布记录与版本台账 | 把已废止的规范当作现行有效；版本号写成上一版 |
| 关系类 | 因果、条件、从属关系表述与事实相反或缺失前提；判定时检查逻辑连接词与条件句 | 把“在满足X条件下适用”写成“普遍适用”；把相关关系写成因果关系 |
几处容易混淆的边界需要提前约定。一处错误同时涉及对象和数值时，例如把A产品的营收写成B产品的数字，按“错误的核心对象”归类，此处归实体类，数值差异在判定记录中备注。转述失真归引用类，即使失真后产生了数值变化，也以“来源转述”为主归类。表述不完整但未构成错误陈述的，不计入事实错误，可在备注中记录为待完善项。分类由判定人给出，遇到跨类争议时提交复核人裁定，裁定结果写入当月口径说明，供后续月份沿用。
严重度怎么分级：三级标准与升级规则
分级依据是错误造成的后果，不按错误字数、出现位置或判定人的主观不适感定级。三级标准如下。
| 级别 | 判定标准 | 典型情形 |
|---|---|---|
| 一级 | 改变决策依据，或对外发布后造成实质影响 | 报告中关键指标错误导致资源投入方向被误判；对外材料中的资质、数据错误已发出 |
| 二级 | 读者需自行纠正，但结论不变 | 正文引用的日期写错，读者据上下文可判断正确时间；金额单位写错但数量级可辨 |
| 三级 | 表述瑕疵，不影响理解与结论 | 名称的全称与简称混用但不产生歧义；版本号格式不规范 |
升级规则处理同一文档内多条错误的情形。同一文档出现两条及以上二级错误，且集中在同一结论的支撑材料上，合并升级为一级，因为多条偏差叠加后读者难以自行纠正。同一处错误在文档内重复出现，按一条计，级别取最高。一级错误不因文档未实际对外发布而降级，未发布只影响后续处置动作，不影响定级。
定级由判定人初判、复核人确认，两级人员分离。复核人每月抽查一定比例的判定记录，重点复核一级判定和跨类争议。定级人与复核人的名单在月度开始时固定，中途更换需在口径说明中记录，否则该月数据不与前后月份直接比较。
抽检统计口径：分母、分子、时间窗与去重
口径的作用是让不同月份、不同判定人算出的数字可以放在一起看。下表给出完整口径，每月评估前确认一次，未变更则沿用。
| 要素 | 口径定义 |
|---|---|
| 抽样框 | 当月定稿的AI辅助生成文档全集，含对外发布、内部报告、知识库文档；草稿与废弃稿不纳入 |
| 抽样方法 | 文档量较少时全量核查；量较大时按类别分层随机抽样，各层抽样比例在月度开始时确定并记录 |
| 分母 | 纳入抽检并完成判定的文档数；抽中但因客观原因无法判定的文档移出分母并单独记录 |
| 分子 | 含至少一条事实错误的文档数；错误条数按去重后的条数计；一级错误条数单列 |
| 时间窗 | 按文档定稿日归属月份，不按发布日；跨月修订的文档归入首次定稿月，修订产生的错误计入修订月并备注 |
| 去重 | 同一文档内同一处错误只计一条；同一错误在多份文档重复出现，文档错误率按文档分别计入分子，条均错误数按文档内条数计，另设“重复错误”备注供改进分析 |
| 缺失值 | 未抽检文档不计入分母；抽中但无法判定的文档移出分母并记录原因；分母为零时报告“本期无样本”，不计0% |
时间窗的选择影响可比性。按定稿日归属，能让错误在产生当月被发现和统计，与改进动作的时滞更短；按发布日归属则更贴近对外影响。两种口径都可以用，关键是连续月份保持一致，变更时在报告中注明并给出过渡说明。去重规则中“同一错误在多文档重复出现”的处理需要单独说明：这类错误往往指向生成环节的系统性问题，例如某个模板字段长期取错数据源，除按文档计入统计外，应在月度分析中单列，作为优先治理对象。
计算步骤与月度示例：从抽样到出数
计算按五步走：确定抽样框并导出当月定稿文档清单；按既定方法抽样；逐条判定分类与分级并记录；汇总分子分母；套公式出数并核对。判定记录至少包含文档标识、错误位置、错误原文、正确事实、类别、级别、判定人、复核人。
三个核心指标的公式：
- 文档错误率 = 含事实错误文档数 ÷ 抽检文档数 × 100%
- 条均错误数 = 错误总条数 ÷ 抽检文档数（单位：条/份）
- 一级错误占比 = 一级错误条数 ÷ 错误总条数 × 100%
以下为一组演示数据，仅用于说明计算过程。某月抽检文档40份，其中12份含至少一条事实错误；去重后错误共18条，其中一级错误3条、二级错误9条、三级错误6条。计算如下：文档错误率 = 12 ÷ 40 = 30%；条均错误数 = 18 ÷ 40 = 0.45条/份；一级错误占比 = 3 ÷ 18 ≈ 16.7%。若需按类别看分布，可再算各类别条数占错误总条数的比例，例如实体类6条即占33.3%，用于确定下月治理重点。
分母为零的处理要写进口径：某月没有完成判定的文档，报告写“本期无样本”，不写0%。0%会被读成“没有错误”，与“没有检查”是两回事，混用会让趋势线失真。抽中但无法判定的文档，例如原始数据源已不可查，移出分母并在备注中记录数量，若移出比例较高，应在解读时提示当月数据的代表性受限。
判定记录和汇总结果需要留痕，便于复核和跨月追溯。在ONES中，抽样清单可以作为工作项管理，判定记录与月度汇总可保存为Wiki页面，ONES Assistant能基于项目与Wiki上下文回答问题并将结果保存为工作项或Wiki页面，输出过程可追踪、结果可审计，适合承载这类需要复核链路的评估记录。
结果怎么读：可比性、局限与改进联动
跨月比较的前提是抽样方法、判定人、口径三项不变。任一项变更，当月数据与上月不直接比较，应在新口径下重新建立基线。判定人更换时，即使口径文字未变，判定尺度也可能漂移，可通过让新旧判定人同时判定同一批样本、比较一致率来校准。
单指标不能代表整体文档质量。文档错误率反映的是“有多少文档至少错一处”，条均错误数反映错误的密集程度，一级错误占比反映严重程度结构，三者要一起看。错误率下降可能来自样本量缩小、抽样偏向简单文档，也可能来自判定尺度放松，解读时应同时给出样本量、抽样方法和判定一致率。
错误率下降不等于生成质量提升。指标衡量的是抽检时点的事实符合程度，受抽样、判定、文档类型构成多重影响，不能作为因果结论使用。要判断改进是否有效，需结合高频类别的变化：如果上月治理的是数值类错误，本月应看数值类条数及其占比是否下降，同时确认其他类别没有因治理动作被挤压而上升。
改进联动按“高频类别优先、一级错误必查”排序。每月从错误条数最多的类别中选一到两个，回溯到生成环节的具体原因，例如模板字段取数错误、引用来源未校验、时效信息未更新，形成下月的核查重点。一级错误无论数量多少都逐条复盘，确认是否已对外产生影响并安排更正。连续两个月同一类别居首时，应升级为流程或工具层面的整改，而不只是加强人工复核。
常见问题
同一处错误同时涉及对象和数值，或者转述失真后产生了数值变化，应该归哪一类？
按“错误的核心对象”归类。例如把A产品的营收写成B产品的数字，核心错误是主体归属错了，归实体类，数值差异在判定记录中备注。转述失真归引用类，即使失真后产生了数值变化，也以“来源转述”为主归类。遇到跨类争议时提交复核人裁定，裁定结果写入当月口径说明，供后续月份沿用。
一级错误在文档未实际对外发布的情况下，是否应该降级？
不降级。一级的判定标准是“改变决策依据，或对外发布后造成实质影响”，未发布只影响后续处置动作，不影响定级。定级由判定人初判、复核人确认，两级人员分离，复核人每月重点复核一级判定和跨类争议。
同一错误在多份文档中重复出现，文档错误率和条均错误数分别怎么计？
文档错误率按文档分别计入分子，即每份含该错误的文档都算一份含错误文档；条均错误数按文档内条数计，每份文档各计一条。这类重复错误往往指向生成环节的系统性问题，例如某个模板字段长期取错数据源，除按文档计入统计外，应在月度分析中单列，作为优先治理对象。
抽中但无法判定的文档怎么处理？移出分母后数据还能和上月比吗？
抽中但因客观原因无法判定的文档移出分母并单独记录原因。如果移出比例较高，应在解读时提示当月数据的代表性受限。跨月比较的前提是抽样方法、判定人和口径三项不变；移出规则本身属于口径的一部分，只要连续月份保持一致，数据仍可比较，但需在报告中说明移出数量。
判定人中途更换，当月数据还能和上月直接比较吗？
不能直接比较。判定人更换时，即使口径文字未变，判定尺度也可能漂移。可通过让新旧判定人同时判定同一批样本、比较一致率来校准；更换需在口径说明中记录，否则该月数据不与前后月份直接比较，应在新判定人下重新建立基线。
