抽样校验AI进度判断的失真程度，核心是把AI给出的项目状态、完成比例和风险信号与独立的人工基准逐条比对，用偏差率、方向性错误率和区间命中率量化差异，再按风险分层抽样、设定可接受范围并定期复算。本文给出指标公式、基准口径、抽样步骤和一个完整算例，结论只说明当前口径下AI判断与人工基准的一致性，不替代对真实交付结果的跟踪。
要点总览（TL;DR）
- 抽样校验的对象是AI对进度状态、完成比例和风险信号的判断，用偏差率、方向性错误率和区间命中率三类指标量化与人工基准的差异。
- 基准必须独立于AI输入，优先采用人工复核结论、里程碑交付证据和任务完成记录，避免用AI输出核对AI判断。
- 抽样按风险等级和项目状态分层，高风险层和已延期层优先覆盖；样本不足时只报告描述性结果并标注样本量。
- 可接受范围结合历史基线、业务容忍度和样本量设定，多指标联合判断，结论需注明口径、时间窗和复校周期。
校验要回答什么问题：失真程度的评估目标
抽样校验的评估对象是AI对单个项目或工作项给出的三类判断：进度状态（正常、预警、延期）、完成比例（百分比或阶段）、风险信号（是否存在资源、质量、依赖风险）。校验要回答三个问题：失真有多大、是否落在可接受范围内、偏差集中在哪些项目状态或风险等级上。
判断目标决定了指标选择。如果只关心“AI说的完成比例离实际多远”，用偏差率；如果关心“AI说正常但实际已延期”这类结论反转，用方向性错误率；如果AI输出的是区间或置信范围，用区间命中率检验区间是否可靠。三类指标回答不同问题，需要联合使用。
本文边界限定在判断一致性度量。AI辅助生成周报、汇报材料成稿，以及基于进度数据做团队效能诊断、资源合理性分析，属于相邻但不同的任务，不在本文展开。校验结论也不用于评价个人绩效。
偏差指标与统计范围怎么定
指标必须先固定公式、分母、单位和时间窗，否则不同批次的结果无法比较。下表给出三类指标的定义，其中“基准值”指人工核验后确认的实际值，“AI值”指AI在核验前给出的判断。
| 指标 | 公式 | 分母 | 单位 | 适用判断类型 |
|---|---|---|---|---|
| 偏差率 | |AI值 − 基准值| ÷ 基准值 | 基准值不为零的有效样本数 | 百分比（可附绝对值差） | 完成比例、剩余工时、进度百分比 |
| 方向性错误率 | 方向相反样本数 ÷ 有效样本数 | 完成核验的全部有效样本 | 百分比 | 进度状态、风险有无 |
| 区间命中率 | 基准值落入AI给出区间的样本数 ÷ 有效样本数 | AI输出区间的有效样本数 | 百分比 | 完成时间区间、完成比例区间 |
统计粒度建议以“项目×校验周期”为一行，时间窗与AI判断的生成周期对齐，例如按周生成判断就按周抽样、按周统计。跨周汇总时先算各周指标再取加权平均，权重用有效样本数，避免小样本周拉偏整体结果。
分母为零和样本不足要单独处理。基准完成比例为0（项目尚未启动）时偏差率无定义，该样本不计入偏差率分母，单独记录为“不可比样本”；某分层有效样本少于约定下限（例如少于10条）时，只报告样本数和描述性结果，不计算比率型指标，也不与其他层直接比较。
统计范围按三个维度分层：项目状态（正常推进、预警、已延期）、风险等级（高、中、低）、团队或项目类型。分层的目的不是追求每层都有结论，而是让偏差集中处可定位。若某层长期样本不足，可合并相邻层并在报告中注明合并口径。
基准从哪里来：人工核验与证据口径
基准必须独立于AI的输入和输出。用AI自己生成的进展分析去核对AI的判断，等于循环验证，得到的低偏差没有意义。可行的基准来源有三类：项目经理或技术负责人的人工复核结论、里程碑交付证据（代码合并记录、测试通过记录、验收单）、任务完成记录（工作项状态变更与关闭时间）。
独立性要求体现在两点：核验人在做判断时不参考AI给出的结论，只看原始记录和交付物；基准记录的时间戳早于或独立于AI判断的生成时间，避免事后被AI输出影响。
定性判断需要明确证据标准。例如判定“项目实际已延期”，通过条件是：计划里程碑日期已过，且对应交付物未完成或未通过验收，两者同时成立才算延期；仅有任务状态未更新不构成延期证据。判定“存在高风险”，通过条件是至少一条已发生的阻塞事实（关键依赖未交付、关键缺陷未关闭）可追溯到具体工作项。
基准记录建议保留以下字段，便于复算和追溯：项目与工作项标识、校验周期、AI原始判断（状态、比例、区间、风险等级）、基准判断及依据类型、证据链接或记录编号、核验人、核验时间、是否可比。缺少证据链接的定性判断应标记为“证据不足”，不计入方向性错误率的分母。
抽样校验怎么执行：分层抽样与复算步骤
抽样按风险等级和项目状态分层，优先保证高风险层和已延期层被覆盖，因为这两层的判断错误代价最高。做法是先列出当期全部项目，按“风险等级×状态”划格，每格内随机抽取，而不是整体随机抽，避免高风险项目因数量少被漏掉。
样本量的确定思路：先看层内判断的一致性，层内AI判断差异大就多抽，差异小可少抽；再结合可接受误差，若希望偏差率估计的误差控制在正负5个百分点左右，每层通常需要数十条有效样本，具体数量随层内变异程度调整。抽样频率与判断生成频率一致，按周生成就每周抽，按月生成就每月抽，并在季度做一次全量复算校验抽样本身的代表性。
复核方式按判断影响面选择：常规进度状态用单人复核，复核人独立于AI使用者和项目执行人；涉及高风险信号、跨项目资源冲突或结论反转的样本，采用双人复核，两人结论不一致时由第三人裁定并记录分歧点。双人复核的比例可作为质量指标单独跟踪。
执行步骤可固定为五步：
- 导出当期AI判断清单，保留原始输出和时间戳。
- 按分层规则划格并随机抽样，记录抽样种子或随机方法。
- 核验人依据证据口径独立给出基准判断，填写基准记录字段。
- 逐条比对，标记偏差方向、是否可比、证据是否充分。
- 按指标公式计算各层与整体结果，与上期结果并列，标注样本量和不可比样本数。
校验记录本身需要留痕。工作项状态、风险记录和复核结论如果分散在表格和聊天记录里，复算时很难还原口径。ONES 的工作项与项目数据可以作为AI判断的输入来源，ONES Assistant 能围绕项目进展、工时投入、缺陷分布生成进展分析和风险判断；校验环节则可以把复核结论、证据链接和偏差标记记录为工作项或 Wiki 页面，借助权限体系和可追踪的输出过程保留核验痕迹。抽样复核、偏差统计是否有专门功能，需在选型时向厂商确认。
一个算例：从样本到失真结论
以下为演示数据，用于说明计算过程，不代表任何真实项目或产品表现。某校验周期按分层抽样得到20条有效样本，其中完成比例类样本12条、进度状态类样本8条，另有2条因基准完成比例为0被标记为不可比。
| 样本编号 | AI完成比例 | 基准完成比例 | 绝对偏差 | 偏差率 |
|---|---|---|---|---|
| P01 | 60% | 50% | 10个百分点 | 20.0% |
| P02 | 80% | 80% | 0 | 0% |
| P03 | 45% | 60% | 15个百分点 | 25.0% |
| P04 | 30% | 25% | 5个百分点 | 20.0% |
| 其余8条 | — | — | 合计40个百分点 | 合计约66.7% |
12条可比样本的偏差率之和约为151.7%，平均偏差率为12.6%。若改用绝对偏差的中位数描述，可避免个别大偏差拉高均值，报告中建议同时给出均值和中位数。
进度状态类8条样本中，AI判为“正常”而基准为“延期”的有2条，AI判为“预警”而基准为“正常”的有1条，方向相反共3条，方向性错误率为3÷8＝37.5%。这组数据说明偏差率不高不代表结论可靠：完成比例平均只差12.6%，但状态判断有超过三分之一方向相反。
区间命中率方面，AI对6条样本给出了完成时间区间，其中4条基准完成日期落在区间内，命中率为4÷6≈66.7%；未命中的2条均为AI区间偏乐观，实际完成晚于区间上限。结合三项指标，该周期的失真结论可表述为：完成比例偏差处于中等水平且偏乐观方向集中，状态判断的方向性错误率偏高，时间区间覆盖不足，需优先复核“正常”状态样本和高风险层。
可接受范围怎么设与结果怎么解读
可接受范围没有通用达标线，应结合三项依据设定：历史基线（本单位过去若干周期的实际表现）、业务容忍度（判断错误对决策的实际影响）、样本量（样本少时区间宽，阈值应更保守）。设定方式可以是给每个指标定一个区间，例如偏差率均值不超过历史基线的1.2倍、方向性错误率不超过某一比例，具体数值由项目管理部门与业务方共同确认后写入校验方案，并随基线更新调整。
多指标需要联合判断。偏差率低而方向性错误率高，说明AI在数值上接近但在结论上不可靠；区间命中率高但区间过宽，说明区间缺乏区分度。任何单一指标都不构成对AI判断质量的完整结论，也不能把指标改善当作交付改善的因果证据。
解读时要说明三类限制：样本偏差，分层抽样若某层长期样本不足，该层结论只能作描述性参考；口径变化，指标公式、时间窗或基准证据标准调整后，新旧结果不可直接比较，需在报告中标注口径版本；不可比样本，分母为零或证据不足的样本单独列示，不并入比率计算。
结论的适用边界是当前口径、当前时间窗和当前项目范围下的一致性度量。复校周期建议与判断生成周期同步，至少每季度做一次口径复核，当项目类型、团队规模或AI输入数据来源发生明显变化时提前复校。若连续多个周期某类偏差稳定出现，应回到数据输入和判断规则层面排查，而不是仅调整阈值让结果“达标”。
常见问题
AI判断的完成比例和基准完全一致时，偏差率怎么处理？
偏差率为0，该样本正常计入分母。需要留意的是，偏差率为0的样本过多时，要检查基准是否被AI输出影响，或者核验人是否直接沿用了AI给出的数值。可以抽取部分零偏差样本做二次复核，确认基准判断确实来自独立证据。
分层抽样后某一层样本太少，还能得出该层的失真结论吗？
样本量低于约定下限时，只报告样本数和描述性结果，不计算比率型指标，也不与其他层直接比较。若该层长期样本不足，可以合并相邻层并在报告中注明合并口径。高风险层即使样本少，也建议保留单独列示，避免被合并后掩盖。
校验结论显示偏差在可接受范围内，是否说明AI进度判断可以直接用于决策？
可接受范围只说明当前口径下AI判断与人工基准的一致性达到约定水平，不构成对真实交付结果的保证。判断依据的数据是否完整、更新是否及时，仍会影响结论的适用范围。建议保留人工复核环节，并在项目类型、团队规模或数据来源变化时提前复校。
复核人做基准判断时可以参考AI给出的结论吗？
不建议参考。基准判断需要独立于AI输出，复核人只看原始记录和交付物，例如里程碑日期、验收记录、工作项状态变更。若复核人先看到AI结论，容易产生锚定效应，使偏差率被系统性低估，校验结果失去参考价值。
连续几个周期某类偏差反复出现，应该先调阈值还是查原因？
先回到数据输入和判断规则层面排查。偏差稳定出现通常意味着AI使用的数据源、更新频率或判断逻辑与实际情况存在系统性差距，调整阈值只会让结果看起来达标，问题仍然存在。排查后再决定是否修订校验方案中的可接受范围。
