衡量AI进度判断是否失真，需要把“不准”拆成可计算的部分：方向错、幅度错和风险漏报。本文给出一套可复算的方法，包括四类偏差指标的定义与公式、基准数据的来源与可信度分级、分层抽样校验流程，以及从历史分布确定可接受范围的做法，并说明结果解读时的边界。
要点总览（TL;DR）
- 把AI进度判断失真拆成方向错、幅度错和风险漏报三类，分别用带符号偏差、MAE与中位数、方向命中率、区间命中率、风险漏报率衡量，每条判断以任务或里程碑为单位配对计算。
- 基准取里程碑实际完成记录、工时/工作量台账和独立人工复核结论，按A/B/C分级使用，采集时点与AI判断时点对齐，无基准条目显式标注并剔除。
- 校验按项目、阶段、风险等级、任务规模分层抽样，每层每周期至少10条、高风险层不低于30%，复核人先独立判断再看AI结论。
- 阈值从自身2–4个迭代的偏差分布按分位数确定，并按风险等级差异化；模型、数据源或项目类型变化后重新校准，阈值只作预警线。
- 偏差小不等于判断可靠，需同时报告样本量、覆盖范围和基准可信度；样本过小、剔除比例过高或口径未对齐时不下结论。
评估目标：先定义“失真”指什么
“AI进度判断不准”是一句笼统的评价，落到度量上需要先回答两个问题：评估谁，评估什么。评估对象是AI输出的进度结论与风险判断，包括任务完成度、里程碑达成情况、风险是否被识别，团队实际交付绩效不在评估范围内。把两者混在一起，偏差指标就会变成对团队的评价，失去校准AI判断的作用。
失真可以拆成三类，分别对应不同的判断错误：
- 方向错：AI判断任务会按期完成，实际延期；或判断会延期，实际按期完成。方向错反映AI对进展趋势的基本判断是否可靠。
- 幅度错：方向判断正确，但完成度估计偏离实际，例如AI判断完成80%，实际完成60%。幅度错反映AI对剩余工作量的估计精度。
- 漏报风险：实际发生了延期、阻塞或质量事故，AI在事前判断中未将其标记为风险。漏报对管理决策影响最大，需要单独统计。
评估时点同样要固定。常见做法是每周取一次快照，记录AI对在途任务和里程碑的判断；迭代末或里程碑节点再做一次终局核对。快照时点与基准采集时点必须对齐，否则偏差里会混入时间差造成的误差。评估周期建议以迭代为单位，连续观察多个迭代后再下结论，单次快照的偏差不足以说明问题。
指标与范围：四类偏差指标及计算口径
四类指标覆盖方向、幅度和风险漏报，计算时统一以“条”为样本单位，一条指一个任务或一个里程碑在某个判定时点的AI判断与基准配对。完成度用百分点表示，取值0–100。
| 指标 | 公式 | 分子 | 分母 | 单位 | 时间窗 |
|---|---|---|---|---|---|
| 带符号偏差 | AI判断完成度 − 基准完成度 | — | — | 百分点 | 单条判断 |
| 平均绝对偏差（MAE） | Σ|带符号偏差| / 有效条数 | 各条绝对偏差之和 | 有效判断条数 | 百分点 | 一个迭代或一个统计周期 |
| 绝对偏差中位数 | 有效条绝对偏差的中位数 | — | — | 百分点 | 同上 |
| 方向命中率 | 方向判断正确条数 / 有效判断条数 | 方向正确条数 | 有效判断条数 | 百分比 | 同上 |
| 区间命中率 | 落入可接受区间的条数 / 有效判断条数 | 区间内条数 | 有效判断条数 | 百分比 | 同上 |
| 风险漏报率 | 未识别风险数 / 实际发生风险数 | AI未标记且实际发生的风险数 | 实际发生风险数 | 百分比 | 一个迭代或里程碑周期 |
带符号偏差保留正负号，正值表示AI偏乐观，负值表示偏悲观，用于观察系统性倾向。汇总时用MAE和中位数，避免正负偏差相互抵消。MAE对极端值敏感，中位数更稳健，两者一起报告能看出偏差分布是否被少数条目拉高。方向命中率只统计方向可判定的条目，例如AI判断“按期”而基准为“延期”记为方向错误；AI判断“无法确定”的条目单独计数，不进入分母。
区间命中率需要先定义可接受区间，例如完成度偏差在±10个百分点以内视为命中。区间宽度按任务类型和风险等级分别设定，具体阈值在S6中说明。风险漏报率的分母是实际发生的风险事件数，分子是其中AI在事前判断中未标记的数量；AI标记了但实际未发生的风险不计入漏报，可另设误报率观察。
分母为零和口径不可比的情况要单独处理：某个分层在统计周期内没有有效判断条目，该层比率记为“不适用”，不写0%；基准缺失或基准与AI判断口径不一致（例如AI按故事点估算、基准按工时记录）的条目，从比率计算中剔除，同时报告剔除数量。剔除数量本身是数据质量的信号，剔除比例过高说明基准采集或口径对齐需要先解决。
基准来源：用什么作为“真值”
偏差指标的质量取决于基准。基准不能来自AI输出本身，也不能只用团队负责人的口头判断。可用的基准来源有三类，可信度依次递减：
- 里程碑实际完成记录：系统或台账中记录的里程碑实际达成日期、交付物验收状态。这类记录有明确时点和凭证，可信度最高。
- 工时/工作量台账：任务实际投入工时、剩余工作量登记。适合评估完成度偏差，但依赖登记及时性和颗粒度。
- 人工复核结论：由未参与AI判断的复核人对任务状态做出独立判断。灵活但主观，需要统一复核标准。
基准采集时点要与AI判断时点对齐。例如AI在周五下午生成进度判断，基准就取同一时点的任务状态记录或复核结论，不能用下周一的实际结果倒推，否则偏差中混入了后续进展。对于完成度类判断，基准取“该时点实际完成的工作量占比”；对于风险类判断，基准取“该时点之后一个评估周期内是否实际发生风险事件”。
基准可信度分三级：A级为系统记录或验收凭证，B级为台账登记且经复核人确认，C级为单人复核判断。计算指标时按级别分别汇总，A级和B级结果作为主要结论，C级结果仅作参考。当AI判断与基准冲突且无法裁决时，由复核人依据预设规则处理，例如以交付物验收记录优先于工时登记，并将冲突条目和裁决理由记录在案，供后续校准参考。
基准缺失的条目要显式标注为“无基准”，不默认AI判断正确，也不默认错误。缺失比例按分层统计，超过一定比例的分层暂不输出比率结论。
抽样校验：分层抽样与校验流程
全量校验成本高，分层抽样能在可控工作量下保证代表性。分层维度建议四个：项目、阶段（需求、开发、测试、发布）、风险等级（高、中、低）、任务规模（按工时或故事点分档）。每层内随机抽取，层与层之间不合并计算，分别输出指标。
样本量没有统一标准，可按以下规则起步：每层每个统计周期至少抽取10条，层内条目少于10条时全量校验；高风险层和里程碑相关条目提高抽样比例，建议不低于30%；低风险、小规模任务层可降至10%–15%。首个评估周期建议提高比例，用于积累基线分布，后续周期再按稳定程度调整。
校验执行按四步走：
- 抽取：按分层规则从AI判断记录中随机抽取条目，生成校验清单，清单中只包含任务标识和判断时点，不展示AI结论。
- 独立复核：复核人依据交付物、台账和现场确认，独立填写该时点的实际完成度和风险状态。复核人先完成判断，再查看AI结论，避免被AI输出锚定。
- 记录：将复核结论、基准来源级别、冲突情况和裁决理由写入校验记录，与AI判断快照配对保存。
- 配对计算：按S2口径计算各层指标，剔除无基准和口径不可比条目，报告剔除数量。
校验流程需要承载判断快照和复核记录的地方。ONES Assistant 可基于项目、工作项、迭代和 Wiki 页面等上下文生成进展分析与风险识别结果，并将结果保存为工作项或 Wiki 页面；在 ONES 权限体系下，输出过程可追踪、结果可审计。这意味着可以把AI判断快照留存为独立记录，复核人另建校验工作项填写基准结论，两者配对后再计算偏差，避免用同一份记录既做判断又做基准。是否具备专门的偏差度量功能，需在实施时结合版本确认。
计算示例：一个迭代的偏差核算
以下数据为演示情景，用于说明计算过程，不代表任何真实项目结果。假设某迭代抽取6条任务，AI在迭代中点的判断与迭代末基准如下：
| 任务 | AI判断完成度 | 基准完成度 | 带符号偏差 | 绝对偏差 | 方向判断 | 实际发生风险 | AI是否标记 |
|---|---|---|---|---|---|---|---|
| T1 | 80 | 70 | +10 | 10 | 正确 | 否 | — |
| T2 | 60 | 60 | 0 | 0 | 正确 | 否 | — |
| T3 | 90 | 50 | +40 | 40 | 错误 | 是 | 否 |
| T4 | 40 | 55 | −15 | 15 | 错误 | 否 | — |
| T5 | 70 | 65 | +5 | 5 | 正确 | 是 | 是 |
| T6 | 无基准 | — | 剔除 | 剔除 | 剔除 | 否 | — |
有效判断条数为5条，T6因基准缺失剔除。计算过程：
- 带符号偏差合计：10 + 0 + 40 − 15 + 5 = 40，正值居多，说明该样本中AI整体偏乐观。
- MAE = (10 + 0 + 40 + 15 + 5) / 5 = 70 / 5 = 14个百分点。
- 绝对偏差排序为0、5、10、15、40，中位数为10个百分点。
- 方向命中率：方向正确3条（T1、T2、T5），有效5条，命中率60%。
- 区间命中率：设可接受区间为±10个百分点，落入区间的是T1、T2、T5共3条，命中率60%。
- 风险漏报率：实际发生风险2起（T3、T5），AI未标记1起（T3），漏报率50%。
结果按层汇总时，把上述条目归入对应项目和阶段，分别计算。例如T3属于开发阶段高风险任务，其40个百分点的偏差和漏报应单独呈现，不被整体均值稀释。剔除的T6要计入“无基准条目数”，并在报告中说明剔除原因。
可接受范围怎么定：从分布到阈值
偏差指标没有通用达标线，阈值应从自身历史分布中得出。做法是：先连续积累2–4个迭代的校验结果，按分层画出MAE、方向命中率、区间命中率和漏报率的分布，再按分位数设定阈值。例如以历史MAE的第75百分位作为预警线，超过即触发复核；方向命中率以第25百分位作为下限。分位数选择取决于团队对误判的容忍度，容忍度低就取更严格的分位。
阈值按风险等级差异化。高风险任务和里程碑相关条目对偏差更敏感，MAE预警线可设得更低，方向命中率下限设得更高；低风险、小规模任务可以放宽。同一套阈值不跨项目类型套用，需求稳定型和探索型项目的偏差分布差异明显，应分别校准。
模型版本、数据源或项目类型发生变化后，原有阈值需要重新校准。建议在变更后的第一个完整迭代重新采集分布，对比新旧阈值下的命中情况，再决定是否调整。阈值的作用是预警和触发复核，不能直接作为AI质量结论或团队绩效依据；单次越线先检查样本量和基准质量，再判断是否需要干预。
解读与限制：指标能说明什么、不能说明什么
偏差小不等于AI判断可靠。如果校验样本只覆盖低风险、小规模任务，或者基准本身来自粗略估计，低偏差可能只是口径一致的结果。解读时必须同时报告样本量、覆盖范围和基准可信度级别，样本过小或C级基准占比过高时，结论只能作为方向参考。
基准本身有误差。工时台账可能登记滞后，人工复核带有主观性，里程碑记录也可能因范围变更而调整。报告偏差指标时应一并说明基准的不确定性，例如A级基准占比、冲突裁决条数，避免把基准当作绝对真值。
单指标不能代表整体质量。MAE低但方向命中率低，说明幅度估计尚可、趋势判断不稳；方向命中率高但漏报率高，说明AI倾向于报喜不报忧。方向、幅度、漏报三类指标要组合看，并结合误报情况判断AI的风险标记是否过于保守或激进。
数据不可比和样本过小时不下结论。分层内有效条目不足、剔除比例过高、口径未对齐的情况下，比率数字容易失真，应标注“数据不足”并说明缺口，待补齐后再计算。偏差指标用于校准AI判断和触发复核，不能单独作为验收依据或绩效结论。
常见问题
首个评估周期没有历史分布，阈值该怎么临时设定？
首个周期可以先不设正式阈值，只做基线采集：按分层完整记录MAE、方向命中率、区间命中率和漏报率，同时把每条偏差超过±20个百分点的条目列为重点复核对象。这个临时线的作用是筛出明显异常，不对外作为达标结论。积累2–4个迭代后，再用实际分布的分位数替换临时线，并对比新旧线下的命中情况，确认阈值是否合理。
AI判断“无法确定”或“信息不足”时，算方向错误吗？
不算。方向命中率只统计方向可判定的条目，AI明确给出“按期/延期”或完成度数值的判断才进入分母；“无法确定”“信息不足”这类输出单独计数，作为覆盖率指标报告。覆盖率过低说明AI可用的上下文不足，应先解决数据接入和判断时点的问题，再评估方向准确度。把这类条目算成错误会低估AI表现，算成正确则会掩盖信息缺口。
基准和AI判断口径不一致，比如AI按故事点、台账按工时，怎么处理？
先把口径统一到同一维度再配对。常见做法是把两者都折算成“该时点已完成工作量占比”，折算规则在评估开始前固定并写入校验记录，中途不随意调整。无法折算的条目从比率计算中剔除，并单独统计剔除数量。如果某个分层剔除比例持续偏高，说明口径对齐本身是待解决的问题，此时该层的比率结论暂不输出。
校验工作量大，能否只复核AI判断偏差大的条目？
不建议只抽偏差大的条目，这样算出的MAE和命中率会系统性偏高，失去代表性。可行的折中是分层抽样时对高风险层和里程碑条目提高比例，低风险小规模任务降低比例，但每层仍保持随机抽取。复核记录和AI判断快照需要分开留存，ONES Assistant 可基于项目、工作项、迭代和 Wiki 页面等上下文生成进展分析与风险识别结果，并将结果保存为工作项或 Wiki 页面，便于把判断快照与复核结论配对；具体承载方式需结合版本确认。
偏差指标能否直接用于评价团队或作为AI验收依据？
不能直接这样用。指标衡量的是AI输出与基准之间的差距，基准本身有误差，样本覆盖也有限，单次结果不足以支撑验收或绩效结论。合理用途是校准AI判断、触发复核和观察趋势：连续多个周期同方向越线，再结合样本量和基准质量判断是否需要调整模型、数据源或提示方式。对外引用时应同时给出样本量、基准可信度级别和剔除条目数。
