评估AI延期预警的业务处置效果，需要把“预警准不准”和“预警之后项目有没有变好”分开统计：前者看提前量、准确率、误报与漏报，后者看响应时效、处置闭环率和延期收敛。所有指标都要固定时间窗、分母和判定规则，并与未启用预警的基线期或对照组比较，避免把项目自然波动算成预警收益。
要点总览（TL;DR）
- 评估分两层：预警质量层看提前量、准确率、误报与漏报，处置效果层看响应时效、处置闭环率和延期收敛，两层分别统计、分别解读。
- 提前量按预警触发时间到预测延期日期（或实际延期发生日）的时间差计算，需固定时间窗、统计对象层级和日期基准。
- 准确率、误报率、漏报率要先定判定规则和分子分母，观察期结束时仍未到期的预警单列为待判定，不并入任何一方。
- 所有指标与未启用预警的基线期或对照组按同口径比较，样本不足时标注暂不下结论，不输出比率。
- 单指标不能代表整体效果，相关不等于因果，指标不宜直接用作个人绩效工具，评估应面向流程和机制改进。
评估目标：预警质量与处置效果分开衡量
AI延期预警的价值链条有两段：模型先发出信号，团队再据此采取行动。评估要分别回答两个问题——预警是否及时、可信；处置是否改变了项目结果。把模型准确率直接当成业务收益，会掩盖“预警很准但没人处理”或“处置很勤但预警本身滞后”这两类问题。
预警质量层关注四件事：提前量，即预警比延期实际发生早多久；准确率，即发出的预警中有多少最终确实延期；误报，即预警了但最终按期完成；漏报，即实际延期却没有被预警覆盖。这一层衡量的是信号本身的可信度和可用性，是后续处置能够产生效果的前提。
处置效果层关注三件事：响应时效，即预警触发到有人接手处理的间隔；闭环率，即预警是否被处置动作关闭并留下结论；延期收敛，即预警介入后延期天数是否缩短、是否按期完成或缩小了偏差。这一层衡量的是组织行为对项目结果的改变。
两层之间是前提与结果的关系，不能互相替代。预警质量差，处置效果即使好看也难以归因；预警质量好但处置无响应，业务收益同样为零。评估报告应同时呈现两层结果，并说明样本量和观察期，再讨论两者之间的关联。
指标与范围：需要统计哪些量
指标清单要先定义清楚统计对象和统计口径，否则同一名称在不同团队会算出不同结果。建议以“一条预警记录”为基本统计单元，同时明确它挂在项目、迭代还是任务层级；跨层级汇总时，先按最细层级计算再向上聚合，避免重复计数。
| 指标 | 定义 | 单位 | 分母 | 统计范围 |
|---|---|---|---|---|
| 平均提前量 | 预警触发时间到预测延期日期（或实际延期发生日）的时间差 | 天 | 有效预警条数 | 观察期内全部有效预警 |
| 预警准确率 | 预警后实际发生延期的预警数占全部预警数的比例 | 百分比 | 全部预警数 | 观察期内已到期可判定的预警 |
| 误报率 | 预警后实际按期完成的预警数占全部预警数的比例 | 百分比 | 全部预警数 | 同上 |
| 漏报率 | 实际延期但未被任何预警覆盖的对象数占全部实际延期对象数的比例 | 百分比 | 全部实际延期对象数 | 观察期内全部实际延期对象 |
| 响应时效 | 预警触发到首次处置动作的时间差 | 小时或天 | 有处置记录的预警数 | 观察期内全部预警 |
| 处置闭环率 | 已关闭并留下处置结论的预警数占全部预警数的比例 | 百分比 | 全部预警数 | 观察期内全部预警 |
| 延期收敛率 | 预警介入后延期天数缩短或按期完成的对象数占被预警且实际延期对象数的比例 | 百分比 | 被预警且实际延期的对象数 | 观察期内可比较的对象 |
时间窗要写进口径：观察期建议覆盖至少一个完整的迭代周期或项目里程碑周期，并与基线期长度一致。提前量以“天”为单位时，需说明按自然日还是工作日计算；响应时效按小时计算时，需说明是否扣除非工作时间。单位不统一会让平均值失去可比性。
统计范围还要说明纳入与排除规则，例如已取消的项目、预警后需求被整体砍掉的对象是否计入。排除规则一旦确定，基线期和评估期应保持一致，否则两期数据不可比。
数据口径与证据：预警、处置、结果三类数据怎么取
可复算的评估依赖三类记录能够按同一对象关联起来：预警记录、处置记录和结果记录。取数前先确认每条记录都有稳定的对象标识（项目编号、迭代编号或任务编号）和时间戳，否则无法计算提前量和响应时效。
预警记录至少包含：触发时间、预警对象、预测延期日期、预警级别或类型、模型版本或规则版本。预测延期日期是计算提前量的关键字段，若系统只给出“有风险”而不给预测日期，提前量需改用“预警触发日到实际延期发生日”的口径，并在报告中注明。
处置记录至少包含：首次响应时间、处置动作类型（调整排期、补充资源、缩小范围、关闭预警等）、处置人、关闭时间、处置结论。处置动作类型用于区分“实质处置”和“仅确认收到”，闭环率统计时应明确哪类动作算闭环。
结果记录至少包含：实际完成日期、是否延期、延期天数。是否延期的判定以计划完成日期为基准，计划日期在观察期内发生变更的，需记录变更时间和变更后基准，避免用变更后的日期反推“未延期”。
误报与漏报的判定依据要单独写明：误报以“预警后对象在计划日期前完成”为判定；漏报以“实际延期对象在延期发生前没有任何预警记录”为判定。判定时点统一放在观察期结束后，避免预警发出后计划被临时调整造成口径漂移。
缺失值和不可比数据的处理规则应提前约定：预警记录缺少预测日期的，不计入提前量但计入准确率分母；处置记录缺失的，按“未响应”处理并单独标注；基线期与评估期的项目类型、规模差异过大时，应分层比较或说明不可比原因，不用整体平均值强行对比。
计算步骤：提前量、准确率、误报漏报与处置效果
计算顺序建议先算预警质量，再算处置效果，最后做基线比较。每一步都先确定分子分母，再代入数据，保证他人可以按同样口径复算。
提前量：对每条有效预警，提前量 = 预测延期日期 − 预警触发日期（按天，取自然日或工作日并统一）。平均提前量 = 全部有效预警提前量之和 ÷ 有效预警条数。若预测日期缺失，改用实际延期发生日计算，并在口径中注明替换规则。
准确率 = 预警后实际延期的预警数 ÷ 全部预警数 × 100%。误报率 = 预警后按期完成的预警数 ÷ 全部预警数 × 100%。两者分母相同，相加接近100%，剩余部分为观察期结束时仍未到期、无法判定的预警，应单独列为“待判定”，不并入任何一方。
漏报率 = 实际延期但未被预警覆盖的对象数 ÷ 全部实际延期对象数 × 100%。该指标的分母来自结果记录，分子需要把实际延期对象与预警记录做匹配，匹配不上的即计为漏报。
响应时效：对每条有处置记录的预警，响应时长 = 首次处置时间 − 预警触发时间；报告中位数和平均值，中位数更能反映典型响应水平。处置闭环率 = 已关闭且有处置结论的预警数 ÷ 全部预警数 × 100%。延期收敛率 = 预警介入后延期天数缩短或按期完成的对象数 ÷ 被预警且实际延期的对象数 × 100%。
分母为零或样本过少时，不输出比率，改为标注“样本不足，暂不下结论”，并给出实际样本数。经验上，单指标样本少于30条时，比率波动较大，应结合观察期长度和对象分布谨慎解读；这一数量仅作为提示，不作为达标线。
基线比较采用同口径对照：选取未启用预警的历史同期作为基线期，或选取未接入预警的相似项目作为对照组，按相同公式计算各指标，再比较差值。比较时同时报告样本量和观察期，差值方向一致且样本充足时，结论才相对稳定。
一个算例：从预警到处置的完整计算
以下为演示情景，数据为假设值，用于说明计算过程，不代表任何真实项目结果。某团队在一个迭代周期内共产生40条延期预警，同期实际发生延期的对象为25个，其中20个被预警覆盖。
| 项目 | 数值 | 计算 |
|---|---|---|
| 全部预警数 | 40条 | — |
| 预警后实际延期 | 28条 | — |
| 预警后按期完成 | 8条 | — |
| 观察期结束仍未到期 | 4条 | 列为待判定 |
| 准确率 | 70% | 28 ÷ 40 |
| 误报率 | 20% | 8 ÷ 40 |
| 漏报率 | 20% | (25 − 20) ÷ 25 |
| 平均提前量 | 6.5天 | 有效预警提前量合计260天 ÷ 40 |
| 处置闭环率 | 75% | 30 ÷ 40 |
| 响应时效中位数 | 18小时 | 按有处置记录的30条计算 |
| 延期收敛率 | 60% | 被预警且实际延期28条中17条缩短延期或按期完成 |
解读这组结果：准确率70%说明多数预警最终兑现，误报率20%意味着每5条预警约有1条属于虚警，团队需要评估这类误报带来的排查成本是否可接受。漏报率20%说明仍有部分延期未被提前发现，预警覆盖范围存在改进空间。平均提前量6.5天，为处置留出了约一周的缓冲，但需结合迭代长度判断是否足够。
处置侧，闭环率75%说明四分之一预警没有形成处置结论，这部分预警即使准确也无法转化为结果改善。响应时效中位数18小时，若迭代以周为单位，响应速度基本可用；若以天为单位排期，则偏慢。延期收敛率60%表示被预警且实际延期的对象中，六成缩短了延期或转为按期完成。
与基线期对比：假设基线期同口径下准确率无法计算（未启用预警），可比较的是延期收敛率和平均延期天数。若基线期平均延期8天、评估期平均延期5天，且两期项目类型和规模相近，可初步认为处置带来了延期收敛；若基线期本身延期就少，则差值可能来自项目波动，需扩大样本或延长观察期再判断。
解读与限制：哪些结论能下，哪些不能
单指标不能代表整体效果。准确率高但闭环率低，说明预警可信而处置缺位；闭环率高但延期收敛率低，说明动作做了但未触及延期根因。评估结论应以两层指标的组合呈现，并说明各指标的样本量。
相关不等于因果。预警启用后延期减少，可能来自排期更保守、资源补充或需求缩减，也可能来自项目本身进入稳定期。要增强因果判断，需要基线期或对照组、同口径指标和足够长的观察期；条件不具备时，结论应表述为“观察到改善”，而非“预警带来了改善”。
样本量与观察期直接影响结论稳定性。预警条数少、观察期短于一个完整迭代时，比率类指标容易大起大落，提前量的平均值也会被个别极端值拉偏。此时更适合看中位数和分布，而非单一平均值。
预警质量与处置效果会相互影响。处置及时可能让部分预警对象转为按期完成，从而在事后统计中表现为“误报”；反之，处置缺位会让准确率看起来很高，因为预警对象确实都延期了。判定误报时应结合处置记录，区分“预警错误”和“预警正确但被处置化解”。
指标不宜直接用作个人绩效工具。响应时效和闭环率一旦与个人考核挂钩，容易出现只关闭预警不解决延期、或提前关闭预警规避统计的行为，反而破坏数据真实性。评估应面向流程和机制改进，并保留处置结论的质性复核。
在数据承载上，预警记录、处置动作和结果数据需要统一留存才能复算。ONES 中的工作项状态与流转记录可以作为承载载体之一，ONES Assistant 可基于项目进展、工时、缺陷和资源等数据生成进展分析与风险判断，帮助管理者在风险扩大前介入；输出过程可追踪、结果可审计。具体的预警字段、阈值配置和统计口径需结合实际部署与授权范围核验，评估前应先确认这些记录能否按对象和时间完整导出。
常见问题
预警发出后团队及时处置、对象最终按期完成，这条预警算误报吗？
按结果口径统计时，它会计入误报，因为对象最终没有延期。但这并不等于预警判断错误。判定时应结合处置记录区分两种情况：预警发出时确实存在延期风险、经处置后风险被化解；以及预警发出时判断本身就不成立。前一种情况建议在评估报告中单独列出“经处置化解”的数量，与真正的误报分开呈现，否则处置越有效，误报率反而越高，会误导对模型质量的判断。
观察期结束时预警对象还没到期，这些记录怎么处理？
这类记录单列为“待判定”，不并入准确率分子，也不并入误报分子，同时保留在全部预警数这个分母中。报告里应给出待判定的条数和占比，并说明观察期截止时间。如果待判定占比过高，说明观察期偏短或预警提前量偏大，此时准确率和误报率的结论稳定性不足，建议延长观察期或等这批对象到期后补充计算，再下结论。
没有启用预警之前的历史数据，还能做基线比较吗？
可以退一步做有限比较。预警质量层的准确率、误报率在基线期无法计算，这部分只能描述当期结果。可比较的是结果类指标，例如平均延期天数、按期完成率、延期对象占比，用同口径的历史同期数据对照。比较时需说明两期项目类型、规模和排期方式是否相近；差异较大时按项目类型分层比较，或明确标注不可比。条件不具备时，结论表述为“观察到改善”，不写成预警带来的改善。
样本量多少才适合给出比率结论？
没有通用达标线，取决于业务对波动的容忍度。样本很少时，一两条记录的变化就能让比率大幅跳动，此时更适合看中位数、分布和具体记录，而非单一百分比。实践中可先设定一个内部提示值，例如单指标样本少于30条时只报告样本数和方向性观察，不给出比率结论；这个数量是提示，不是标准。随着观察期延长、样本积累，再逐步输出比率并与基线比较。
评估所需的数据在ONES里怎么留存和取用？
评估要能复算，前提是预警记录、处置动作和结果数据能按同一对象标识关联，并带完整时间戳。ONES 中的工作项状态与流转记录可以作为承载载体之一，ONES Assistant 可基于项目进展、工时、缺陷和资源等数据生成进展分析与风险判断，帮助管理者在风险扩大前介入，输出过程可追踪、结果可审计。具体可用的预警字段、阈值配置和导出方式需结合实际部署与授权范围核验，评估启动前先确认这些记录能否按对象和时间完整导出。
