评估研发容量规划规则的准确性，对象是规则输出的可用人力供需预测，而非团队绩效或单个项目的交付结果。做法是把规则预测值与同口径的实际可用人力、实际消耗逐季度回算，用预测偏差率、方向命中率、区间覆盖率三类指标衡量，并把偏差归因到规则假设、输入数据或执行偏离。只有多期偏差稳定、归因清楚，才能据此修正规则参数。规则版本、预测输入和实际工时数据的留档，是回算能够复现的前提，ONES 的工作项与工时数据可以承载这部分记录。
要点总览（TL;DR）
- 评估对象是规则输出的可用人力供需预测，不是团队绩效；核心动作是把预测值与同口径实际值逐季度回算。
- 用三类指标衡量准确性：预测偏差率看差多少，方向命中率看供需判断对不对，区间覆盖率看预测区间是否可靠。
- 偏差要归因到规则假设、输入数据或执行偏离三类来源，不同来源对应不同修正动作，只给总偏差率无法指导改进。
- 稳定性需观察连续多季度偏差的均值、离散程度和方向漂移，单季度结果不足以判断规则是否稳定。
- 偏差小不等于规则好，保守预测可能压低偏差率但失去决策价值；规则修正后需在新版本生效季度再验证。
评估目标：规则要回答什么、错在哪里算不准
容量规划规则的作用，是在给定角色范围和时间窗内，预测可用人力供给与需求，并判断供需是否平衡。评估准确性，就是检验这个预测与后来实际发生的情况差多少、差在哪个方向、偏差能否解释。评估结论用于修正规则本身，包括参数取值、假设条件和输入口径，不用于给团队或个人打分。
把偏差拆成三类来源，后续归因才有落点：
- 规则假设偏差：规则对可用工时、并行效率、需求折算方式的假设与实际不符。例如按每人每季度固定可用天数估算，未考虑季度内集中休假或支持性工作占用。
- 输入数据偏差：喂给规则的原始数据本身不准或不全，如人员角色归属错误、需求条目漏记、占用工时未登记。规则逻辑没问题，输入错了，输出也会错。
- 执行偏离：预测时点的条件成立，但季度内实际执行改变了前提，如临时插入高优先级需求、人员调岗、外部依赖延期导致工作量集中。这类偏差反映的是计划与执行的差距，修正方向在变更管理而非规则公式。
三类偏差的处理方式不同：假设偏差改规则，输入偏差改取数流程，执行偏离改变更控制。评估报告如果只给一个总偏差率，不区分来源，就无法指导下一步动作。因此评估框架应先定分类，再定指标。
指标与范围：预测偏差率、方向命中率与区间覆盖率
三类指标从不同角度刻画准确性：偏差率看差多少，方向命中率看判断对不对，区间覆盖率看预测的置信范围是否可靠。三者需要同时看，单看一个容易误判。
| 指标 | 公式 | 分母 | 单位 | 时间窗 | 回答的问题 |
|---|---|---|---|---|---|
| 预测偏差率 | （实际值 − 预测值）÷ 预测值 | 预测值 | 百分比 | 单季度，按角色汇总 | 预测高估还是低估，幅度多大 |
| 方向命中率 | 方向判断正确的季度数 ÷ 有效季度数 | 有效季度数 | 百分比 | 滚动多季度 | 供大于需或需大于供的判断是否成立 |
| 区间覆盖率 | 实际值落入预测区间的季度数 ÷ 有效季度数 | 有效季度数 | 百分比 | 滚动多季度 | 预测区间是否覆盖真实波动 |
预测偏差率的分母选择需要固定。以预测值为分母，偏差率表达“预测错了百分之多少”，便于横向比较不同角色；以实际值为分母，表达“实际偏离预测的比例”，在预测值接近零时更稳定。同一套评估中应统一使用一种分母，并在报告中注明，避免不同季度换口径导致趋势失真。偏差率建议同时保留带符号值，正负号本身携带高估或低估的信息。
方向命中率针对供需判断。规则输出“本季度供给大于需求”或“需求大于供给”，季度结束后用实际数据核对方向是否成立。这个指标对容量评审最直接，因为评审的核心决策往往就是是否需要补充人力或压缩需求。方向判断错误比幅度偏差更值得优先处理。
区间覆盖率要求规则输出一个预测区间而非单点值。实际值落在区间内的季度占比，反映区间宽度设定是否合理。覆盖率长期偏低说明区间过窄，规则对波动估计不足；覆盖率接近百分之百但区间极宽，则说明预测失去区分度，需要结合偏差率一起判断。
统计范围要事先写清：按季度窗口统计，纳入哪些角色（如开发、测试、设计分别统计还是合并），纳入哪些项目类型（常规迭代、专项、维护支持是否分开）。范围一旦变动，历史数据不可直接比较，应在报告中标注口径变更点。
数据口径与证据：预测值、实际值怎么取
准确性评估的可信度取决于两侧数据是否同口径。预测侧要留档规则版本、输入参数和生成时点；实际侧要按同一角色范围、同一时间窗、同一计量单位取数。任何一侧口径漂移，偏差率都会失真。
| 数据项 | 预测侧取数 | 实际侧取数 | 对齐要求 |
|---|---|---|---|
| 可用工时 | 规则按角色汇总的季度可用工时预测 | 实际出勤工时扣除请假、培训、支持性占用后的可用工时 | 同一角色清单、同一季度起止日期、统一以小时或人天计 |
| 需求工作量 | 规则按需求条目折算的季度工作量 | 实际投入在对应需求上的工时汇总 | 需求范围一致，临时新增需求单独标记 |
| 供需方向 | 规则输出的供给减需求符号 | 实际可用工时减实际消耗的符号 | 同一汇总层级，避免一侧按团队、一侧按项目 |
预测侧留档至少包含：规则版本号、关键参数取值、输入数据快照、生成日期。没有版本留档，季度末回算时无法确认当时用的是哪套逻辑，偏差归因就失去依据。实际侧取数应来自工时登记和工作项状态记录，而非事后回忆估算；请假、占用等扣减项要有对应记录。
缺失值和口径变更需要预设规则：某角色季度内数据缺失超过一定比例，该角色该季度不纳入统计并单独说明；计量单位从中人天改为小时，或角色划分调整，应在变更季度做双口径并行统计一次，之后以新口径为准，历史数据不追溯换算，避免制造虚假趋势。
在季度容量评审前，把规则版本、预测输入和实际工时数据集中留存，可以让回算在同一套记录上完成。ONES 的工作项与工时记录能够承载实际投入数据，规则版本和预测快照也可作为文档或工作项属性留存，评审时直接调取比对，减少跨系统核对的口径误差。
计算与评估步骤：从单季度回算到多期稳定性
评估按固定流程执行，每一步都有明确产物，保证不同人复算得到相同结果：
- 锁定规则版本：确认本季度评估对应的规则版本、参数和输入快照，记录版本号与生成日期。
- 取预测值与实际值：按角色和时间窗提取两侧数据，完成口径对齐，标记缺失和口径变更项。
- 计算三类指标：逐角色算偏差率，汇总算方向命中率和区间覆盖率，保留带符号偏差。
- 归因：对超出预期范围的偏差逐项判断属于假设、输入还是执行偏离，附证据。
- 形成修正项：把归因结论转成具体动作，如调整可用工时系数、修正角色归属、增加变更登记要求。
稳定性不能靠单季度判断。把最近若干季度的偏差率排成序列，观察三个特征：偏差均值是否持续偏向一侧（系统性高估或低估）、离散程度是否收敛（波动变小说明规则趋于稳定）、方向判断是否出现连续同向错误。均值接近零但波动很大，说明规则不稳定；均值持续为正，说明存在系统性低估，需要修正假设而非继续观察。
分母为零或样本过少时，指标不计算并标注原因。例如某季度预测需求为零，偏差率无意义；某角色季度内仅有一两个项目，方向命中率样本不足，应合并到相邻角色或延长观察窗口。报告中对未纳入统计的部分单独列出，不用零值填充。
评估节奏与季度容量评审衔接：评审前完成回算和归因，评审中把修正项作为议题之一，评审后按修正项更新规则并记录生效版本。下一季度评估时，先确认新版本是否已生效，再判断偏差变化是否来自修正。
一个季度回算示例
以下为演示情景，数字用于说明计算方法。某研发团队按开发角色统计，规则在季度初预测可用工时为 2000 小时，需求工作量为 1800 小时，输出供给大于需求，预测区间为可用工时 1850 至 2150 小时。
季度结束后实际数据：可用工时 1760 小时（因两名成员集中休假和一段支持性工作占用，未在预测中充分体现），实际消耗 1820 小时。
- 偏差率：以预测值为分母，（1760 − 2000）÷ 2000 = −12%，即实际可用工时比预测低 12%。
- 方向命中：预测供给大于需求，实际 1760 小于 1820，需求大于供给，方向判断错误，本季度不计命中。
- 区间覆盖：实际 1760 落在预测区间 1850 至 2150 之外，未覆盖。
归因：可用工时偏差主要来自假设偏差，规则对季度内休假和支持性占用的折算系数偏低；需求侧实际消耗略高于预测，部分来自一个临时插入的需求，属于执行偏离，应单独标记而不计入规则误差。修正项包括：上调休假与占用折算系数、在规则输入中增加临时需求登记字段、把区间下限适当放宽以覆盖集中休假情形。
这个示例说明，三项指标指向同一结论时归因较清晰；如果偏差率小但方向判断错，或区间覆盖但偏差率大，就需要分别检查指标口径和区间设定，不能只看一个数字下结论。
解读与限制：指标不能当因果保证
偏差小不等于规则好。规则如果长期保守预测，把可用工时压低、把需求估高，偏差率可能很小，但输出失去决策价值，团队会习惯性忽略预测。评估时应同时看偏差方向和区间宽度，避免奖励保守。
单季度结果不足以判断稳定性。一个季度的偏差可能来自一次性事件，如集中休假或临时专项；至少观察连续多个季度，结合均值和离散程度再下结论。方向命中率在季度数较少时波动大，应注明样本量。
指标衡量的是规则预测能力，与团队绩效、项目成败是不同层面的问题。容量预测偏差大，可能源于需求变更频繁或人员流动，这些属于执行环境变化，不应直接归为团队执行不力。评估报告应把规则修正建议与组织层面问题分开陈述。
规则修正后需要再验证。修改参数或假设后，应在新版本生效的季度重新回算，确认偏差是否按预期收敛，同时观察是否引入新的系统性偏差。修正效果通常需要两到三个季度才能判断，期间不宜频繁改规则，否则无法区分偏差来自规则本身还是来自反复调整。
最后，评估结论的适用范围限于所统计的角色范围和时间窗。跨团队推广某条修正经验前，应确认其假设条件是否同样成立，避免把特定场景下的参数调整当成通用做法。
常见问题
季度容量评审前时间有限，最少需要准备哪些数据才能完成一次准确性回算？
至少需要三样东西：本季度初使用的规则版本及关键参数快照、按角色汇总的预测可用工时与需求工作量、以及季度结束后同角色范围的实际可用工时和实际消耗。实际侧数据应来自工时登记和工作项记录，请假与支持性占用要有对应扣减记录。如果规则版本或输入快照缺失，偏差归因就失去依据，只能看到差异而无法判断是规则假设错了还是输入数据错了。
方向命中率在什么情况下不适合作为主要判断指标？
当季度内供需接近平衡、预测值与实际值差距很小时，方向命中率对微小波动过于敏感，一个季度的方向对错可能只是噪声。另外，如果统计范围内角色或项目类型频繁调整，有效季度数不足，方向命中率的样本量太小，结论不稳定。这种情况下应结合偏差率的带符号值和区间覆盖率一起看，并注明样本量，避免用单季度方向结果下结论。
规则修正后，怎么判断偏差变化是修正起了作用还是外部环境变了？
修正生效后，先确认新版本在评估季度确实已启用，再对比修正前后同角色、同口径的偏差序列。如果偏差均值向零收敛且离散程度没有扩大，可以初步认为修正有效；如果偏差方向反转或波动加大，需要检查是否引入了新的假设偏差。同时要记录季度内是否有重大组织变化、需求模式变化等外部因素，把这些因素与规则修正分开陈述。通常需要两到三个季度的数据才能把修正效果和外部波动区分开。
评估中发现某角色数据缺失严重，应该剔除还是估算后纳入？
建议预设缺失处理规则并在报告中注明。如果某角色季度内数据缺失超过事先约定的比例，该角色该季度不纳入统计，单独说明缺失原因和影响范围，不用零值或简单均值填充，避免制造虚假的准确或不准。如果缺失比例较低，可以按明确规则估算并标记为估算值，但在计算偏差率和方向命中率时与完整数据分开呈现，让评审者知道结论的可靠程度。
容量规划规则评估结果要不要和团队绩效挂钩？
不建议直接挂钩。评估衡量的是规则预测能力，偏差可能来自需求变更频繁、人员流动、临时插入高优先级任务等执行环境变化，这些不属于团队可控范围。把偏差率与团队绩效绑定，容易导致预测时故意保守或虚报，反而破坏规则的数据基础。评估报告应把规则修正建议与组织层面问题分开陈述，规则修正用于改进预测逻辑，执行环境问题另行处理。
