在AI任务规划试点复盘中,评估对象是AI生成的任务计划本身,而非团队整体绩效。核心要回答两件事:AI给出的前置依赖是否覆盖真实约束,实际完成情况与AI初始估算偏离多少。本文给出依赖完整率、依赖正确率、资源匹配率和计划偏差率四项指标的定义、分子分母、时间窗与缺失值规则,并用一组假设数据演示计算过程,最后说明结果能解释到什么程度。
要点总览(TL;DR)
- 评估对象是AI生成的任务计划本身,在计划生成后、执行中、迭代结束后三个时点分别观察粒度、依赖与偏差。
- 依赖完整性拆成两个指标:依赖完整率看该有依赖的任务是否填了依赖,依赖正确率看填的依赖是否与真实约束一致,后者需人工标注对照。
- 计划偏差率用绝对值口径 |实际完成工时 − AI估算工时| ÷ AI估算工时,同时保留低估与高估的方向统计,实际工时取任务关闭时的记录。
- 缺失值计入分母并单独统计缺失率,分母为零时报告不可计算而非记为0;偏差需剔除需求变更任务后再与全量对照,避免高估AI估算误差。
- 不设通用达标线,样本量小或任务类型单一时结论不外推,阈值由团队按试点目标在评估前自定。
评估目标:试点复盘要回答哪几个问题
试点复盘需要把评估范围限定在任务工作项层面,围绕AI生成的任务计划回答三个问题:AI拆出的任务是否具备可执行粒度,AI标注的前置依赖是否完整且正确,AI给出的工时估算在执行后偏离多大。这三个问题分别对应粒度、依赖和偏差,构成后续指标设计的主线。团队整体交付效率、人员绩效、资源容量等议题不在本次评估范围内。
评估在三个时点展开,每个时点承担不同的观察任务:
- 计划生成后:检查任务粒度是否达标、依赖字段是否填写、估算工时是否给出。这一时点只做静态检查,不涉及执行结果,用于发现AI输出的结构性问题。
- 执行中:记录依赖关系是否被实际触发、责任人是否按AI分配承接、执行中是否发生需求变更。这一时点的数据用于后续归因拆分。
- 迭代结束后:汇总实际完成工时,计算计划偏差率,并与计划生成后的静态检查结果对照,形成完整评估结论。
评估结论的用途是判断AI计划能否进入常规排期流程。具体判断方式由团队按试点目标自定,例如依赖完整率达到某个水平、偏差率控制在某个区间,才允许AI计划直接进入排期;未达标的计划保留人工补全依赖和调整估算的环节。本文不设通用达标线,阈值需结合试点规模和任务类型确定。
指标与范围:粒度、依赖、资源、偏差四项怎么定义
四项指标建立在统一的任务粒度标准之上。粒度是前置过滤条件:先筛出粒度合格的任务,再评估依赖与偏差,避免粒度问题污染其他指标。粒度标准建议包含两条可核验要求:单任务预估工时落在团队约定的区间内(例如半天到三天,具体区间由团队按任务类型设定),且每个任务对应一个可交付物或可验证的完成标志。粒度不合格的任务单独统计,不进入依赖和偏差指标的分母。
四项指标的定义如下表。依赖完整性拆成两个指标分别计算:依赖完整率衡量“该有依赖的任务是否填了依赖”,可自动统计;依赖正确率衡量“填的依赖是否与真实约束一致”,需要人工标注对照。
| 指标名 | 定义 | 单位 | 适用范围 |
|---|---|---|---|
| 依赖完整率 | 存在明确前置依赖的任务数 ÷ 应存在依赖的任务数 | 百分比 | 粒度合格且按业务判断应存在前置依赖的任务 |
| 依赖正确率 | AI标注的依赖与人工标注的真实依赖一致的任务数 ÷ 抽样中AI标注了依赖的任务数 | 百分比 | 人工复核样本内的任务 |
| 资源匹配率 | AI分配的责任人与实际承接人一致、且该人当期可用的任务数 ÷ 分配了责任人的任务数 | 百分比 | 工作项层面的责任人匹配,不做容量规划 |
| 计划偏差率 | |实际完成工时 − AI估算工时| ÷ AI估算工时 | 百分比 | 有AI估算且有实际完成工时的任务 |
范围边界需要事先写明:资源容量规划、人力负载分析不纳入本次评估,资源匹配率只看工作项层面的责任人对齐,不判断该人是否超负荷;多步骤流程编排与自动化执行不在评估范围内,本文只评估任务计划本身的结构质量;具体AI产品的功能对比与推荐不属于复盘任务。把这些内容排除在外,是为了让四项指标的分母口径保持稳定、结果可复算。
数据口径:分子分母、时间窗与缺失值处理
口径统一是复算的前提。每项指标都要固定取数来源、分母范围和统计时间窗,并在评估开始前写入口径说明,避免中途调整导致前后数据不可比。
依赖完整率的分子是存在明确前置依赖的任务数,分母是按任务粒度标准和业务判断应存在依赖的任务数。分母的确定需要人工先判断哪些任务在业务上必然有前置条件,例如接口开发依赖数据模型定稿、联调依赖前后端各自完成。可独立执行的任务不计入分母,否则会系统性拉低指标。
依赖正确率以人工标注的真实依赖为对照基准。分子是AI标注依赖与真实依赖一致的任务数,分母是抽样中AI标注了依赖的任务数。一致性的判定标准建议按“前置任务集合是否相同”计算,允许AI多标或少标时记为不一致,并单独记录多标、少标、错标三类情况,便于后续分析AI的偏差倾向。
资源匹配率的分子是AI分配的责任人与实际承接人一致、且该人当期可用的任务数,分母是分配了责任人的任务数。当期可用指该人在任务执行窗口内没有已知的休假或调岗安排,只做工作项层面的核对。
计划偏差率采用绝对值口径:|实际完成工时 − AI估算工时| ÷ AI估算工时。同时保留正负号方向统计,分别记录低估和高估的任务数与偏差幅度,因为低估和高估对排期的影响不同。实际完成工时取任务关闭时记录的工时,AI估算工时取计划生成时的初始值,不采用执行中修改后的估算。
时间窗按单个迭代或单批计划统一,分子分母必须取自同一时间窗。跨迭代比较时需说明口径差异,例如任务类型构成变化、迭代长度不同,不能直接拼接计算。
缺失值处理需事先约定:AI未给出估算或依赖字段为空时,该任务计入分母并记为缺失,不直接剔除。剔除缺失任务会系统性高估质量,因为AI漏填本身就是要评估的问题。缺失任务单独统计缺失率,作为依赖完整率和计划偏差率的补充观察项。
计算与评估步骤:从抽样到复算的流程
计算流程分四步,每步都有明确的产物,便于他人复算和复核。
第一步,分层抽样。按任务类型分层,例如需求分析、开发、测试、文档,每层按比例抽取样本。样本量根据试点任务总量确定,任务总量较少时可全量复核;任务量较大时,每层至少抽取足够形成判断的样本数,并在结果中注明抽样比例。抽样清单需固定,中途不替换样本。
第二步,人工标注真实依赖。由熟悉业务的人员对样本任务逐条标注真实前置依赖,标注结果作为依赖正确率的对照基准。标注时只依据业务约束判断,不参考AI给出的依赖,避免先入为主。标注完成后与AI结果比对,记录一致、多标、少标、错标四类情况。
第三步,按公式逐项计算并记录分母。每项指标计算时同步记录分子、分母和缺失数,形成可复算的计算表。计算表建议包含任务编号、任务类型、粒度是否合格、AI依赖、真实依赖、AI估算工时、实际工时、责任人匹配情况等字段,一行一个任务,指标值由字段汇总得出。
第四步,汇总并标注样本量与置信区间说明。汇总各指标时同时报告样本量、抽样比例和缺失率。样本量较小时,结论应标注为初步观察,并说明置信区间较宽,不宜直接外推到其他迭代或团队。
依赖关系和工时数据需要有承载位置。ONES 的工作项可记录任务、负责人和工时投入,ONES Assistant 能基于项目、工作项和迭代的真实上下文回答问题并执行操作,其输出过程可追踪、结果可审计,便于把AI生成的计划与执行记录放在同一处对照。评估所需的依赖字段和估算工时字段是否已配置、能否按迭代汇总,需在试点开始前确认;若AI输出不含依赖或估算字段,需在流程中补充人工录入环节。
算例:一个迭代的依赖与偏差计算示例
以下数据为假设示例,仅用于演示计算过程,不代表任何真实试点结果。
假设某迭代AI生成任务计划共40个任务,按粒度标准筛选后32个任务粒度合格,8个不合格单独统计。32个合格任务中,人工判断应存在前置依赖的有20个,AI在其中16个任务上填写了依赖,则依赖完整率 = 16 ÷ 20 = 80%。
对填写了依赖的16个任务做人工复核,其中12个任务的依赖与真实约束一致,2个少标、1个多标、1个错标,则依赖正确率 = 12 ÷ 16 = 75%。
32个合格任务中,AI分配了责任人的有30个,其中24个与实际承接人一致且当期可用,则资源匹配率 = 24 ÷ 30 = 80%。
计划偏差率只统计同时有AI估算和实际完成工时的任务。假设有28个任务满足条件,其中2个任务AI未给出估算,按缺失值规则计入分母并记为缺失,实际参与偏差计算的是26个任务。逐任务计算绝对偏差后求平均:假设26个任务的偏差率之和为7.8,则平均计划偏差率 = 7.8 ÷ 26 = 30%。方向统计显示18个任务高估工时、8个任务低估工时。
分母为零的情况需要单独处理。若某次评估中应存在依赖的任务数为0,依赖完整率没有可计算的分母,此时不报告百分比,改为报告“本批任务无应存在依赖的任务”,并说明该批任务类型单一、依赖指标不适用。计划偏差率同理,若没有任何任务同时具备估算和实际工时,偏差率记为不可计算,而不是记为0。
异常值处理需在算例中体现。若某任务实际工时是AI估算的5倍以上,先核实是否存在需求变更或任务拆分,确认属于估算偏差后再计入,并在结果中单列该任务的偏差幅度,避免单个极端值拉高平均值。示例中的30%是假设的平均值,实际评估应同时报告中位数,减少极端值影响。
解读与限制:结果能说明什么、不能说明什么
四项指标各自反映计划质量的一个侧面,单指标不能代表AI计划整体质量。依赖完整率高但依赖正确率低,说明AI倾向于填依赖但填得不准;偏差率低但资源匹配率低,说明估算碰巧接近但责任分配不可用。解读时应把四项指标放在一起看,并结合粒度合格率判断前置条件是否成立。
偏差需要做归因拆分。实际工时偏离AI估算,可能来自AI估算错误,也可能来自执行中的需求变更、任务范围扩大或人员变动。评估时应把发生需求变更的任务单独列出,计算剔除变更任务后的偏差率,与全量偏差率对照。两者差距大,说明偏差主要来自变更而非AI估算;差距小,才可以把偏差更多归因于AI估算。不做归因拆分就直接把偏差率当作AI准确率,会高估AI的估算误差。
结论的外推范围受样本限制。样本量小、任务类型单一时,指标值只能说明本批计划的情况,不能直接推广到其他迭代、其他团队或其他任务类型。报告中应写明样本量、抽样比例、缺失率和任务类型构成,让读者判断结论的适用范围。
本文不设通用达标线。依赖完整率、依赖正确率、资源匹配率和计划偏差率的合格水平取决于试点目标和任务性质,探索性任务本身偏差就大,标准化任务偏差应更小。团队应在试点开始前按目标自定阈值,并在复盘中说明阈值依据。评估结论用于判断AI计划能否进入常规排期流程时,建议同时保留人工补全依赖和复核估算的环节,把评估结果作为流程调整的依据,而非一次性验收结论。
常见问题
AI生成的任务计划里,依赖字段为空的任务应该剔除还是保留?
保留并计入分母,同时单独记为缺失。剔除空依赖任务会让依赖完整率系统性偏高,因为AI漏填依赖本身就是评估要发现的问题。建议在计算表中增加缺失标记字段,汇总时同时报告缺失率,作为依赖完整率的补充观察项。
执行中发生需求变更的任务,偏差率要不要单独算一版?
建议单独算一版。把发生需求变更、范围扩大或人员变动的任务列出,计算剔除这些任务后的偏差率,与全量偏差率对照。两者差距大,说明偏差主要来自变更;差距小,才可以把偏差更多归因于AI估算。只报全量偏差率容易被误读为AI估算准确率。
试点任务量很少,四项指标还能算吗?
可以算,但结论要标注为初步观察。任务总量少时建议全量复核,不做抽样;分母过小的指标(例如应存在依赖的任务只有个位数)报告具体任务数比报告百分比更有意义。报告中写明样本量、任务类型构成和缺失率,说明结论不直接外推到其他迭代或团队。
依赖关系和工时数据在工具里怎么承载,评估前要确认什么?
评估需要工作项层面的依赖字段和成对的估算工时、实际工时记录。ONES 的工作项可记录任务、负责人和工时投入,ONES Assistant 基于项目、工作项和迭代的真实上下文回答问题并执行操作,输出过程可追踪、结果可审计,便于把AI生成的计划与执行记录放在同一处对照。试点开始前需确认依赖字段与工时字段是否已配置、能否按迭代汇总;若AI输出不含依赖或估算字段,需在流程中补充人工录入环节。
四项指标里某一项很好,能不能说明AI计划可以直接进排期?
不能。四项指标各反映一个侧面:依赖完整率高但依赖正确率低,说明依赖填了但填得不准;偏差率低但资源匹配率低,说明估算接近但责任分配不可用。判断能否进入常规排期,应把四项指标连同粒度合格率一起看,并在流程中保留人工补全依赖和复核估算的环节。
