评估AI生成的任务计划质量，先要明确评估对象是计划本身，再在固定时间窗内用四组可核验指标衡量：任务粒度、依赖完整性、资源匹配和计划偏差。本文面向AI任务规划试点复盘，给出指标公式、取数口径、抽样复核方法和一个可复算的示例，帮助团队判断是否扩大试点、需要修正哪类问题。
要点总览（TL;DR）
- 评估对象锁定为AI生成的任务计划本身，用任务粒度、依赖完整性、资源匹配、计划偏差四组指标分别衡量，单指标不能代表整体质量。
- 每组指标在评估前写明分子、分母、单位、统计时间窗和缺失值处理规则；分母为零记为不适用，字段缺失任务单列清单，不默认计入分子或分母。
- 取数以工作项字段、依赖关系记录、负责人分配、计划与实际日期为准，先统一任务层级、依赖类型、工时单位和完成判定四类口径。
- 定量结果需用分层抽样复核交叉验证，样本量一般不少于纳入统计任务的10%，并同步采集评审记录与负责人反馈。
- 不设通用达标线，以试点前基线对比变化方向和幅度；指标高低先排除数据问题再归因，结论与业务效果分开陈述。
评估目标：试点复盘要回答什么
试点复盘的第一步是把评估对象锁定在AI生成的任务计划上。计划质量指这份计划能否被团队直接执行：任务拆得够不够细、前后关系是否交代清楚、负责人和工时是否对得上、执行后与计划的差距有多大。团队整体绩效、AI工具本身的算法表现、个人工作评价都不在本次评估范围内。
复盘要回答两个决策问题。第一，是否扩大试点：如果四组指标在试点基线上表现稳定，且抽样复核未发现系统性缺陷，可以扩大使用范围。第二，需要修正哪类问题：粒度偏粗、依赖缺失、资源错配、偏差偏大，对应不同的改进动作，例如调整提示词输入、补充计划模板、增加人工评审环节。
结论边界需要提前写明。指标反映的是计划文本与执行结果的一致性，不能直接证明AI带来了产出提升；计划质量高也不等于团队执行效率高。评估报告应把“计划质量结论”和“业务效果结论”分开陈述，避免在复盘会上把两者混为一谈。
建议在复盘启动时产出一页评估目标说明，写明评估对象、统计时间窗、用途（扩大试点决策或问题定位）、结论边界和不纳入评估的事项，由试点负责人确认后再进入取数环节。
指标与范围：四组指标及统计口径
四组指标分别回答计划质量的四个侧面，彼此互补。单看任何一组都可能得出片面结论：粒度细但依赖缺失的计划执行时会频繁阻塞，依赖齐全但资源错配的计划会持续延期。汇总时应分维度呈现，再结合抽样复核形成整体判断。
| 指标 | 定义与公式 | 单位 | 数据来源 |
|---|---|---|---|
| 任务粒度 | 达到可执行、可估算层级的任务数 ÷ 纳入统计的任务总数 | 百分比 | 工作项层级字段、任务描述、估算值 |
| 依赖完整性 | 已记录前置关系的任务数 ÷ 应存在前置关系的任务总数；另统计依赖环数量 | 百分比、个 | 工作项依赖关系记录 |
| 资源匹配 | 负责人已分配且技能、可用工时与任务要求相符的任务数 ÷ 纳入统计的任务总数 | 百分比 | 负责人字段、工时估算、人员技能记录 |
| 计划偏差 | 实际工期减计划工期，按任务汇总；里程碑层面用实际完成日期减计划完成日期 | 人天、天 | 计划开始/完成日期、实际开始/完成日期、工时记录 |
任务粒度的判定需要事先给出可操作标准，例如：任务有明确交付物、工作量可在半天到三天内估算、单个负责人可独立完成。满足全部条件的计为达标，由评审人按统一标准判定，避免不同评审人尺度不一。
依赖完整性的分母只统计“应存在前置关系”的任务，例如开发任务通常依赖需求确认或设计完成。判断某任务是否应有前置关系，可依据任务类型规则表，规则表在评估前确定并保持稳定。依赖环数量单独统计，出现环即视为该批次计划存在结构缺陷。
资源匹配中的“技能相符”和“工时相符”需要可核验的依据：技能依据人员技能标签或历史承担过的同类任务，工时依据任务估算值与负责人当期可用工时的对比。两项都满足才计为匹配，仅分配了负责人但工时明显超出可用量的，不计入匹配。
计划偏差按任务计算差值后，再汇总为平均值或中位数，同时报告偏差绝对值超过阈值的任务占比。里程碑偏差单独列示，因为里程碑延误对复盘决策的影响更直接。
统计范围在评估前固定：纳入哪些项目、哪些任务类型（如需求、开发、测试）、哪个时间窗（例如试点期内的两个迭代）。分母为零时该指标记为“不适用”，不按零分处理；字段缺失的任务单独列出缺失清单，不默认计入分子或分母，缺失比例超过约定上限时该指标暂缓解读。
数据口径与证据：从哪里取数、如何抽样复核
取数以工作项系统内的字段为准，包括任务层级、依赖关系记录、负责人分配、计划与实际日期、工时记录。评估前先统一四类字段口径：任务层级如何划分（史诗、需求、任务、子任务）、依赖类型包含哪些（阻塞、关联、前置）、工时单位统一为人天、完成判定以状态流转到“已完成”的日期为准。口径说明写成文档，取数脚本或导出模板按同一口径执行。
在ONES中，任务计划通常以工作项形式承载，层级、负责人、计划日期和依赖关系都记录在工作项上；ONES Assistant可基于项目上下文将PRD拆解为需求和任务并按模块分配负责人，也可基于项目目标、范围和交付物生成结构化计划与责任分工。评估时直接读取这些工作项字段，能把AI生成的计划与执行记录放在同一套数据上比对。ONES的AI能力基于权限体系执行，输出过程可追踪，便于复盘时回溯计划来源。
人工抽样复核用于校验定量结果。建议按分层抽样：每个任务类型各抽取一定数量任务，粒度存疑、依赖缺失、资源不匹配的任务适当提高抽样比例。样本量根据试点规模确定，通常不少于纳入统计任务总数的10%，且每个任务类型不少于10条；试点规模较小时可全量复核。
复核评分标准提前给出，例如粒度按“达标/不达标”二分判定并记录理由，依赖按“缺失前置/存在冗余依赖/正确”三档记录。两名评审人独立评分的，先计算一致率，一致率偏低时先对齐标准再继续。
定性证据同步采集：计划评审会的会议记录、负责人对任务可执行性的反馈、执行过程中因依赖缺失导致的阻塞记录。这些证据与定量指标交叉验证，例如依赖完整性指标较高但负责人反馈仍频繁等待上游，说明依赖记录可能流于形式，需要进一步核查。
计算与评估步骤：从取数到结论
评估按五步执行，每步有明确输入、输出和责任人，保证结果可复算。
- 确定范围。输入：试点项目清单、任务类型、时间窗。输出：纳入统计的任务清单和排除清单（含排除理由）。责任人：试点负责人。
- 取数。输入：统一后的字段口径说明。输出：任务级明细表，含层级、依赖、负责人、计划与实际日期、工时。责任人：数据整理人。
- 计算指标。输入：明细表。输出：四组指标的分子、分母、结果及缺失值清单。责任人：数据整理人，另一人复算抽查。
- 抽样复核。输入：抽样方案和评分标准。输出：复核记录、与定量结果的差异清单。责任人：评审人。
- 汇总解读。输入：指标结果、复核记录、定性证据。输出：复盘结论与改进建议。责任人：试点负责人组织，评审人参与。
异常值处理在计算步骤中完成：计划工期为零或负值的任务标记为数据异常，回到源系统核对后再决定是否纳入；实际完成日期缺失但状态为已完成的任务，按状态变更记录补齐日期，无法补齐的列入缺失清单。缺失值不参与分子分母计算，但缺失比例需在报告中披露。
汇总时按任务类型和项目分维度呈现，需要综合分时采用事先约定的权重，例如粒度、依赖、资源匹配各占一定比例，偏差单独报告。简单平均会把不同量级的指标混在一起，也容易掩盖某一维度的明显短板，因此综合分只作为辅助，决策依据以分维度结果和复核发现为主。
示例：一次试点复盘的指标计算
以下为演示情景，数据为虚构，仅用于说明计算过程。
某团队在两个迭代内试点AI生成任务计划，纳入统计的任务共120条，其中需求类40条、开发类60条、测试类20条。字段缺失任务6条，列入缺失清单，实际参与计算114条。
任务粒度：评审人按统一标准判定，达标任务86条。粒度 = 86 ÷ 114 ≈ 75.4%。未达标任务集中在开发类，主要问题是任务描述只有模块名、缺少交付物和估算值。
依赖完整性：按任务类型规则表，应存在前置关系的任务78条，其中已记录前置关系的65条，依赖完整性 = 65 ÷ 78 ≈ 83.3%。同时发现2个依赖环，均出现在测试任务与开发任务之间，属于结构缺陷，需人工修正。
资源匹配：负责人已分配且技能、工时均相符的任务91条，资源匹配 = 91 ÷ 114 ≈ 79.8%。不匹配的23条中，15条为工时估算明显超出负责人当期可用工时，8条为技能标签与任务要求不符。
计划偏差：按任务计算实际工期减计划工期，平均偏差+1.2人天，中位数+0.5人天；偏差绝对值超过2人天的任务31条，占27.2%。里程碑层面，两个里程碑分别延期3天和1天。
抽样复核抽取30条任务，发现3条粒度判定与定量结果不一致，原因是任务描述含混但估算值齐全，评审人判定标准未完全对齐；另发现4条依赖记录为形式记录，实际执行中并未按依赖顺序推进。复核一致率约90%，对齐标准后差异收敛。
复盘判断：粒度是本次试点的明显短板，改进方向是在生成计划时要求每个任务包含交付物和估算；依赖环需要增加生成后的结构校验；资源不匹配主要来自工时估算，可在计划生成后增加负责人可用工时核对环节；偏差中位数较小但长尾明显，建议对偏差超过阈值的任务逐条复盘原因。是否扩大试点，由试点负责人结合上述分维度结果与业务侧反馈共同决定。
解读与限制：指标能说明什么、不能说明什么
指标高低对应不同的可能原因，解读时要先排除数据问题再归因。粒度偏低可能来自AI拆解能力不足，也可能来自输入的需求描述本身模糊；依赖缺失可能是生成时未识别，也可能是团队习惯不记录依赖；资源不匹配可能源于估算偏差，也可能源于人员排期变化。把指标直接归因于AI，会掩盖流程和输入侧的问题。
分母为零、样本过小、数据不可比是三类常见限制。分母为零时指标记为不适用；样本过小时百分比波动大，应同时报告绝对数和置信区间，或延长统计时间窗；不同项目、不同任务类型的计划难度不同，跨项目直接比较前需确认口径一致，否则只做同项目内对比。
本文不设通用达标线。各团队的计划复杂度、任务类型分布差异较大，统一阈值缺乏依据。更稳妥的做法是以试点前的计划质量为基线，对比试点期指标的变化方向和幅度，并结合抽样复核判断变化是否真实。
最后，四组指标共同构成计划质量的证据链，任何单一指标都不能代表整体结论。评估报告应同时呈现指标结果、复核发现、定性证据和局限说明，让复盘决策建立在可核验的信息上，而不是一个综合分数上。
常见问题
试点规模很小，抽样复核还要按10%的比例做吗？
10%是常规试点规模下的参考下限，不是硬性要求。试点任务总量较少时，可以改为全量复核，这样比勉强凑够比例更能发现问题。判断依据是复核能否覆盖各类任务类型和已知风险点：粒度存疑、依赖缺失、资源不匹配的任务应优先纳入复核范围。如果全量复核工作量过大，至少保证每个任务类型都有样本，并在报告中说明抽样方式和未覆盖部分。
AI生成的计划里依赖关系记录齐全，但执行时仍然频繁等待上游，怎么判断？
这种情况说明依赖记录可能流于形式，定量指标偏高但实际约束没有生效。处理方式是回到抽样复核环节，逐条核对依赖记录与实际推进顺序是否一致，同时采集执行过程中的阻塞记录和负责人反馈。如果复核发现多条依赖为形式记录，应在报告中把依赖完整性指标标注为“需谨慎解读”，并把“依赖记录与实际执行一致性”作为单独问题列出，而不是直接采信百分比。改进动作通常落在生成后的结构校验和评审环节。
计划偏差用平均值还是中位数报告更合适？
建议两者同时报告，并补充偏差绝对值超过阈值的任务占比。平均值对少数严重延期任务敏感，容易被长尾拉高；中位数反映典型任务的偏差水平，但会掩盖极端情况。示例中平均偏差+1.2人天、中位数+0.5人天，差距说明存在长尾，此时逐条复盘超阈值任务比只看汇总值更有价值。里程碑偏差单独列示，因为里程碑延误对扩大试点决策的影响更直接。
不同项目、不同任务类型的指标能直接放在一起比较吗？
跨项目直接比较前需要确认口径一致：任务层级划分、依赖类型范围、工时单位、完成判定标准是否相同，任务类型分布是否可比。口径不一致时只做同项目内对比，或按任务类型分组呈现。计划难度本身存在差异，需求类任务和测试类任务的粒度标准、依赖规则并不相同，混在一起算综合分会掩盖某一类型的短板。综合分只作为辅助，决策依据以分维度结果和复核发现为主。
评估结果不错，是否就可以直接扩大AI任务规划的试点范围？
指标表现稳定是扩大试点的必要条件之一，还需要结合抽样复核是否发现系统性缺陷、定性证据是否支持、以及业务侧反馈综合判断。扩大范围意味着任务类型和项目复杂度可能变化，试点期指标未必能直接外推。较稳妥的做法是先在小范围新增项目上验证一轮，观察四组指标是否维持在基线附近，再决定进一步扩大。评估报告应把计划质量结论与业务效果结论分开陈述，避免用计划质量指标替代产出提升的判断。
