衡量AI创建任务的效果，需要同时回答两个问题：生成的任务是否准确，以及人工是否愿意采纳。建议把这两类问题拆成两组可复算指标，统一以AI生成的任务工作项为分母，按固定时间窗统计，并区分首次生成与人工修改后的状态。本文给出指标公式、取数口径、周度计算步骤和一个示例算例，适用于正在开展AI创建任务试点的研发团队。
要点总览（TL;DR）
- 衡量AI创建任务要拆成两组指标：准确性看字段完整率、字段正确率、重复率和返工率，人工采纳看采纳率、修改后采纳率和拒绝原因分布。
- 所有比率统一以同一周期内AI生成的任务工作项为分母，按周统计，并区分首次生成与人工修改后的状态，保证各指标可横向比较。
- 采纳与修改的判定依赖操作记录或字段变更记录；系统缺少变更历史时，试点期可用人工标注作为过渡证据，状态不明的任务单独列出。
- 高采纳率可能来自人工大量修改，需结合返工率一起看；指标反映生成与采纳过程，不构成研发效率提升的因果证明。
- 不设通用达标线，阈值应结合试点前基线、任务类型和业务要求确定；样本过小的周期单独标注，不并入比率计算。
试点评估要回答的两个问题
AI创建任务试点最常见的评估误区，是把“采纳率高”直接当成“生成质量好”。人工采纳是一个行为结果，可能来自AI一次生成就符合预期，也可能来自人工逐条补齐字段、改写标题之后才接受。因此评估目标应当拆成两个可以分别验证的问题。
第一个问题是准确性：AI生成的任务与人工预期的一致程度如何。它关注生成结果本身，包括必填字段是否齐全、字段内容是否正确、是否与已有工作项重复。这个问题回答的是“生成得对不对”。
第二个问题是人工采纳情况：人对AI生成任务采取了什么行为。它关注接受、修改、拒绝的分布，包括直接采纳的比例、修改后采纳的比例、被拒绝的比例及拒绝原因。这个问题回答的是“人愿不愿意用、在什么条件下用”。
两类指标分开统计，才能避免用采纳率掩盖生成质量问题。一个团队可能采纳率很高，但每条任务都被人工改过负责人和截止时间；另一个团队采纳率一般，但被采纳的任务几乎不需要修改。只看一个数字，无法区分这两种情况。试点评估的价值在于把两组数据放在一起看，判断AI在哪些字段、哪类任务上已经可用，哪些还需要调整提示词、模板或输入上下文。
指标定义、公式与统计范围
以下指标均以任务工作项条数为统计单位，按周作为默认时间窗。所有比率的分母在未特别说明时都是同一周期内AI生成的任务总数，这样各指标之间可以直接横向比较。字段正确率是例外，它的分母是被核对的任务数，因为正确性判定通常依赖抽查。
| 指标 | 公式 | 分子 | 分母 | 时间窗 | 单位 |
|---|---|---|---|---|---|
| 字段完整率 | 必填字段齐全的AI任务数 ÷ AI生成任务总数 | 必填字段全部有值的AI任务数 | AI生成任务总数 | 按周 | 任务条数 |
| 字段正确率 | 核对中字段正确的任务数 ÷ 被核对任务数 | 抽查或全量核对中关键字段与预期一致的任务数 | 被核对任务数 | 按周或按批次 | 任务条数 |
| 重复率 | 与已有工作项重复的AI任务数 ÷ AI生成任务总数 | 按既定规则判定为重复的AI任务数 | AI生成任务总数 | 按周 | 任务条数 |
| 采纳率 | 被人工直接采纳的AI任务数 ÷ AI生成任务总数 | 未经关键字段修改即被接受并进入后续流程的任务数 | AI生成任务总数 | 按周 | 任务条数 |
| 修改后采纳率 | 修改后被采纳的AI任务数 ÷ AI生成任务总数 | 经人工修改关键字段后仍被保留使用的任务数 | AI生成任务总数 | 按周 | 任务条数 |
| 返工率 | 生成后被人工修改关键字段的任务数 ÷ AI生成任务总数 | 关键字段发生人工变更的AI任务数 | AI生成任务总数 | 按周 | 任务条数 |
需要提前约定“关键字段”的范围，例如标题、负责人、所属迭代、优先级、截止时间。返工率只统计这些字段的变更，避免把补充描述、调整标签等轻量编辑也算作返工，导致指标失真。采纳率与修改后采纳率之和，加上被拒绝或废弃的比例，应当接近100%，可以作为口径自检。
拒绝原因分布不是比率指标，而是分类统计：按“信息不足”“拆分粒度过粗”“与已有任务重复”“负责人或排期不合理”“场景不适用”等类别计数。它解释采纳率背后的原因，建议与比率指标同周期输出。
数据口径与证据来源
指标能否跨周比较，取决于取数口径是否固定。试点开始前应把每个指标的取数位置和判定规则写下来，形成一份对照表，之后各周沿用同一份规则，不因结果好坏临时调整。
| 指标 | 数据来源 | 判定规则 |
|---|---|---|
| AI生成任务总数 | 任务工作项的创建来源字段 | 创建来源标记为AI生成的任务计入；人工创建的任务不计入分母 |
| 字段完整率 | 任务工作项的字段值 | 按试点前约定的必填字段清单逐项检查，全部有值才算完整 |
| 字段正确率 | 抽查记录表 | 由指定核对人按抽样比例逐条比对预期值，记录正确与错误的字段 |
| 重复率 | 任务工作项与已有工作项 | 标题高度相似且负责人、迭代同时匹配，判定为重复；规则需在试点前固定 |
| 采纳率、修改后采纳率、返工率 | 操作记录或字段变更记录 | 以关键字段是否发生人工变更为准；无变更且任务保留使用计为直接采纳 |
采纳与修改的判定依赖操作记录。如果系统只保留字段最终值、不保留变更历史，就无法区分“AI一次写对”和“人工改过之后才对”，这时应在试点期要求人工在任务描述或固定标签中标注是否修改过，作为过渡证据。缺失字段按不完整计入完整率分母，不单独剔除；未记录操作的任务在采纳类指标中单独列为“状态不明”，不并入采纳或拒绝，并在报告中注明条数。
抽查核对属于定性证据，需要保留抽样比例、抽样方式、核对人和核对时间。建议试点期每周抽取固定比例的任务，例如20%或不少于30条，样本过少时改为全量核对。核对人应包含实际使用这些任务的开发或测试人员，而不是只由推动AI试点的角色自行判定。
计算步骤与试点执行节奏
试点评估按周复算，每周固定一天取数，避免周期长度不一致导致比率不可比。以下步骤可以直接作为周度操作流程。
- 确定统计周期与样本范围。明确本周起止时间、参与试点的项目或团队范围，以及哪些任务类型纳入统计。
- 导出AI生成任务清单。按创建来源字段筛选本周AI生成的任务工作项，记录总条数作为公共分母。
- 逐项计算完整率与重复率。这两项可以基于字段值和重复判定规则批量计算，结果保留分子与分母。
- 执行抽查核对。按约定比例抽样，由核对人填写正确性记录，计算字段正确率。
- 统计采纳行为。依据操作记录或人工标注，把每条任务归入直接采纳、修改后采纳、拒绝或状态不明，计算采纳率、修改后采纳率和返工率。
- 整理拒绝原因。对拒绝和废弃的任务按预设类别计数，保留典型条目作为定性说明。
- 标注异常周期。分母为零、样本量明显偏小的周期单独标注，不与其他周合并计算比率。
- 汇总并与基线对比。把本周结果与试点前基线或前几周数据并列，检查口径是否一致后再解读变化。
周度汇总表建议包含：周期、AI生成任务总数、各指标分子、各指标比率、抽查比例、核对人、异常说明。保留原始明细，任何比率都能回溯到具体任务，复核时不需要重新猜测口径。
在承载系统上，任务工作项的创建来源、字段变更和状态流转需要有记录可查，指标才能按上述步骤复算。ONES Assistant 可将自然语言指令转化为 ONES 中可追踪的工作项，并基于项目、工作项、迭代等上下文执行操作，结果以工作项等形式留存；ONES 的AI能力基于权限体系运行，输出过程可追踪。试点团队可以据此核对AI生成任务的留存记录，具体可用的来源标记与变更记录字段需在试点前实际确认。
一个试点周的算例
以下数字为演示用示例数据，仅说明公式代入和异常处理方式，不代表任何真实团队的表现。
某试点周AI生成任务共120条，必填字段齐全的有102条，则字段完整率为102 ÷ 120 = 85.0%。按20%比例抽查24条，其中关键字段与预期一致的有18条，字段正确率为18 ÷ 24 = 75.0%。经重复规则判定与已有工作项重复的有9条，重复率为9 ÷ 120 = 7.5%。
采纳行为方面，未经关键字段修改即被采纳的有54条，采纳率为54 ÷ 120 = 45.0%；修改关键字段后被采纳的有48条，修改后采纳率为48 ÷ 120 = 40.0%；被拒绝或废弃的有15条，占12.5%；状态不明的有3条，占2.5%。返工率统计所有发生关键字段人工变更的任务，包括修改后采纳的48条和修改后仍被废弃的部分任务，假设合计57条，则返工率为57 ÷ 120 = 47.5%。
解读这组示例时，应把采纳率与返工率放在一起：直接采纳45.0%，但返工率达到47.5%，说明接近一半的生成任务需要人工调整关键字段，生成质量仍有改进空间。字段正确率75.0%低于完整率85.0%，提示问题更多出在内容判断而非字段缺失，可以进一步看错误集中在负责人、排期还是任务拆分粒度。
异常处理方面，假设下一周试点范围缩小，AI生成任务只有6条，其中2条被直接采纳。此时采纳率虽可算出为33.3%，但样本过小，应在报告中标注“样本不足，仅供参考”，不与前几周直接比较趋势。若某周AI生成任务为0条，则各比率分母为零，该周只记录“无样本”，不写0%，也不并入月度汇总的比率计算。
跨周对比前需检查口径一致性：必填字段清单是否变化、抽查比例是否调整、重复判定规则是否修改、关键字段范围是否扩大。任何一项变化，都应在对比表中注明，并把变化前后的数据分段呈现。
结果解读与使用限制
指标之间需要组合观察。高采纳率可能来自人工大量修改，应结合返工率和修改后采纳率一起看；字段完整率高但正确率低，说明AI能把字段填满，但填的内容与预期不符，问题在生成逻辑而不在模板。准确性与采纳率要同时观察，单指标不能代表整体效果：准确率不错但采纳率低，可能是任务拆分方式与团队习惯不匹配；采纳率高但重复率也高，可能是AI在重复生成已有任务，短期看似被接受，长期会增加清理成本。
这些指标反映的是生成与采纳过程的表现，不构成研发效率提升的因果证明。任务创建变快，不等于交付变快；采纳率上升，也可能只是团队对试点的新鲜感。若要讨论效率影响，需要另外设计对照或跟踪交付周期等结果指标，并控制同期其他变化。
不建议设定通用达标线。阈值应结合试点前基线、任务类型和业务要求确定，例如需求拆分类任务与缺陷登记类任务对字段正确性的要求并不相同。试点初期可以把目标定为“相对基线改善”或“错误集中在可接受范围”，而不是套用外部数字。
样本量小、场景单一时，结论的适用范围有限。一个团队、一类需求、四周数据，只能说明该场景下的表现，推广到其他团队或其他任务类型前应重新取数验证。报告中应同时写明统计周期、样本范围、抽查比例和已知口径变化，让读者能判断结论的边界。
常见问题
试点刚开始，还没有历史基线，第一周的指标该怎么用？
第一周数据的主要作用是建立基线，而不是判断好坏。建议先把当周的AI生成任务总数、各指标分子分母、抽查比例和核对人完整记录下来，作为后续对比的起点。解读时重点看错误集中在哪些字段、拒绝原因以哪几类为主，这些定性信息比比率本身更有指导价值。等积累三到四周、口径稳定后，再讨论趋势变化。
系统不保留字段变更历史，采纳率和返工率还能算吗？
可以算，但需要补充证据来源。试点期可要求使用者在任务描述或固定标签中标注是否修改过关键字段，由推动试点的角色每周汇总。这种方式依赖人工配合，记录完整性会打折扣，因此应把“状态不明”的任务单独计数并在报告中注明，不并入采纳或拒绝。若长期依赖人工标注，建议同步评估承载系统能否提供创建来源与变更记录，减少手工统计成本。
字段正确率用抽查还是全量核对，抽样比例怎么定？
取决于每周AI生成任务的数量和核对成本。任务量较大时按固定比例抽查，例如20%或不少于30条；任务量小或错误集中时改为全量核对。关键是抽样方式和比例在试点前固定，各周沿用，否则正确率无法跨周比较。核对人应包含实际使用这些任务的开发或测试人员，并保留抽样清单、核对时间和判定结果，便于复核。
采纳率高但返工率也高，说明AI创建任务效果好还是不好？
这组组合说明AI生成的任务大多被保留使用，但接近一半需要人工调整关键字段。它反映的是“可用但不够准”，改进方向应放在生成逻辑上，例如负责人分配、排期建议或任务拆分粒度，而不是继续扩大生成量。建议进一步看修改集中在哪些字段，以及这些字段的修改是否可以通过补充输入上下文或调整模板来减少。
不同任务类型（需求拆分、缺陷登记）的指标能放在一起比较吗？
不建议直接合并比较。不同任务类型对字段正确性的要求不同，需求拆分类任务更关注拆分粒度和验收标准，缺陷登记类任务更关注复现步骤和环境信息。合并统计会让指标互相稀释，掩盖某一类任务的真实问题。建议按任务类型分组统计，各组使用相同的公式和时间窗，再在汇总层面看整体分布。
