AI创建任务的字段完整率、重复率与采纳率怎么统计

统计AI创建任务的字段完整率、重复率、采纳率和返工率,前提是先固定三件事:试点团队与时间窗、纳入统计的工作项类型、必填字段清单。四个指标共用同一分母基线,按周或按批次输出,才能横向比较。下面给出每个指标的口径、取数来源、计算步骤和一组假设算例,并说明结果怎么读、哪些结论不能下。



要点总览(TL;DR)


  • 统计前先固定三件事:试点团队与时间窗、纳入统计的工作项类型、必填字段清单;四个指标共用同一分母基线,按周或按批次输出。
  • 字段完整率=必填字段齐全的AI任务数÷纳入统计的AI任务总数;重复率=被判定为重复的AI任务数÷纳入统计的AI任务总数。
  • 采纳率=人工确认保留的AI任务数÷AI生成任务总数;返工率=创建后被人工修改关键字段的AI任务数÷AI生成任务总数。
  • 分母为零时记为空值并标注“本期无样本”,字段缺失或重复判定存疑的任务单列待核清单,不直接计入或剔除。
  • 指标需组合解读:采纳率高但返工率高说明AI价值在起草而非定稿;单指标不能当作AI质量的整体结论,也不宜直接用作个人绩效依据。


试点评估要回答什么问题


试点评估的目标是判断AI创建任务在真实研发流程中是否可用,以及不可靠集中在哪些字段和环节。它服务于三个决策:是否扩大试点范围、调整提示词或生成规则、在哪些字段上保留人工校验。评估对象应事先写清:参与试点的团队、试点周期(例如连续四周)、纳入统计的工作项类型(例如需求、任务、缺陷中的哪几类)。


建议用一页纸固定评估目标说明,包含四项内容:评估对象与周期;纳入统计的AI创建任务范围;四个指标各自回答的问题;结论的用途与不用途。用途一栏明确写“用于试点去留与调优方向判断,不作为个人绩效考核依据”,可以避免试点成员因担心被考核而修改或隐藏数据。


四个指标分工不同:字段完整率看AI生成的任务信息是否齐全,重复率看AI是否重复造单,采纳率看人工是否愿意保留AI生成的结果,返工率看保留之后人工还要改多少。单看任何一个都不足以判断AI质量,需要组合解读。



四个指标的定义与统计范围


四个指标建议共用同一分母基线:统计时间窗内、由AI创建并进入工作项系统的任务总数。采纳率的分母按定义使用AI生成任务总数,若生成后未进入系统的任务也能被记录,应单独说明其数量,避免与进入系统的任务混算。下表给出完整口径。


指标 分子 分母 时间窗 单位
字段完整率 必填字段全部齐全的AI任务数 纳入统计的AI任务总数 按周或按批次 百分比
重复率 被判定为重复的AI任务数 纳入统计的AI任务总数 按周或按批次 百分比
采纳率 人工确认保留的AI任务数 AI生成任务总数 按周或按批次 百分比
返工率 创建后被人工修改关键字段的AI任务数 AI生成任务总数 按周或按批次 百分比

纳入范围:由AI创建、已进入工作项系统的任务。排除范围:人工创建的任务、测试与演示数据、统计时点前已删除的任务。被删除的任务如果数量可观,应单独记录删除数量与原因,作为解读时的补充信息,不计入四个指标的分子分母。


必填字段清单必须在统计开始前固定并书面留档,例如:标题、负责人、所属项目、优先级、计划完成时间、验收标准。清单一旦确定,试点期内不随意增删;确需调整时,在调整日前后分段统计,两段数据不直接合并比较。重复的判定标准同样要事先写清,由试点负责人、业务代表和研发管理者共同确认,常见判定方式包括:标题与描述高度相似、指向同一需求或缺陷、与已有工作项存在明确关联关系。判定标准写进同一份口径文档,判定人对存疑任务按同一规则处理。


返工率中的“关键字段”应与必填字段清单对齐,例如负责人、优先级、计划完成时间、验收标准被人工修改即计为返工;仅修改描述措辞、补充评论不计入。这样返工率与字段完整率使用同一套字段定义,两个指标可以互相印证。



数据从哪里取、怎么保证可比


四个指标依赖三类记录:创建来源标记(区分AI创建与人工创建)、字段变更记录(记录关键字段的修改时间与修改人)、状态流转记录(记录任务是否被保留、关闭或删除)。取数前先确认系统能按任务导出这三类信息;如果系统无法区分AI创建与人工创建,应先补齐来源标记再开始统计,否则采纳率和返工率没有可靠分母。


需要留痕的字段清单建议包括:创建方式、创建人(或AI生成标识)、创建时间、各关键字段的当前值与修改历史、任务状态变更时间。人工确认保留的动作也要留痕,例如通过状态流转、确认标记或评审记录体现“这条AI任务被人工接受”,避免采纳率只能靠事后回忆判断。


可比性依赖三个一致:同一份必填字段清单、同一套重复判定规则、同一时间窗。三项中任何一项变更,都要在变更日切分数据,分段统计并标注口径版本。跨周比较时,若某周样本量明显偏小,应标注样本量而不是直接比较百分比高低。


在ONES中,AI助手可以把自然语言指令转化为可追踪的工作项,并基于项目与Wiki上下文执行操作,输出过程可追踪、结果可审计。试点团队可以利用工作项的创建与变更记录,按上述字段清单导出数据,完成来源区分和返工判定;具体可查询的字段形态与导出方式,以试点环境实际配置为准,开始统计前先做一次小样本核对。



计算步骤与公式


计算按四步执行:圈定任务集、逐条判定、按公式汇总、交叉核对。圈定任务集时按时间窗和来源标记导出清单,去掉排除项并记录剔除数量;逐条判定时对每条任务打三个标记——必填字段是否齐全、是否重复、关键字段是否被人工修改,同时记录是否被人工保留;汇总时按公式计算;交叉核对时用不同人复核或抽样复核,确认判定一致。


四个公式的完整写法:


  • 字段完整率 = 必填字段齐全的AI任务数 ÷ 纳入统计的AI任务总数 × 100%
  • 重复率 = 被判定为重复的AI任务数 ÷ 纳入统计的AI任务总数 × 100%
  • 采纳率 = 人工确认保留的AI任务数 ÷ AI生成任务总数 × 100%
  • 返工率 = 创建后被人工修改关键字段的AI任务数 ÷ AI生成任务总数 × 100%

异常情况按以下规则处理:分母为零时,该指标记为空值并单独标注“本期无样本”,不按0%处理,也不参与周均值计算;字段缺失导致无法判定的任务,单列“待核清单”,暂不计入分子,在报表中注明待核数量;重复判定存疑的任务同样进入待核清单,由判定人按事先规则复核后再归类,复核结论与判定人一并记录。待核清单在下一期统计前清零或明确结转,避免长期挂账影响可比性。



一个试点周的算例


以下为演示用假设数据,不对应真实团队。某试点周AI生成任务120条,其中进入工作项系统并被纳入统计的为112条,8条在生成后未进入系统,单独记录。逐项判定结果如下:必填字段齐全的98条;被判定为重复的9条,另有3条待核;人工确认保留的104条;保留后被人工修改关键字段的27条。


指标 分子 分母 计算 结果
字段完整率 98 112 98 ÷ 112 87.5%
重复率 9 112 9 ÷ 112 8.0%
采纳率 104 120 104 ÷ 120 86.7%
返工率 27 120 27 ÷ 120 22.5%

解读这组数据时,先看缺失集中在哪些字段:若98条齐全的任务之外,14条缺失主要落在计划完成时间和验收标准,改进动作就指向生成规则或提示词中补充这两类信息,并在人工确认环节加一道检查。重复的9条若集中在同一需求主题,说明生成时对已有工作项的检索不足,可调整生成前的上下文范围。返工27条中若多数是修改负责人和优先级,说明AI对团队分工和优先级的判断依据不足,适合在生成后由负责人快速确认,而不是要求AI一次生成到位。



结果怎么解读、有哪些限制


指标之间要组合看。采纳率高但返工率也高,说明人工愿意保留AI任务,但保留后仍需大量修改,AI的价值更多在起草而非定稿,改进方向是提升关键字段的准确度。字段完整率高但重复率也高,说明任务信息填得齐,但AI没有充分识别已有工作项,改进方向是生成前的查重与上下文检索。采纳率低而完整率高,可能是任务本身可用但人工不信任流程,需要检查确认环节的设计。


不能把单指标当作AI质量的整体结论,也不能直接把四个指标用作个人绩效依据。指标反映的是试点期可观察的准确性侧面,受样本量、判定主观性和口径漂移影响。样本量小时,百分比波动大,建议同时报告绝对数量和分母;重复判定带有主观成分,应固定判定人并做抽样复核;口径中途变更必须分段统计,不把不同口径的数据画在同一条趋势线上。


最后,指标只能说明“发生了什么”,不能证明“为什么发生”。要定位原因,还需结合具体任务的抽样阅读和试点成员的反馈,把指标结果与字段级改进动作对应起来,再决定是否扩大试点。



常见问题


AI生成后没有进入工作项系统的任务,要不要计入采纳率的分母?


采纳率的定义是“人工确认保留的AI任务数÷AI生成任务总数”,分母应包含生成后未进入系统的任务,否则采纳率会偏高。实际操作中,如果系统只能导出已进入工作项的任务,建议单独记录未进入系统的数量与原因,在报表中注明“本期有N条生成后未进入系统,未纳入分母”,并说明该口径与完整定义的差异。跨周比较时保持同一处理方式,避免某一周补录数据后分母突然变化。


重复判定出现分歧时,应该由谁裁决、怎么留痕?


重复判定标准应在统计开始前由试点负责人、业务代表和研发管理者共同确认并书面留档,判定人按同一规则处理。遇到存疑任务,先放入待核清单,由事先指定的判定人复核,复核结论与判定人一并记录。若同一类分歧反复出现,说明判定规则本身需要细化,应在下一期统计前修订规则,并在修订日切分数据、分段统计,不把修订前后的数据直接合并比较。


试点只有两三周、样本量很小,百分比还有参考价值吗?


样本量小时百分比波动很大,单看百分比容易误判。建议同时报告绝对数量和分母,例如“本周AI任务28条,其中重复3条”,而不是只写“重复率10.7%”。两三周的试点更适合看趋势和字段级分布:缺失集中在哪些字段、重复集中在哪些需求主题、返工集中在哪些关键字段,这些分布信息比百分比本身更能指导调优。若样本量持续偏小,可以延长观察期或扩大试点范围后再做周间比较。


统计口径中途需要调整,之前的数据怎么处理?


口径调整包括必填字段清单增删、重复判定规则修订、纳入排除范围变化。处理原则是在调整日切分数据,调整前后分段统计,各自标注口径版本,不把不同口径的数据画在同一条趋势线上。如果调整发生在试点中期,可以在报表中并列展示两段数据并注明差异原因,让阅读者知道两段不可直接比较。口径文档同步更新,保留修订记录,便于后续复核。


四个指标算出来之后,怎么对应到具体的改进动作?


先做字段级拆解,再看指标组合。字段完整率偏低时,看缺失集中在哪些必填字段,改进动作指向生成规则或提示词中补充对应信息,并在人工确认环节加检查点。重复率偏高时,看重复任务是否集中在同一需求主题,改进方向是生成前扩大对已有工作项的检索范围。返工率偏高时,看被修改的关键字段分布,若集中在负责人和优先级,说明AI对团队分工判断依据不足,适合在生成后由负责人快速确认。指标只说明发生了什么,定位原因还需结合具体任务的抽样阅读和试点成员反馈。