确定AI任务成功率的统计口径，关键在固定三件事：什么算一个“AI任务单元”、什么算“成功”、分母从哪里取。三者缺一，数字就无法复算，也无法解释。本文按定义、取数、计算、示例和解读限制的顺序，给出一套可落地的口径框架，并说明如何用样本回算和一致性校验验证口径本身是否站得住。
要点总览（TL;DR）
- AI任务成功率的口径要先固定三件事：任务单元定义、成功判定标准、分母取数来源，三者缺一数字就无法复算。
- 任务单元建议定义为一次可识别的AI辅助交付动作（如一次代码生成请求、一次缺陷定位会话），并分配唯一标识用于去重和追溯。
- 成功判定采用可观察结果加人工或规则校验的双重标准；分母取同一时间窗内已完结的单元，排除进行中、重复提交和空请求，人工接管单列。
- 成功率=成功单元数÷已完结单元数×100%，分母为零时标注“本期无已完结单元”而非报0%，样本过少时标注样本量并暂缓下结论。
- 口径需用样本回算、双人标注一致性和跨团队对比验证，变更时做版本管理并保留旧口径复算结果；单指标不能代表AI整体效果。
评估目标：AI任务成功率要回答什么问题
AI任务成功率要回答的是一个具体问题：在团队真实的研发流程中，AI辅助是否真的把一件可识别的任务推进到了完成状态。它衡量的是应用效果，不是模型能力。使用者通常是研发负责人、效能改进团队和AI应用推广的决策者，他们需要据此判断是否扩大使用范围、在哪些任务类型上优先投入、哪些环节需要补充人工校验。
这个指标与两类相邻概念有明确分界。技术模型基准测试在受控条件下评测模型输出质量，样本和评分标准由评测方设定，与团队实际工作流无关；一般研发效能指标如需求交付周期、缺陷密度，衡量的是整体交付效率，AI只是其中一个可能的影响因素。AI任务成功率处在两者之间：它使用真实工作记录，但只聚焦“AI参与的任务是否完成”这一件事。
明确目标后，边界也随之清晰。该指标不用于给模型打分，不用于替代交付周期等效能指标，也不单独作为团队绩效依据。它服务的决策是：AI辅助在哪些任务上可靠、在哪些任务上需要更多人工介入、推广节奏是否合适。
指标与范围：任务单元、成功判定与统计边界
口径骨架由四项定义组成：任务单元、成功判定、纳入排除范围、统计时间窗。四项都写成书面约定，后续取数和计算才有共同依据。
任务单元的定义粒度
建议把任务单元定义为一次可识别的AI辅助交付动作，例如一次代码生成请求、一次缺陷定位会话、一次测试用例生成。每个单元分配唯一标识，用于去重和追溯。粒度不宜过粗，把一整天的AI使用合并成一个单元会让成功判定失去意义；也不宜过细，把一次会话中的每轮对话都算作独立单元会放大分母并引入大量无效记录。
成功判定的标准
成功判定采用“可观察结果+校验”的双重标准。可观察结果指产出被下游采纳或流程继续推进，例如生成的代码合入分支、定位结论被确认并修复、生成的用例进入测试执行。校验指人工复核或规则检查，用于确认产出确实满足任务要求。仅凭AI自述完成或用户口头认可，不足以作为成功证据。
纳入与排除范围
纳入范围是同一统计对象、同一时间窗内已完结的任务单元。排除项需要逐条写明：进行中的单元不计入分母；重复提交的同一任务只保留一条；空请求和无效输入不计入；人工接管的任务单元单独标记，按口径约定决定计入成功、计入失败或单列统计，三种处理方式的结果差异较大，必须在口径中事先固定。
| 口径要素 | 定义内容 | 落地要求 |
|---|---|---|
| 任务单元 | 一次可识别的AI辅助交付动作 | 唯一标识、任务类型字段 |
| 成功判定 | 可观察结果+人工或规则校验 | 证据字段、复核人记录 |
| 纳入范围 | 同对象、同时间窗内已完结单元 | 完结状态字段 |
| 排除范围 | 进行中、重复、空请求、人工接管（单列） | 去重规则、标记字段 |
| 时间窗 | 按周或按迭代统计，起止时间固定 | 与完结时间对齐 |
数据口径与证据：分子分母从哪里取
分母取自已完结任务单元的记录集合，取数依赖两个字段：任务单元的创建或发起记录，以及完结状态字段。完结判定应以系统状态为准，例如工作项流转到完成状态、会话被标记为结束、生成结果被提交评审。仅有创建时间而无完结状态的记录，不能进入分母。
分子取自成功证据。人工复核结论、规则校验结果、下游采纳记录都可以作为证据来源，优先选择系统自动留痕的证据，减少人工补录。证据需要与任务单元一一对应，保留复核人、复核时间和判定结论，便于抽样复查。
缺失值和口径不一致是常见问题，处理方式应在口径中写明：完结状态缺失的单元标记为“状态不明”，单列不计入分母；重复提交按唯一标识去重，保留最早一条；跨系统统计时，以任务单元唯一标识做关联，关联不上的记录不强行合并，单独统计并说明占比。证据留存要求包括原始记录可导出、判定结论可追溯、清洗规则可复现，任何一次对外发布的成功率都应能由原始数据重新算出。
在取数与证据环节，任务记录和状态留痕的完整性直接决定口径能否落地。ONES Assistant 智能助手可以把自然语言指令转化为 ONES 中可追踪的工作，并将结果保存为工作项、Wiki 页面等内容，使AI辅助动作在项目中有对应的记录载体；具体使用哪些字段做完结判定和成功证据，需按团队实际配置核验后再写入口径。
计算与评估步骤：从原始记录到可复算结果
成功率的基本公式为：成功率 = 成功任务单元数 ÷ 已完结任务单元数 × 100%，单位为百分比，分子分母必须同源、同时间窗、同统计对象。计算前先完成清洗，再按任务类型、团队、时间窗分层输出。
分步计算流程
- 导出统计时间窗内的全部任务单元原始记录，包含唯一标识、任务类型、创建时间、完结状态、证据字段。
- 按排除规则清洗：去除进行中、重复、空请求记录，标记人工接管单元。
- 按证据字段判定每个单元的成败，无证据的单元标记为待复核，不默认计入成功或失败。
- 统计分母（清洗后已完结单元数）和分子（判定成功单元数），计算总体成功率。
- 按任务类型、团队、周或迭代分层计算，输出各层样本量与成功率。
- 对结果做抽样复核，记录复核发现的问题并回改口径或数据。
分母为零与样本过少的处理
分母为零时不报0%，应标注“本期无已完结任务单元”，不参与趋势比较。样本量过少时同样标注样本量，例如已完结单元少于30个时，成功率仅作参考，暂缓据此下结论。是否设置样本量门槛由团队根据任务量确定，门槛值写入口径并保持一致。
口径验证方法
口径确定后需要验证，常用三种方式并用。样本回算：抽取一批原始记录，由两人独立按口径计算，比较结果是否一致，一致率低说明定义存在歧义，需补充判定细则。双人标注一致性：针对成功判定环节，统计两人判定结论的一致比例，对分歧样本逐条讨论并形成判例。跨团队对比：在口径相同的前提下比较不同团队结果，若差异过大，先排查数据来源和任务构成，再判断是否为真实效果差异。
例子：一次口径回算的完整演示
以下为演示情景，数据为构造示例，用于说明计算过程。
某团队统计某一周内“测试用例生成”类AI任务，时间窗为周一0点至周日24点。原始记录共120条，其中进行中8条、重复提交5条、空请求3条，清洗后已完结单元104条。人工接管单元6条，按口径单列，不计入分子分母，实际参与计算的单元为98条。
对98条单元逐一核对证据：生成用例进入测试执行且复核通过的71条，判定成功；生成结果被驳回或未采纳的19条，判定失败；证据缺失待复核的8条，暂不计入分子，在结果中单独披露。据此，成功率 = 71 ÷ 98 × 100% ≈ 72.4%，另有8条待复核，占8.2%。
| 处理环节 | 数量 | 说明 |
|---|---|---|
| 原始记录 | 120 | 时间窗内全部任务单元 |
| 排除：进行中 | 8 | 未完结，不进分母 |
| 排除：重复提交 | 5 | 按唯一标识去重 |
| 排除：空请求 | 3 | 无效输入 |
| 单列：人工接管 | 6 | 不计入分子分母 |
| 参与计算单元 | 98 | 分母 |
| 判定成功 | 71 | 分子 |
| 判定失败 | 19 | 产出未采纳 |
| 待复核 | 8 | 证据缺失，单独披露 |
分层对比时，若该团队按模块拆分，可能发现某模块成功率为85%、另一模块为58%。此时应先检查两模块的任务难度、输入质量和复核标准是否一致，再解释差异。异常说明需写入报告：待复核8条若全部判定成功，成功率上限约为80.6%；若全部失败，下限约为72.4%，区间应在结论中体现。
解读与限制：口径确定后仍需注意什么
成功率是单指标，不能代表AI整体效果。它反映任务是否完成，不反映完成质量、返工成本和用户满意度，也不说明效率提升幅度。对外汇报时应与任务量、人工接管比例、待复核比例一起呈现，避免只报一个百分比。
任务难度差异会导致跨团队不可比。复杂缺陷定位与简单用例生成的成功率天然不同，直接比较团队排名容易得出错误结论。可行的做法是按任务类型分组比较，或在口径中引入难度分层，分层后再看趋势。
口径变更需要版本管理。每次修改任务单元定义、成功标准或排除规则，都应记录版本号、变更原因和生效时间，并保留旧口径下的复算结果，保证历史数据可对比。指标结果与因果结论要区分：成功率上升可能来自任务构成变化、复核标准放宽或使用熟练度提升，不能直接归因于AI能力改进，需要结合对照数据或分群分析再下判断。
常见问题
人工接管的任务单元应该算成功还是算失败？
三种处理方式都可行，关键是事先写进口径并保持一致。计入成功会高估AI的独立完成能力；计入失败会低估AI在“人机协作”中的实际贡献；单列统计则保留信息但增加解读成本。建议的做法是把人工接管单独标记、单列披露，同时给出“AI独立完成率”和“含人工接管的完成率”两个数，让读者自己判断。口径一旦确定，跨周期比较时不要中途切换处理方式，否则趋势会失真。
同一个任务被AI多次尝试，分母应该按尝试次数还是按任务数算？
取决于口径要回答的问题。按尝试次数算，衡量的是单次AI调用的可靠性，适合评估模型或提示词质量；按任务数算，衡量的是任务最终是否被完成，适合评估AI在真实工作流中的价值。两种口径不能混用，也不能互相替代。建议在口径中明确统计单位，并保留尝试次数与任务数的对应关系，需要时可以从任务口径下钻到尝试口径，但对外只报一种主口径。
跨团队比较成功率时，发现差异很大，应该先查什么？
先排查三类非效果因素，再判断是否为真实差异。第一是数据来源：各团队的完结状态字段、证据留存方式是否一致，是否存在一方大量记录缺证据。第二是任务构成：复杂缺陷定位与简单用例生成的成功率天然不同，需按任务类型分组后再比。第三是复核标准：不同团队对“成功”的判定宽严可能不同，可用同一批样本做交叉复核来校准。三项都排除后，剩余差异才适合作为效果差异讨论。
样本量很少的周期，成功率还要不要报？
可以报，但要同时标注样本量并说明仅供参考。分母为零时不报0%，标注“本期无已完结任务单元”，不参与趋势比较。样本量门槛由团队按任务量确定，例如已完结单元少于30个时暂缓据此下结论，门槛值写入口径并保持一致。样本少时更稳妥的做法是看滚动多周累计值，或把相邻周期合并统计，避免单周波动被误读为效果变化。
口径定好之后，怎么确认它本身是合理的？
用三种方式交叉验证。样本回算：抽一批原始记录，由两人独立按口径计算，比较结果是否一致，一致率低说明定义有歧义，需补充判定细则。双人标注一致性：针对成功判定环节统计一致比例，对分歧样本逐条讨论形成判例。跨团队对比：口径相同的前提下比较不同团队，差异过大时先排查数据来源和任务构成。验证通过后再固化为正式口径，并记录版本与生效时间。
