AI效果无法衡量，常见原因是评估对象、指标口径和证据链在开始前没有定义清楚。本文给出一套可复算的评估方法：先锁定一类AI应用场景和业务动作，再定义产出与过程指标，写清分子分母、时间窗和缺失处理，用试点前后对比或分组对照收集证据，最后结合定性材料解释结果。文中也会说明ONES在工作项与评审记录层面如何支撑取数。
要点总览（TL;DR）
- AI效果无法衡量，多数情况是评估对象、指标口径和证据链没有在取数前定义清楚，先锁定一类AI应用场景和一类业务动作再谈指标。
- 把AI效果拆成使用行为、任务产出质量、业务结果三类对象，每次选一类作为主对象，其余作为辅助解释，避免用使用频次高直接推出业务收益好。
- 每个指标写成可复算的口径卡：公式、分子、分母、时间窗、数据来源和缺失处理；分母为零标注不可计算，缺失超标只作观察项。
- 用试点前后对比或同任务分组对照收集证据，定量结果与抽样记录、访谈结论交叉验证，结论写明适用范围、样本量和已知干扰因素。
- 单指标不能代表AI整体绩效，结论宜写成“在本次样本和口径下某指标由A变为B”，并约定复评节奏。
先明确要评估哪一类AI效果
“AI效果无法衡量”往往不是缺少数据，而是把不同层面的问题混在一个结论里。模型跑分高，不代表团队愿意用；生成内容多，不代表返工少；某个环节提速，也不代表交付周期缩短。评估的第一步，是把“AI效果”拆成可以分别观察的三类对象。
三类评估对象
| 对象 | 回答的问题 | 典型观察点 |
|---|---|---|
| 使用行为 | 谁在用、用得多不多、用在哪些任务上 | 使用人数、使用频次、覆盖的任务类型 |
| 任务产出质量 | AI生成或辅助的内容是否被采纳、是否需要返工 | 采纳率、返工率、评审一次通过率、人工修改幅度 |
| 业务结果 | 对交付节奏、质量或成本是否产生可观察的变化 | 需求交付周期、缺陷密度、评审耗时 |
三类对象对应不同的证据来源和统计方式。使用行为回答“有没有人用”，任务产出质量回答“用了之后产出是否可用”，业务结果回答“是否传导到交付”。评估时先选定其中一类作为主对象，其余作为辅助解释，避免把使用频次高直接写成业务收益好。
写清评估要回答的问题和决策用途
评估目标说明应当包含一句具体的问题，例如“在需求评审环节引入AI生成评审意见后，评审意见的采纳比例和评审返工情况是否发生变化”。问题越具体，后面的指标和样本范围越容易确定。同时写明决策用途：是决定是否扩大试点范围、是否调整使用方式，还是判断是否继续投入。用途不同，对证据强度的要求也不同。
划定不纳入范围
本次评估不处理模型能力基准测试，例如通用问答准确率、代码生成基准得分；也不重建通用研发效能指标体系。这两类工作各有独立方法，混入AI应用效果评估会让结论无法归因。评估目标说明中应把不纳入项写出来，作为后续讨论的边界。
交付物是一页评估目标说明，包含：评估对象（三类中的哪一类为主）、要回答的具体问题、决策用途、不纳入项。这份说明在取数前定稿，后续指标调整需记录原因。
指标与范围：选哪些指标、覆盖多大样本
指标选择遵循一个原则：一个AI动作对应一个可观察结果。指标数量控制在能解释清楚的范围，通常产出指标两到三个、过程指标两到三个即可。指标过多会增加口径争议，也会让结论分散。
产出指标与过程指标搭配
产出指标回答“有没有用”，例如采纳率、返工率、评审一次通过率。过程指标解释“为什么”，例如使用频次、从生成到采纳的时长、人工修改幅度。两类指标搭配使用：产出指标变化时，过程指标帮助判断变化来自使用不足、内容质量还是流程配合。
指标与AI动作的对应关系
| 指标名 | 类型 | 对应的AI动作 | 统计范围示例 |
|---|---|---|---|
| AI建议采纳率 | 产出 | 评审环节AI生成评审意见，被评审人采纳 | 试点团队A，2025年3月至5月提交评审的需求 |
| 评审返工率 | 产出 | 评审通过后因遗漏问题再次修改 | 同上批次需求 |
| 人均周使用频次 | 过程 | 成员在评审任务中调用AI | 试点团队A全部成员，按周统计 |
| 生成到采纳时长 | 过程 | 从AI输出到意见被标记采纳 | 被采纳的AI建议记录 |
表格中“统计范围示例”一列需要在正式评估前替换为实际团队、场景和时间窗。每个指标只对应一个AI动作，避免一个指标同时解释多个环节。
统计范围：团队、场景、时间窗、样本量
统计范围包含四个要素：哪些团队或成员、哪类任务场景、起止时间、预计样本量。范围过宽会让不同任务难度混在一起，范围过窄则样本不足。一个可操作的起点是选择一个团队、一类任务、连续四到八周。样本量在取数前估算：如果某指标预计每周只有个位数记录，应延长观察期或扩大团队范围，并在结论中标注样本量。
交付物是指标清单表，至少包含指标名、类型、对应AI动作、统计范围四列。清单定稿后再进入口径定义，避免边算边改。
数据口径与证据：分子分母怎么定
口径不清是评估争议的主要来源。同一个“采纳率”，按AI建议条数算和按需求单数算，结果可能差很多。每个指标都要写成可复算的公式，并注明数据来源。
指标口径卡的基本字段
| 字段 | 填写要求 |
|---|---|
| 指标名 | 与指标清单一致，不使用同义替换 |
| 公式 | 分子÷分母×100%，单位写明为百分比 |
| 分子 | 明确计数对象，例如“被标记采纳的AI建议条数” |
| 分母 | 明确计数对象和时间窗，例如“同期生成的AI建议总条数” |
| 时间窗 | 起止日期，以及按生成时间还是采纳时间归属 |
| 数据来源 | 工具日志、评审记录、工作项状态或人工抽样 |
| 缺失处理 | 缺失记录如何标记、是否剔除、剔除后是否影响样本量 |
以采纳率为例：分子为统计期内被标记采纳的AI建议条数，分母为同期生成的AI建议总条数，时间窗按建议生成时间归属。若部分建议没有采纳标记，应单独统计“未标记”数量，不能默认视为未采纳，也不能直接剔除而不说明。
数据来源与采集方式
常见来源有三类：工具日志记录调用和生成行为；评审记录或工作项状态记录采纳、返工和流转；人工抽样补充日志无法覆盖的判断，例如修改幅度是否实质性。三类来源应交叉使用，单一来源容易遗漏。采集前确认字段是否稳定、是否可导出、统计口径是否与工具内展示一致。
缺失值、分母为零与样本不可比
分母为零时标注“不可计算”，不按零处理，也不写成效果差。缺失值超过一定比例时，该指标本期不纳入结论，只作为观察项。样本不可比的情况包括：两组任务难度差异大、人员能力结构不同、统计期内流程发生变更。遇到不可比，应缩小范围或改用同任务分组，并在结果中说明调整。
定性证据的采集方式与通过标准
定性证据用于解释数字背后的原因。采集方式包括：抽取一定数量的AI生成内容，逐条记录被修改的位置和原因；对使用者做结构化访谈，围绕“哪些任务会调用、哪些不会、为什么”提问。通过标准在采集前约定，例如“抽样覆盖不少于三十条记录，修改原因能归入内容准确性、上下文缺失、表达风格三类中的至少两类”，达到标准才作为解释依据，未达到则只作参考。
计算与评估步骤：从取数到结论
评估按固定顺序执行，保证结果可复算。步骤之间保留记录，便于复评时对照。
第一步：建立基线
基线是AI介入前的同类任务表现，或未使用AI的同类任务表现。基线数据的时间窗、任务类型和统计口径应与评估期一致。若历史数据口径不同，先做口径对齐，无法对齐的部分标注为不可比。
第二步：选择对照设计
前后对比操作简单，适合单团队试点，但容易受学习效应和任务难度变化干扰。同任务分组对比更接近因果判断：把同类任务分到使用AI和未使用AI两组，比较产出指标。分组时尽量保证任务类型、优先级和人员能力大致可比，并在结果中说明分组方式。
第三步：逐指标计算与汇总
按口径卡逐项计算，每项记录分子、分母、结果和样本量。汇总表按指标分行，按基线和评估期分列，附上差异值和差异方向。分母为零或缺失超标的指标单独列出，不进入汇总结论。
第四步：定量与定性交叉验证
把定量结果与抽样记录、访谈结论对照。若采纳率上升但返工率同步上升，需要查看抽样中修改原因是否集中在某类问题；若使用频次低但采纳率高，需要确认是否只有少数熟练成员在使用。交叉验证的作用是解释数字，不替代数字。
交付物是评估执行步骤清单和结果汇总表。步骤清单记录每一步的执行日期、数据版本和负责人，汇总表保留原始分子分母，便于他人复算。
在取数环节，评估依赖工作项状态、评审记录和操作留痕能够被稳定记录。ONES Assistant 智能助手连接 ONES Project、ONES Wiki 与 ONES TestCase，理解项目、工作项、迭代和 Wiki 页面等上下文，并把自然语言指令转化为 ONES 中可追踪的工作，执行结果可保存为工作项、Wiki 页面等内容。对于需要按工作项统计采纳、返工和流转的评估，这类记录方式为口径卡中的“数据来源”提供了可核对的载体；具体统计字段和报表能力需在选型时向厂商确认。
一个可复算的评估例子
以下为演示情景，数字用于说明计算过程，不代表任何真实团队的表现。
示例场景与样本设定
某团队在需求评审环节引入AI生成评审意见，试点期八周。统计范围为该团队同期提交评审的需求，共一百二十条。基线取试点前八周同类需求一百条。指标为AI建议采纳率、评审返工率和人均周使用频次。
采纳率的计算
试点期AI共生成建议四百八十条，其中被标记采纳二百一十六条，未标记采纳二百四十条，标记不采纳二十四条。按口径卡，采纳率分子为被标记采纳条数，分母为生成总条数：216÷480×100%＝45.0%。未标记的二百四十条单独记录，占50.0%，在结论中说明标记缺失情况，不并入采纳或未采纳。
返工率的计算
返工率分子为评审通过后因遗漏问题再次修改的需求数，分母为同期提交评审的需求数。试点期一百二十条需求中，返工十八条，返工率18÷120×100%＝15.0%。基线期一百条需求中返工二十条，返工率20.0%。两期口径一致，差异为下降5.0个百分点。
与基线对比及口径修正
采纳率没有基线值，因为基线期未使用AI，该指标只在试点期内部观察，用于判断使用深度，不用于前后对比。返工率可与基线对比，但需注意试点期任务难度是否变化。复核时发现，试点期有六条需求属于紧急插入任务，难度高于基线期平均水平，剔除后返工率为12÷114×100%≈10.5%。两种结果都保留，结论中说明剔除依据和影响，避免只呈现有利数字。
示例暴露的口径问题
未标记采纳占比达到一半，说明采纳标记流程没有完全执行。修正方式是：在评审流程中增加采纳确认动作，或改用抽样判定并记录抽样比例。这个问题不解决，采纳率的解释力有限，应作为复评前的改进项。
结果怎么解读，以及评估的局限
评估结果是一组带条件的观察，不是AI整体价值的定论。解读时先看适用范围，再看差异方向，最后说明不能得出什么结论。
相关性与因果性的区别
前后对比得到的差异可能来自AI，也可能来自任务难度变化、人员熟练度提升或流程调整。分组对照能减少部分干扰，但仍需说明分组是否可比。结论宜写成“在本次样本和统计口径下，返工率由20.0%变为15.0%”，不写成“AI使返工率下降”。
单指标不能代表整体绩效
采纳率高可能伴随返工率上升，使用频次高可能集中在少数成员。任何单一指标都只反映一个侧面。结论应同时呈现产出指标和过程指标，并说明指标之间的关系。
常见干扰因素
- 样本偏差：试点团队通常是意愿较强的团队，结果外推到其他团队需谨慎。
- 学习效应：使用时间越长，操作越熟练，前后对比会把熟练度提升计入AI效果。
- 任务难度差异：试点期任务构成变化会直接影响返工率和评审耗时。
- 标记缺失：采纳、返工依赖人工标记时，缺失比例过高会削弱指标解释力。
结论表达与复评节奏
结论写明四项内容：适用范围（团队、场景、时间窗）、样本量、指标口径版本、已知干扰因素。复评节奏按决策用途设定，例如试点扩大前复评一次，稳定运行后每季度复评一次。复评时沿用同一口径卡，口径变更需单独记录并说明对可比性的影响。
交付物是结果解读要点与局限说明清单，与结果汇总表一并归档，作为下一轮评估的基线材料。
常见问题
试点期数据缺失或采纳标记不全，评估还能继续吗？
可以继续，但要把缺失当作口径问题处理，不当作效果结论。做法是：先统计缺失比例，例如示例中未标记采纳的建议占50.0%，这类记录单独列出，不并入采纳也不并入未采纳；缺失比例超过事先约定的阈值时，该指标本期只作观察项，不进入汇总结论。
同时把标记流程的改进列为复评前的动作，例如在评审流程中增加采纳确认，或改用抽样判定并记录抽样比例。缺失问题不解决，采纳率这类指标的解释力有限，结论中应写明这一点。
只有一个团队试点，没有未使用AI的对照组，怎么评估？
单团队试点通常只能做前后对比：取试点前同类任务作为基线，统计口径、任务类型和时间窗与试点期对齐。前后对比操作简单，但学习效应和任务难度变化会混入差异，解读时需说明。
如果条件允许，可在试点团队内部做同任务分组：把同类任务分到使用AI和未使用AI两组，比较产出指标，分组时尽量保证任务类型、优先级和人员能力大致可比。两种设计都应在结论中写明分组方式和可比性判断，不把前后差异直接写成AI带来的因果效果。
采纳率上升但返工率也上升，说明AI效果差吗？
不能直接下这个结论，需要先看两个指标各自对应什么。采纳率上升说明AI建议被更多接受，返工率上升说明评审通过后因遗漏问题再次修改的需求变多，两者可能同时发生。
处理方式是回到定性证据：抽取一定数量的AI生成内容，逐条记录被修改的位置和原因，看返工是否集中在内容准确性、上下文缺失或表达风格某一类问题；再看过程指标，例如生成到采纳的时长和人工修改幅度。交叉验证用来解释数字之间的关系，结论中同时呈现两类指标，不用单一指标代表整体绩效。
评估结论应该怎么写，才能避免被当成AI整体价值的定论？
结论写明四项内容：适用范围（团队、场景、时间窗）、样本量、指标口径版本、已知干扰因素。表述上区分相关性与因果性，例如写成“在本次样本和统计口径下，返工率由20.0%变为15.0%”，并说明试点期任务构成是否变化、是否剔除过特殊任务。
同时说明不能得出什么结论：单指标只反映一个侧面，试点团队通常意愿较强，结果外推到其他团队需谨慎。复评节奏按决策用途设定，例如试点扩大前复评一次，稳定运行后每季度复评一次，复评沿用同一口径卡，口径变更单独记录。
评估取数依赖工作项和评审记录，ONES 在这类记录上能提供什么支撑？
评估的口径卡需要“数据来源”一列，常见来源包括工具日志、评审记录和工作项状态。ONES Assistant 智能助手连接 ONES Project、ONES Wiki 与 ONES TestCase，理解项目、工作项、迭代和 Wiki 页面等上下文，把自然语言指令转化为 ONES 中可追踪的工作，执行结果可保存为工作项、Wiki 页面等内容。
对于按工作项统计采纳、返工和流转的评估，这类记录方式为取数提供了可核对的载体。是否提供使用频次、采纳率等内置统计报表，以及可用版本和部署方式，现有资料未说明，需在选型时向厂商确认。
