无法开展严格对照实验时，AI应用效果评估的关键是建立三层证据：代理指标提供连续可观察的量化信号，抽样评审校验信号与实际质量是否一致，基线对比把变化放到同一口径下判断。三者交叉印证后，结论按可信、待观察、不成立分级。本文给出可直接执行的指标表、评审方案、基线说明和检查清单，适用于数据基础薄弱、单场景起步的研发团队。
要点总览（TL;DR）
- 无法做对照实验时，用三层证据替代实验：代理指标提供连续量化信号，抽样评审校验信号与实际质量是否一致，基线对比把变化放到同一口径下判断。
- 最小起步规模控制在一个场景、一个团队、4–6周一个周期；先锁定基线口径，再跑指标，再抽样复核，最后合并结论。
- 代理指标每个场景至少保留两个方向互补的指标同时观察，例如代码生成场景同时看采纳比例和生成后修改行数占比，避免单一指标直接下结论。
- 基线可选历史同期、启用前后分段、可比团队平行三类，使用前对齐任务类型、复杂度、人员经验和时间窗口，并说明季节性、人员变动等偏差。
- 结论按可信、待观察、不成立三档分级，每档对应明确的证据要求；证据不足时降级为待观察并写明补足计划。
最小可行评估方案：三层证据怎么组合
三层证据各自回答不同问题，缺一层结论就容易失真。代理指标回答“有没有变化、变化是否持续”，抽样评审回答“变化是不是真的变好”，基线对比回答“变化是否超出正常波动”。只有三者指向一致，才具备下结论的条件。
三层证据的分工可以这样理解：
| 证据层 | 解决的问题 | 产出物 | 更新频率 |
|---|---|---|---|
| 代理指标 | 建立连续、可比的量化信号 | 指标定义表与周度数据 | 每周 |
| 抽样评审 | 校验指标变化与实际质量是否一致 | 评分记录与评审小结 | 每月 |
| 基线对比 | 把变化放到同口径下判断方向和幅度 | 基线说明与对比结论 | 周期末 |
组合顺序建议固定为：先定基线，再跑代理指标，再抽样复核，最后合并结论。基线先行是因为指标采集一旦开始，口径就应锁定；如果先跑指标再补基线，历史数据往往无法回溯到同一口径。抽样复核放在指标运行一段时间之后，样本才能覆盖不同阶段的使用情况。
数据基础薄弱时，最小起步规模控制在一个场景、一个团队、4–6周一个评估周期。场景选择标准是：AI使用频率较高、产出物可被人工检查、有可比较的历史数据或平行团队。第一轮评估的目标是跑通流程、校准指标和评分表，结论本身可以保守。
结论分级建议按证据充分程度划分：
- 可信：至少两个方向互补的代理指标同向变化，抽样评审结果与指标方向一致，基线对比显示变化幅度超出波动范围，且偏差已说明。
- 待观察：指标有变化但方向不一致，或评审样本量不足，或基线口径存在未消除的偏差。此时延长观察周期或补充样本，不下最终结论。
- 不成立：指标无明显变化，或评审发现质量下降，或变化可由基线偏差完全解释。记录原因后调整使用方式或指标设计。
代理指标怎么选：从可采集的数据出发
代理指标的选取遵循三条原则：与目标行为接近，即指标变化能反映实际工作结果；采集成本低，能从现有工具链自动获取或低成本人工统计；不易被单方面操纵，避免选择那些只要改变操作习惯就能“刷高”的指标。三条原则冲突时，优先保证与目标行为接近。
按场景分类的候选指标如下：
| 场景 | 候选指标 | 采集方式 | 已知偏差 |
|---|---|---|---|
| 代码生成 | AI生成代码被采纳比例、生成后修改行数占比 | 代码库提交记录与AI工具日志比对 | 采纳不等于质量高，可能因审查不足而偏高 |
| 代码评审 | 评审意见数量、评审轮次、从提交到合并时长 | 代码平台评审记录 | 意见数量受评审人习惯影响，不能单独代表质量 |
| 问答检索 | 提问后未追问比例、答案被引用次数、检索结果点击率 | 工具使用日志 | 未追问可能是放弃而非满意 |
| 测试与缺陷 | 缺陷发现阶段分布、测试用例执行通过率、回归缺陷占比 | 测试管理工具与缺陷库 | 缺陷分类口径变化会影响可比性 |
筛选时用一张表把候选指标固定下来，字段包括：指标名称、采集方式、采集频率、与目标行为的关联理由、已知偏差、负责人。填写完成后逐项检查：关联理由是否具体到可观察的行为，偏差是否已有应对办法，采集是否能在不增加明显负担的前提下持续进行。
每个场景至少保留两个方向互补的指标同时观察。例如代码生成场景，采纳比例反映使用广度，生成后修改行数反映产出质量，两者结合才能避免“用得多但改得也多”被误判为效果提升。单一指标只能作为线索，不能作为结论。
抽样评审怎么设计：样本、评分表与执行
抽样评审的作用是把量化信号拉回实际质量。抽样方法建议分层抽样与随机抽样结合：先按场景、使用频率或任务复杂度分层，保证各层都有样本，再在层内随机抽取，避免只挑典型样本。样本量在起步阶段可设为每层每周5–10个，随周期推进逐步累积；样本量不足时结论只能定为待观察。
评分表围绕三个维度设计，每个维度给出分档标准：
- 正确性：产出是否事实正确、逻辑成立、可直接使用。分三档：无需修改、小修可用、需重做。
- 完整性：是否覆盖任务要求的关键点。分三档：完整覆盖、部分缺失、明显缺失。
- 可采纳性：评审人是否愿意在真实工作中采用该产出。分三档：直接采纳、修改后采纳、不采纳。
评审人安排取决于评估目的：起步阶段可由场景负责人单人评审，快速建立基线；进入正式评估周期后建议双人评审关键样本，两人独立打分后比对，分歧超过一个档位时由第三人裁定或共同复核。单人评审时应在记录中注明，结论分级时相应降低证据权重。
评审记录字段建议固定为：样本编号、场景、任务描述、评审人、各维度评分、修改意见、是否采纳、评审日期。记录格式统一后，才能按月汇总并与代理指标对照。评审任务和记录可以放在团队已有的协作工具中承载，例如在ONES中把评审样本登记为工作项、把评分表和评审小结沉淀为Wiki页面，使样本可追溯、结论可复用；ONES Assistant智能助手可基于项目与Wiki上下文回答评估进展类问题，并把结果保存为工作项或页面，减少重复录入。
基线怎么建：没有对照组时的同口径对比
没有对照组时，基线的作用是提供一个“如果没有AI辅助，情况大概是什么样”的参照。三类基线各有适用条件：
| 基线类型 | 做法 | 适用条件 | 主要偏差 |
|---|---|---|---|
| 历史同期基线 | 取AI启用前同一团队、同类任务的历史数据 | 历史数据完整、任务结构稳定 | 季节性、人员变动、业务节奏变化 |
| 启用前后分段基线 | 以启用时间为界，比较前后两段的指标表现 | 启用时点清晰、前后任务可比 | 学习曲线导致前期效果偏低 |
| 可比团队平行基线 | 选择未使用AI的相似团队作为参照 | 存在任务类型、人员经验相近的团队 | 团队间隐性差异难以完全对齐 |
口径统一是基线可用的前提。对齐维度至少包括：任务类型、任务复杂度、人员经验、时间窗口。例如比较代码评审时长时，应限定同类需求、相近规模、同一经验段的人员，并取相同长度的时间窗口。口径不一致时，宁可缩小比较范围，也不要把不同口径的数据放在一起算变化幅度。
基线偏差需要主动识别并在结论中说明。常见偏差包括：季节性波动，如版本发布前后工作量集中；人员变动，如核心成员更替；任务结构变化，如需求类型比例调整。识别方法是对比基线期与观察期的任务分布，分布差异明显时，在结论中标注该偏差对结果的可能影响方向。
呈现方式上，基线对比应给出变化幅度、变化方向和波动范围，而不是单点结论。例如“评审轮次从平均2.1轮降至1.7轮，近四周波动在1.5–1.9轮之间”，比“评审效率提升”更有判断价值。
角色分工与交付物：谁来做、交什么
评估方案能否落地，取决于角色是否清晰、交付物是否有固定去处。最小配置下四类角色即可运转：
| 角色 | 主要职责 | 关键动作 |
|---|---|---|
| 评估负责人 | 统筹方案与结论 | 定义指标与基线口径、组织结论评审、签发结论报告 |
| 数据采集人 | 保证数据连续可用 | 按周采集指标、核对数据完整性、标注异常 |
| 评审人 | 执行抽样评审 | 按评分表打分、填写修改意见、参与分歧复核 |
| 业务场景负责人 | 提供场景上下文 | 确认任务分类、解释业务变化、验证结论是否符合实际感受 |
各角色在四个环节中的分工：指标定义阶段，评估负责人牵头、数据采集人和场景负责人参与，确认指标可采集且口径一致；抽样评审阶段，评审人执行打分，数据采集人负责样本抽取和记录归档；基线对齐阶段，评估负责人与场景负责人共同确认基线类型和偏差说明；结论评审阶段，四人共同参加，按证据分级规则形成结论。
交付物清单建议固定为四类：指标定义表、抽样评审记录、基线说明、结论报告。每类交付物指定唯一归档位置，例如指标表和基线说明放在团队知识库的评估目录下，评审记录按周期归档，结论报告在周期末发布并关联前序材料。归档位置固定后，下一轮评估可以直接复用口径，避免每次重新定义。
评审节奏建议：周度看指标，检查采集是否连续、有无异常波动；月度做抽样复核，汇总评分并与指标方向对照；周期末出结论，按可信、待观察、不成立分级，并写明下一步动作。
示例：一个场景走完三层证据
以下为演示情景，用于说明三层证据的组合方式，数据为示意值。
场景设定：某研发团队在代码生成和代码评审两个环节引入AI辅助，评估周期6周，团队规模约15人，无同期未使用AI的平行团队。
第一步，定基线。选用历史同期基线，取启用前8周的代码评审数据，口径限定为同类需求、相近代码规模、同一批评审人。基线值：平均评审轮次2.2轮，从提交到合并中位时长26小时，评审意见采纳率约六成。同时说明偏差：基线期处于版本稳定阶段，观察期包含一次版本发布，工作量分布存在差异。
第二步，跑代理指标。选取两个方向互补的指标：AI生成代码采纳比例（反映使用广度）和生成后修改行数占比（反映产出质量），另加评审轮次作为过程指标。第3周出现异常信号：采纳比例升至较高水平，但生成后修改行数占比同步上升，提示“用得多但改得也多”。
第三步，抽样评审。按场景分层，每周抽取8个生成样本，双人独立评分。结果显示：正确性维度“无需修改”占比低于预期，可采纳性维度“修改后采纳”占多数，与修改行数上升的信号一致。评审记录中归因集中在需求描述不完整导致生成偏差。
第四步，基线对比与结论。评审轮次从2.2轮降至1.9轮，方向改善但幅度在波动范围内；修改行数占比上升，与评审发现的正确性问题相互印证。综合三层证据，结论定为待观察：使用广度确有提升，质量信号尚未改善，且基线偏差（版本发布期）可能放大了波动。下一步动作：补充需求描述模板、延长观察两个周期、增加评审样本量。
这个例子说明，三层证据的价值在于互相纠偏：只看采纳比例会得出乐观结论，只看修改行数会得出悲观结论，抽样评审和基线对比把两者拉回同一判断。
完成检查：方案可用的判断标准
每轮评估开始前和结束后，用以下清单检查方案本身是否可靠。检查项不通过时，先修正方案，再采信结论。
指标检查
- 每个场景是否至少有两个方向互补的指标同时观察；
- 指标采集是否连续，缺失周次是否已标注并说明原因；
- 指标口径在周期内是否保持固定，中途调整是否已记录并说明影响。
评审检查
- 样本是否覆盖各分层，随机抽取过程是否可追溯；
- 双人评审的分歧比例是否在可接受范围，分歧处理是否有记录；
- 评分表各档位是否有明确定义，不同评审人对同一档位的理解是否一致。
基线检查
- 基线口径是否与观察期对齐，任务类型、复杂度、人员经验、时间窗口是否逐项确认；
- 季节性、人员变动、任务结构变化等偏差是否已识别并在结论中说明；
- 对比结果是否给出变化幅度、方向和波动范围，而非单点数值。
结论检查
- 结论分级是否有对应证据支撑，可信档是否满足三层证据同向的要求；
- 不确定性是否已标注，包括样本量限制、基线偏差和评审一致性；
- 下一步动作是否明确，待观察结论是否写明了延长观察或补充样本的具体安排。
四项检查全部通过，说明本轮评估的证据链完整，结论可以进入决策讨论；存在未通过项时，结论应降级为待观察，并在报告中写明缺口和补足计划。
常见问题
团队只有一两个人能投入评估，这套方案怎么压缩？
可以先把角色合并：评估负责人同时承担数据采集，场景负责人兼任评审人，保留双人复核关键样本这一条即可。指标数量压到每个场景两个，抽样评审从每层每周5个起步，基线只选最容易对齐的一类。周期可以缩短到4周，但结论分级规则不变，样本量不足时直接定为待观察。
压缩的是投入规模，不是证据结构。三层证据缺任何一层，结论都容易失真，尤其是抽样评审，它承担着把量化信号拉回实际质量的作用，不建议省略。
代理指标运行中途发现选错了，能不能换指标重新开始？
可以调整，但要把口径变化记录下来。做法是：在指标定义表中标注调整日期、调整原因和前后口径差异，调整前后的数据分段呈现，不合并计算变化幅度。如果新指标更贴近目标行为，可以从调整时点重新起算观察周期，之前的周期作为方法校准阶段，不进入最终结论。
频繁换指标会让数据无法累积，建议在周期内只做一次必要调整，并把调整原因写进结论报告的不确定性说明中。
抽样评审中两位评审人打分经常不一致，怎么处理？
先区分分歧类型。如果分歧集中在某一档位的边界，说明评分表定义不够具体，应补充该档位的判定示例，统一理解后再评。如果分歧分散在各档位，可能是评审人对任务背景了解程度不同，需要在评审前提供统一的任务描述和上下文材料。
处理机制上，分歧超过一个档位时由第三人裁定或共同复核，并把裁定理由记录在案。分歧比例本身也是评估质量的信号：持续偏高说明评分表或评审人培训需要改进，此时结论的证据权重应相应降低。
没有可比的历史数据，也没有平行团队，基线还能怎么建？
这种情况下可以用启用前后分段基线，但需要接受它的局限。做法是以启用时点为界，比较前后两段同类任务的表现，并明确说明学习曲线的影响：启用初期使用不熟练，效果可能偏低，观察期应覆盖熟练后的阶段。
如果连分段数据都不完整，可以把基线降级为“内部参照点”，即选取少量可人工核对的样本，记录启用前的实际表现作为参照。此时结论通常只能定为待观察，重点放在代理指标与抽样评审的相互印证上，基线对比作为辅助证据呈现。
评估结论定为可信之后，还需要继续做下去吗？
需要，但节奏可以调整。可信结论说明当前证据链完整，可以进入决策讨论，例如扩大使用范围或调整使用方式。继续评估的目的转为监控：代理指标保持周度观察，抽样评审频率可以降低，基线在下一轮评估时重新校准。
如果使用范围、任务结构或人员发生明显变化，应视为新的评估起点，重新确认基线口径和指标适用性，避免用旧结论覆盖新情况。
