数据基础薄弱、又无法开展严格对照实验时，评估AI应用效果的关键在于用少量但可核验的证据形成判断，而非等待数据完备。可行做法是围绕1—2个高频场景，组合代理指标、抽样评审和可比基线三层证据，在4—6周内跑通一轮，先回答“变化是否出现、质量是否守住”，再决定是否扩大评估范围。
要点总览（TL;DR）
- 数据薄弱、无法做严格对照时，用三层证据组合评估：代理指标看趋势，抽样评审看质量，基线对比看变化幅度。
- 评估范围先控制在1—2个高频、产出可观察的场景，周期4—6周，每场景每轮抽取20—30份产出样本。
- 代理指标要固定口径，写清统计对象、时间窗、分母和数据来源；缺失数据用手工登记和抽样采集补齐。
- 没有随机对照时，可用历史同期、同类任务未使用AI、分批上线三种方式构造可比基线，并逐项检查可比性。
- 结论限定在具体场景、周期和样本范围内，附带偏差与不确定性说明；方向积极且偏差可控再扩展场景或样本量。
最小可行评估方案由哪几部分组成
最小可行方案的核心是用三层证据互相补位：代理指标回答“使用行为和产出数量有没有变化”，抽样评审回答“产出质量是否达到可用标准”，基线对比回答“变化幅度是否值得关注”。三层证据各自都不足以单独下结论，组合起来才能支撑一个有限但可采信判断。
数据薄弱时，不必追求随机分组和显著性检验。替代逻辑是：用同一批任务在时间上的前后对比、同类任务在AI使用与未使用之间的横向对比，以及分批上线形成的自然差异，构造“足够可比”的参照。结论表述为“在该场景、该周期内观察到何种变化”，并附上偏差说明，不扩大为普遍结论。
最小范围建议控制在1—2个场景、4—6周、每场景每轮抽取20—30个产出样本。这个规模足以暴露采集口径问题和评审分歧，又不至于让团队在数据整理上耗尽精力。
| 评估层次 | 回答的问题 | 所需数据 | 最小投入 |
|---|---|---|---|
| 代理指标 | 使用行为和产出数量是否出现趋势性变化 | 任务量、AI使用记录、产出数量、返工次数等可手工登记的数据 | 1名采集人，每周固定登记1次 |
| 抽样评审 | AI参与的产出质量是否达到可直接采用的程度 | 20—30份产出样本及评分记录 | 2名评审人，每份约10—15分钟 |
| 基线对比 | 变化幅度相对参照对象是否明显 | 历史同期数据或同类未使用AI任务的数据 | 一次性整理，约半天 |
第一步：选定评估场景并写清假设
从团队当前已经在用AI的环节中挑选场景，优先满足三个条件：发生频率高，每周有稳定数量的任务；产出可观察，能拿到文档、代码、测试用例、需求说明等具体物件；AI介入点明确，能说清它在哪个动作上参与。频率低或产出难以界定的场景，先不纳入本轮。
把“AI有没有用”转成可检验假设，需要写清四个要素：对象（哪类任务、哪个团队）、动作（AI在哪个环节以什么方式参与）、预期变化（哪个指标朝哪个方向变、质量守住什么底线）、观察周期（几周、覆盖多少任务）。例如：“在需求评审前的需求说明撰写环节，使用AI生成初稿并由人工修改，预期4周内单份需求说明的撰写工时下降，且评审一次通过率不低于当前水平。”
评估边界要提前写明：本轮只考察该场景的产出效率与质量，不涉及整体研发效能指标，也不做模型能力基准测试。场景登记表建议包含以下字段：场景名称、任务类型、AI介入点、使用人数、预期变化、观察指标、观察周期、基线来源、负责人、边界说明。
| 字段 | 填写说明 | 示例 |
|---|---|---|
| 场景名称 | 一句话描述任务环节 | 需求说明初稿撰写 |
| AI介入点 | AI具体参与的动作 | 根据会议记录生成需求说明初稿 |
| 预期变化 | 指标方向与质量底线 | 撰写工时下降，评审一次通过率不降低 |
| 观察周期 | 起止时间与样本量 | 4周，约25份需求说明 |
| 基线来源 | 历史同期或同类未使用AI任务 | 上一季度同类需求说明的工时记录 |
第二步：用代理指标建立可采集的观察口径
代理指标的选取遵循三条原则：贴近实际产出，能反映任务完成情况；可稳定采集，不依赖尚未建成的数据平台；变化可解释，指标波动能对应到具体工作动作。数据薄弱时，手工登记表往往比等待系统埋点更现实。
常见代理指标包括：单位产出耗时（从任务领取到产出提交）、返工次数（评审退回或修改轮次）、产出提交量、AI建议采纳比例（人工保留AI内容的比例）、任务按期完成率。耗时类指标能说明效率趋势，但受任务难度影响；返工次数能反映质量摩擦，但依赖评审记录完整；采纳比例能反映使用深度，但不能直接说明产出好坏。每类指标都要在定义表中写明它不能说明什么。
指标口径必须固定：统计对象是谁的任务、时间窗从何时到何时、分母是什么、数据从哪里来。例如“单位产出耗时”定义为“需求说明从指派到首次提交评审的自然日数，分母为该周期内提交评审的需求说明数量，数据来源为任务系统状态变更记录”。口径一旦确定，本轮评估期间不随意调整。
| 指标名 | 口径 | 数据来源 | 采集频率 | 局限 |
|---|---|---|---|---|
| 单位产出耗时 | 任务指派到首次提交评审的自然日数，按任务取平均 | 任务系统状态记录 | 每周 | 受任务难度和人员熟练度影响 |
| 返工次数 | 产出提交后评审退回或要求修改的次数 | 评审记录 | 每周 | 依赖评审记录完整，口径需统一 |
| AI建议采纳比例 | 人工保留的AI生成内容占AI生成内容的比例，按样本估算 | 抽样比对记录 | 每两周 | 反映使用深度，不直接代表质量 |
采集方式上，能自动获取的字段优先从现有任务系统导出；缺失部分用固定格式的手工登记表补齐，由场景负责人每周填写一次。样本量不足时采用抽样采集，明确抽样规则和抽样比例，避免只记录“好做”的任务。
第三步：设计抽样评审，补上质量判断
代理指标能看出数量和节奏变化，质量判断需要人工抽样。抽样对象是本轮场景内AI参与产出的具体物件，抽样方式按风险分层：对外交付或影响下游环节的产出全部纳入或高比例抽取，内部草稿类产出随机抽取。每场景每轮20—30份样本即可支撑初步判断。
评审维度建议控制在三到四项：正确性（事实、逻辑、边界条件是否成立）、完整性（是否覆盖任务要求的关键内容）、可直接采用程度（人工修改量大小）、一致性（是否符合团队既有规范）。每项采用三级或五级评分，并给出每级的行为描述，减少评审人主观差异。
评审人一致性通过两种方式控制：正式评审前用3—5份样本做校准，统一评分尺度；正式评审中安排约20%样本由第二名评审人独立复评，分歧超过一档时由第三人裁定并记录理由。评审记录表包含样本编号、任务类型、评审维度得分、修改说明、评审人、复评结果和争议处理记录。
第四步：在没有严格对照时构造可比基线
没有随机对照，仍可以构造参照。历史同期对比适用于任务类型和人员相对稳定的场景，用上一季度或去年同期的同类任务数据作为参照；同类任务未使用AI对比适用于团队内存在并行做法的场景，选取任务难度相近、人员经验相近的任务分组比较；分批上线适用于多个小组先后启用AI的情况，先启用组与后启用组在时间上形成自然差异。
基线可比性要逐项检查：任务类型是否一致、人员经验是否接近、时间窗口是否受节假日或版本节奏影响、外部变化（需求来源、评审标准、工具链调整）是否同时发生。任何一项明显不可比，都要在结论中标注，或改用另一种基线方式。
| 基线方式 | 适用条件 | 偏差风险 | 使用建议 |
|---|---|---|---|
| 历史同期对比 | 任务类型、人员、流程相对稳定 | 季节波动、流程变更、人员更替 | 作为主要参照，配合偏差说明 |
| 同类任务未使用AI对比 | 团队内存在并行做法，任务可配对 | 任务分配不均、人员能力差异 | 优先选择难度和人员相近的任务对 |
| 分批上线对比 | 多个小组先后启用，时间间隔清晰 | 先启用组可能本身更积极、外部事件干扰 | 作为辅助证据，说明分组原因 |
分批上线作为准对照时，要提前确定分组规则并记录启用时间，避免按结果事后分组。基线偏差统一记录在评估日志中，结论部分明确哪些变化可能来自基线不可比，哪些可以归因于AI使用。
角色分工与各阶段交付物
最小评估不需要庞大团队，五类角色即可覆盖：评估发起人确定评估目标和决策用途；场景负责人选定场景、撰写假设并组织采集；数据采集人按口径登记和导出指标；评审人独立完成抽样评分；结论汇总人整合三层证据并形成结论。角色可以由同一人兼任，但评审人与场景负责人应尽量分开，保证质量判断的独立性。
评审人工作量要提前估算：每份样本10—15分钟，20—30份样本约需半天，加上校准和复评，每人每轮约一天。超过这个量级就应缩减样本或拆分评审人，避免评审流于形式。
| 角色 | 主要职责 | 交付物 | 交接对象 |
|---|---|---|---|
| 评估发起人 | 确定评估目标与决策口径 | 评估目标说明 | 场景负责人 |
| 场景负责人 | 选定场景、写清假设、组织执行 | 场景与假设登记表 | 数据采集人、评审人 |
| 数据采集人 | 按口径登记和导出指标 | 代理指标记录表 | 结论汇总人 |
| 评审人 | 独立完成抽样评分与复评 | 抽样评审记录表 | 结论汇总人 |
| 结论汇总人 | 整合三层证据、记录偏差 | 评估结论与偏差说明 | 评估发起人 |
结论汇总的决策口径应在评估开始前约定：例如“指标趋势改善且评审可直接采用比例不低于基线，视为可继续扩大范围；指标改善但质量下降，视为需要调整使用方式；指标无变化，视为暂停或更换场景”。口径先定，避免结论随结果调整。
评估过程中的场景登记、指标记录、评审任务和结论文档，可以放在团队已有的工作项与文档工具中管理。ONES 的工作项可用于登记场景和评审任务，Wiki 页面可用于沉淀指标口径与结论记录；ONES Assistant 智能助手能够理解项目、工作项和 Wiki 页面等上下文并执行操作，将结果保存为工作项或 Wiki 页面，适合在评估过程中减少重复录入。是否采用取决于团队现有工具链，评估方法本身不依赖特定平台。
示例：一个4周最小评估怎么跑
以下为演示情景，用于说明三层证据如何组合，数据为示意值。
场景：某研发小组在测试用例编写环节使用AI生成初稿，由测试人员修改后提交。假设为：“使用AI生成测试用例初稿后，4周内单条用例编写耗时下降，用例评审一次通过率不低于使用前水平。”观察周期4周，预计覆盖约30条用例。
代理指标设置：单条用例编写耗时（从领取任务到提交评审的小时数，按周取平均）、评审退回次数、AI初稿采纳比例（人工保留内容占比，按抽样估算）。基线选择历史同期：使用AI前4周同类需求的用例编写记录。抽样评审：每周抽取6—8条用例，共约28条，按正确性、完整性、可直接采用程度三项三级评分，其中20%由第二名评审人复评。
示意结果：编写耗时从基线平均3.2小时降至2.4小时；评审退回次数由每10条2.1次降至1.6次；抽样评审中可直接采用比例由基线的55%升至62%，正确性评分持平，完整性评分略有下降，主要集中在边界条件覆盖。结论表述为：“在该小组、4周观察期内，测试用例编写耗时和退回次数均出现下降，质量总体持平，完整性存在小幅下降风险；由于采用历史同期对比且样本量有限，结果受任务难度波动影响，建议下一轮扩大样本并针对边界条件补充提示词规范。”
这个示例说明三层证据的分工：指标给出趋势，评审发现质量细节，基线提供变化幅度的参照，三者共同支撑一个有边界、带不确定性的结论。
完成检查：方案可用的判断标准
本轮评估结束前，用以下清单逐项核对。全部满足或对缺口有明确记录，结论才具备采信基础。
- 假设已写明对象、动作、预期变化和观察周期，且评估边界清晰。
- 每个代理指标都有固定口径，统计对象、时间窗、分母和数据来源可追溯。
- 抽样评审覆盖预定样本量，评分标准经过校准，复评比例达到约定要求。
- 基线方式已说明适用条件，任务类型、人员、时间和外部变化的可比性已逐项检查。
- 数据缺口、采集中断、基线偏差和评审分歧均已记录在评估日志中。
- 结论表述限定了场景、周期和样本范围，并附带不确定性说明。
结论可采信的判断条件是：三层证据方向一致，或差异有合理解释；关键指标口径未在评估中途变更；评审一致性达到约定水平。若指标改善但评审质量明显下降，结论应指向调整使用方式而非直接扩大范围。
下一轮扩展的触发条件：本轮结论方向积极且偏差可控，可增加1个场景或将样本量提升至50份以上；若指标无变化或质量下降且原因不明，先暂停扩展，检查采集口径和AI介入方式，再决定是否重跑一轮。
常见问题
团队连基础的任务工时记录都不完整，还能启动评估吗？
可以启动，但要先降低对系统数据的依赖。做法是把评估范围缩到1个场景，用固定格式的手工登记表采集最少的几个字段，例如任务领取时间、提交评审时间、退回次数。登记由场景负责人每周固定填写一次，口径在开始前写死，评估期间不调整。
手工数据的关键是稳定和可追溯，而非精确。只要每周按同一规则记录，前后对比就有意义。等这一轮跑通、口径稳定后，再考虑把登记字段迁移到任务系统或文档工具中自动沉淀。
样本量只有二三十份，结论会不会不可信？
小样本支撑不了统计显著性判断，但足以发现口径问题、评审分歧和明显的变化方向。把结论表述为“在该场景、该周期、该样本范围内观察到何种变化”，并说明样本量有限、受任务难度波动影响，这样的结论对“是否继续投入评估”这个决策是够用的。
如果三层证据方向一致，可信度会明显提高；如果指标改善但评审质量下降，说明需要调整使用方式，而不是直接扩大范围。样本量不足时，优先保证抽样规则一致，避免只挑好做的任务记录。
评审人之间打分差异很大，怎么处理？
先做校准再正式评审：用3—5份样本让评审人各自打分，逐项对齐评分尺度的行为描述，把分歧大的维度补充说明。正式评审中安排约20%的样本由第二名评审人独立复评，分歧超过一档时由第三人裁定，并记录裁定理由。
如果分歧持续集中在某个维度，通常说明该维度的评分描述不够具体，应回到评分规则修改描述，而不是反复争论单个样本。争议记录本身也是评估日志的一部分，写进结论的偏差说明里。
分批上线做准对照时，先启用的小组本身更积极，结论还能用吗？
可以用，但要把它定位为辅助证据。先启用组可能本身对新工具接受度更高，这种差异无法通过事后统计消除。操作上要提前确定分组规则并记录各组启用时间，避免按结果事后分组；同时在结论中说明分组原因和可能的选择偏差。
如果历史同期对比和分批上线对比方向一致，结论会更稳；如果两者矛盾，优先检查任务类型、人员经验和外部变化是否可比，再决定采信哪一种，或补充同类任务未使用AI的对比。
一轮评估结束后，什么情况下应该扩大范围，什么情况下应该停下来？
扩大范围的触发条件：三层证据方向一致或差异有合理解释，关键指标口径未中途变更，评审一致性达到约定水平，且偏差已记录。此时可增加1个场景，或将样本量提升到50份以上。
停下来的情形包括：指标无变化或质量明显下降且原因不明，采集中断导致数据不可比，或评审分歧始终无法收敛。这时先检查采集口径和AI介入方式，修正后重跑一轮，暂不增加场景。
