AI试点效果评估的依据需要覆盖四个部分：试点前确定的目标与假设、指标及其统计范围、数据口径与证据材料、计算与解读规则。缺少任何一项，结论都容易停留在主观感受。本文按评估准备到结论输出的顺序，说明每类依据应包含什么、如何记录，并用一次AI辅助编码试点演示可复算的评估过程。
要点总览（TL;DR）
- 评估依据由四部分组成：试点前确定的目标与假设、指标及其统计范围、数据口径与证据材料、计算与解读规则，缺一项结论就容易停留在主观感受。
- 指标选取遵循每个目标至少一个指标、每类变化至少一个维度，定义表要写清分子、分母、单位、时间窗和数据来源，分母口径直接改变结果量级。
- 证据以系统记录为主、人工记录补充、访谈解释原因；缺失值、异常值和口径变更都要在采集前约定处理规则并留痕。
- 结论表述采用目标—变化数值—支撑证据—限制与后续动作的结构，单指标变化只能说明指标移动，不能直接归因为AI作用。
评估目标：先明确AI试点要验证什么
评估工作的起点是把“看看AI效果怎么样”转化为可验证的目标与假设。一个可用的目标需要写清四件事：评估对象是谁、在哪个环节使用AI、预期发生什么变化、用什么方式验证。四者缺一，后续指标就失去锚点。
评估对象要落到具体角色和工作项类型上。例如“后端开发人员在缺陷修复任务中使用AI编码助手”，比“研发团队使用AI工具”更可评估。角色决定样本来源，工作项类型决定数据从哪里取。若试点同时覆盖需求分析、编码、测试多个环节，建议按环节分别设定目标，避免不同性质的工作混在一个指标里。
预期变化要写成可观察的方向，并说明验证方式。常见写法如“缺陷修复任务的平均处理时长下降”“代码评审一次通过率上升”“AI建议采纳后返工次数减少”。每条预期变化对应一类验证方式：时长类看系统状态流转记录，质量类看评审与返工记录，使用情况看工具日志。预期变化只写方向和观察对象，不在试点前预设具体达标数值，避免用事后结果反推目标。
还需划清与相邻评估工作的边界。一般研发效能指标关注团队整体交付能力，模型基准测试关注模型在标准题目上的能力表现，两者都不能替代AI试点评估。AI试点评估回答的是“在特定角色和环节引入AI后，工作过程和产出发生了什么变化”，因此目标清单应聚焦试点范围内的任务，不扩展到全团队效能评价。
交付物是一份评估目标与假设清单，建议按“目标—对象—预期变化—验证方式”四列记录，每条目标单独一行，作为后续指标选取和证据采集的依据。
指标与范围：选哪些指标、覆盖多大范围
指标选取遵循“每个目标至少一个指标、每类变化至少一个维度”的原则，避免堆砌。指标过多会稀释分析重点，也增加采集负担。通常从三类中选取：效率类反映任务完成快慢，如任务周期时间、单位时间完成任务数；质量类反映产出可靠程度，如评审一次通过率、缺陷返工率；过程协作类反映AI介入后协作方式的变化，如评审轮次、AI建议采纳率、人工修改比例。
每个指标必须给出完整定义，否则不同人算出的数值无法比较。定义表至少包含：指标名、业务含义、分子、分母、单位、统计时间窗、数据来源。以“缺陷修复周期时间”为例，分子为该批任务从进入“处理中”状态到“已关闭”状态的时间总和，分母为统计期内关闭的任务数，单位为小时/任务，时间窗为试点期全部自然日，数据来源为工作项状态流转记录。分母的界定尤其关键：是按任务数、按人天还是按提交次数，会直接改变结果量级。
范围界定包括时间范围和对象范围。时间上区分基线期、试点期和观察期，三期使用同一指标定义。对象上明确试点组与对照范围：试点组是实际使用AI的角色或团队，对照组是工作内容相近但未使用AI的角色或团队。若无法设置平行对照组，可采用试点前后的自身对比，但需在结论中说明这一限制。范围一旦确定，评估期内不随意调整，确需调整时记录变更时间和原因。
| 指标名 | 定义 | 分子 | 分母 | 单位 | 时间窗 | 数据来源 |
|---|---|---|---|---|---|---|
| 缺陷修复周期时间 | 缺陷类任务从处理中到关闭的平均耗时 | 关闭任务的处理时长总和 | 统计期内关闭的缺陷任务数 | 小时/任务 | 基线期、试点期各4周 | 工作项状态流转记录 |
| 评审一次通过率 | 首次提交评审即通过的比例 | 首次评审通过的任务数 | 提交评审的任务总数 | 百分比 | 同上 | 代码评审记录 |
| AI建议采纳率 | 采纳AI建议的任务占比 | 有采纳记录的任务数 | 使用AI助手的任务数 | 百分比 | 试点期 | 工具使用日志 |
数据口径与证据：哪些材料能支撑结论
数据可信度取决于来源和采集方式是否稳定。系统记录优先级最高，包括工作项状态流转、代码提交、评审记录、工具使用日志，这类数据由系统自动生成，可追溯、可复算。人工记录次之，如每日填写的任务备注、试点成员的使用反馈，适合补充系统未覆盖的信息，但需要统一填写模板和频次。访谈记录属于定性材料，用于解释数值变化的原因，不单独作为效果结论的依据。
采集前要约定处理规则。缺失值方面，明确哪些字段缺失的任务不计入分母，例如未记录关闭时间的任务从周期时间统计中剔除，并记录剔除数量。异常值方面，约定极端值的处理方式，如超过统计期长度两倍的任务单独列出、不参与均值计算，同时保留原始数据备查。口径变更方面，评估期内修改指标定义须记录变更日期、影响范围和原因，变更前后的数据分段统计，不直接拼接比较。
定性证据需要与定量结果建立对应关系。评审意见可以说明质量指标变化的原因，返工记录可以佐证采纳AI建议后的修改成本，使用日志可以区分高频使用与低频使用的子群体，访谈记录可以解释周期时间未改善的可能原因。每类证据在结论中承担解释或佐证角色，不能替代指标数值本身。证据清单建议按“证据类型—采集方式—覆盖范围—对应指标—用途”记录，确保每条结论都能找到支撑材料。
当试点的工作项、评审和使用记录分散在不同系统中时，评估前需要确认这些记录能否按同一任务标识关联。ONES 的工作项管理可以承载任务状态流转和评审记录，使周期时间、通过率等指标能够从同一批工作项数据中提取，减少人工汇总带来的口径偏差；具体字段和报表能力以实际配置为准。
计算与评估步骤：从原始数据到结论
计算阶段的目标是让任何一位评估者拿到原始数据都能复算出相同结果。每个指标写出公式，并说明分母为零时的处理。例如评审一次通过率＝首次评审通过任务数÷提交评审任务总数×100%，当统计期内没有任务提交评审时，该指标记为“无数据”，不记为0%，避免把无样本误读为表现差。
对比方式有两种选择。试点前后对比适合无法设置对照组的场景，用基线期与试点期的同口径指标比较，但需注意季节、需求波动等外部因素。试点组与对照组对比能部分抵消外部因素，适合团队规模允许分组的情况。两种方式可以同时使用：先看试点组自身前后变化，再与对照组同期变化比较，若两者方向一致，结论更稳。
评估节奏建议分三段：基线期采集试点组和对照组在引入AI前的指标，通常2至4周；试点期按统一口径持续采集，覆盖完整任务周期；观察期在试点结束后继续跟踪一段时间，观察效果是否持续。每段结束时做一次数据完整性检查，确认缺失值和口径变更已记录。
结论形成需要经过复核。先由数据采集人完成计算并附原始数据，再由未参与试点日常操作的人员按同一公式复算，核对分子分母和剔除规则；差异超过约定阈值时回到原始记录排查。复核通过后，将定量结果与定性证据合并，按目标逐条给出“观察到什么变化、有哪些证据、能说明到什么程度”的表述。
示例：一次AI辅助编码试点的评估演算
以下为演示情景，数值用于说明计算方法，不代表真实项目结果。某团队在缺陷修复环节引入AI编码助手，试点组8名后端开发人员，对照组为工作内容相近的8名开发人员，基线期与试点期各4周。
目标设定为：缺陷修复周期时间缩短、评审一次通过率不下降。指标按前文定义表执行。基线期试点组关闭缺陷任务160个，处理时长合计1280小时，周期时间为1280÷160＝8.0小时/任务；对照组关闭150个，合计1245小时，为8.3小时/任务。试点期试点组关闭170个，合计1190小时，为7.0小时/任务；对照组关闭155个，合计1271小时，为8.2小时/任务。试点组前后下降1.0小时/任务，对照组同期下降0.1小时/任务，试点组变化幅度更大。
评审一次通过率方面，试点组基线期为120÷160＝75.0%，试点期为119÷170＝70.0%；对照组基线期为114÷150＝76.0%，试点期为117÷155＝75.5%。试点组通过率下降5个百分点，对照组基本持平，这一变化需要在结论中单独说明，不能只报告周期时间改善。
定性证据补充解释：使用日志显示试点组中采纳率较高的5人周期时间平均下降1.4小时/任务，采纳率较低的3人平均下降0.3小时/任务；评审意见记录显示部分AI生成代码在边界条件处理上被要求修改，与通过率下降方向一致；访谈中两名成员提到AI建议减少了查找示例代码的时间。综合来看，可以表述为“试点期内缺陷修复周期时间出现下降，且下降主要集中在高频使用AI建议的成员；同期评审一次通过率有所下降，质量影响需要继续观察”。这一结论说明了观察到的变化和证据来源，未把周期时间下降直接归因于AI。
解读与限制：结论能说到什么程度
单指标变化只能说明该指标在统计期内发生了移动，不能直接证明是AI造成的。要接近因果判断，需要多指标方向一致、对照组同期无明显变化、定性证据能解释变化机制，三者同时满足时结论才更有说服力。即便如此，表述上仍应使用“观察到”“与……相关”等措辞，避免写成“AI使效率提升X%”这类排他性因果结论。
常见偏差来源包括：样本量小，8人4周的数据波动可能来自个别任务；周期短，未覆盖需求高峰或版本发布期；口径变化，中途调整任务分类会破坏前后可比性；选择偏差，试点组可能是主动报名、本身效率较高的成员。评估报告应逐项说明这些限制及其对结论的影响方向。
结论表述建议采用固定结构：先写目标，再写观察到的指标变化及数值，接着列支撑证据，最后写限制和后续动作。不可下的判断包括：把单指标改善写成整体研发效能提升、把试点组结果推广到全团队、在无对照情况下断言AI是唯一原因。评估结果应反馈到试点调整，例如针对通过率下降补充AI生成代码的评审检查项，或扩大样本和延长观察期后再评估，使下一轮评估的依据更完整。
常见问题
试点期只有两三周，数据量很少，评估还能做吗？
可以做，但结论要相应收窄。样本量小时，个别任务就能明显拉动均值，建议同时报告任务数、时长总和与均值，并列出极端任务的处理方式。若试点期不足一个完整任务周期，可先做过程性评估，观察使用率、采纳率和评审意见等中间指标，把周期时间、通过率这类结果指标放到观察期继续采集。结论中写明样本量和周期，避免把短期波动写成稳定效果。
没有平行对照组，只用试点前后对比，结论怎么写才稳妥？
试点前后对比可以用，但需要在结论中说明外部因素未受控。写法上先报告试点组基线期与试点期的同口径数值，再补充同期团队整体或相近团队的变化作为参照，若两者方向不一致，就要在限制部分说明可能原因，例如需求结构变化、版本发布节奏。结论使用“观察到变化”而非“由AI导致”，并把扩大对照范围或延长观察期列为后续动作。
试点中途调整了任务分类或指标定义，前后数据还能直接比较吗？
不能直接拼接比较。口径变更后应记录变更日期、影响范围和原因，变更前后的数据分段统计、分段报告，必要时按新口径回溯重算历史数据再比较。若无法回溯，就在结论中标注该指标的可比性受限，并优先使用未受变更影响的指标支撑判断。评估开始前把口径固定下来，是减少这类问题的有效做法。
AI建议采纳率这类使用指标，能作为效果依据吗？
采纳率反映AI介入的程度，属于过程指标，适合解释结果指标的变化，单独使用不足以说明效果。例如采纳率高的子群体周期时间下降更多，可以作为佐证；但采纳率高而质量指标下降，说明需要调整使用方式或评审检查项。建议把使用指标与效率、质量指标组合呈现，并在结论中说明各自的角色。
评估结果出来后，下一步应该做什么？
把结论按目标逐条落到动作上：指标改善且证据一致的方向，可以扩大试点范围并保持同口径采集；出现质量或协作负面信号的方向，先补充检查项、调整使用规范，再在下一轮评估中验证；证据不足或样本过小的方向，延长观察期或增加对照范围。每轮评估保留原始数据和口径说明，使下一轮评估有可比的基线。
