AI试点结束却未达预期，先别急着给工具下结论。更稳妥的做法是按“场景—使用—工具”三层逐层验证：用人工基线核对场景是否选错，用活跃度、输入质量和流程嵌入度核对使用是否到位，用固定输入集复测核对能力边界。每一层拿到可观察证据后，再决定继续、调整还是终止，避免把使用不足误判为工具不行。
要点总览（TL;DR）
- 先把“效果不好”拆成产出质量、采纳率、耗时、返工、覆盖场景五类可观察症状，并核对试点目标与基线是否匹配，避免用个别样本下结论。
- 归因按“使用不足—场景不匹配—工具能力限制”的顺序排查：先看活跃度、输入质量与流程嵌入度，再看任务频次、输入结构与验收标准，最后用固定输入集复测判断能力边界。
- 继续适用于使用到位、场景成立、能力接近阈值的情况，需写明延长周期与下一轮验证点；调整适用于场景可换、流程可改、输入可提升的情况，调整项要落到动作与责任人。
- 终止的触发条件是固定输入集复测仍显著低于人工基线且无替代改进路径，终止时保留原流程回退路径并归档失败模式与能力边界。
- 处置后沿用同一指标、基线与评估人复测，并通过试点准入检查、使用度监控和能力边界文档化防止问题复发。
未达预期的症状先落到可核对的指标上
“效果不好”是一句感受，无法直接用于决策。试点收尾时，第一步是把这句感受拆成可观察的症状，并明确这些症状出现在什么范围内。没有共同口径，后续讨论很容易变成各方各说各话：业务方觉得产出不能用，推动方觉得大家没用起来，技术方觉得模型已经尽力。
拆解症状前，先回看试点立项时的目标与基线。预期指标是什么，对照口径是什么，评估周期多长，这三项应当在试点启动时就写清楚。如果当时只写了“提升效率”这类方向性描述，收尾时需要补一个可比较的基线，例如同类任务此前的人工耗时、返工率或评审通过率。基线缺失时，任何“未达预期”的判断都缺少参照，此时要先补基线，再谈归因。
症状可以归入几类，每类对应不同的观察指标：
| 症状类别 | 可观察指标 | 需要界定的范围 |
|---|---|---|
| 产出质量差 | 产出被采纳比例、评审返工次数、错误类型分布 | 覆盖哪些任务类型、抽取多少样本 |
| 采纳率低 | 活跃使用人数、人均使用频次、试用后放弃比例 | 哪些团队、哪些角色参与 |
| 耗时未下降 | 端到端任务耗时、人工复核耗时占比 | 计时口径是否包含复核与修改 |
| 返工增多 | 返工率、返工原因分类、返工耗时 | 返工是否由AI产出直接引起 |
| 覆盖场景窄 | 实际可用任务类型数、可用样本占比 | 是全部任务还是特定子集 |
范围界定同样关键。试点覆盖几个团队、哪几类任务、累计多少样本，决定了结论能推广到什么程度。用两三个差样本否定整个工具，或者用几个好样本证明全面成功，都是常见的判断偏差。样本量偏小时，结论应写成“在该范围内观察到某现象”，并注明需要扩大样本再验证。
还要区分“未达预期”与“目标本身设定过高”。如果试点目标参照的是成熟工具长期调优后的水平，或者把探索期指标定得接近稳定期指标，那么未达标反映的是目标设定问题，而非工具或执行问题。核对方式是看目标是否与试点阶段匹配：探索期应关注可行性验证与失败模式识别，稳定期才适合考核效率与质量指标。
三类原因的假设与排除证据
症状清楚后，可以提出三类原因假设：场景不匹配、使用不足、工具能力限制。三类原因可能同时存在，但排查应有顺序。建议先排除使用不足与场景不匹配，再判断工具能力，因为前两者更容易被误判为能力问题，且修正成本通常更低。每类原因都需要支持证据，也需要反证，只有支持证据成立、反证被排除，才能把原因写进结论。
场景不匹配的验证
场景不匹配指任务本身不适合当前阶段的AI应用。验证可以从四个问题入手：任务是否高频发生，高频任务才值得投入改造；输入是否具备一定结构化程度，输入混乱时模型难以稳定输出；错误代价是否可承受，高风险环节需要人工兜底；是否有明确验收标准，标准模糊时“质量差”本身难以判定。
支持场景不匹配的证据包括：同类任务在人工执行时同样耗时且质量波动大；任务输入依赖大量口头背景或分散信息；产出需要承担高责任后果，团队普遍不敢直接采用。反证则是：同类任务在人工基线下表现稳定，输入材料完整，验收标准清晰，只是AI产出未达标。若反证成立，问题更可能出在使用或能力层面，而非场景选择。
使用不足的验证
使用不足指工具已具备一定能力，但团队没有真正用起来或用得不对。验证维度包括活跃人数与频次、提示词与上下文质量、是否嵌入既有流程、培训与支持是否到位。活跃度低可能意味着入口太远、流程未打通，也可能意味着团队不清楚适用边界。
支持使用不足的证据包括：多数参与者只试用过一两次；输入普遍缺少必要上下文，提问方式随意；工具游离在既有流程之外，需要额外切换页面；培训只覆盖功能介绍，未覆盖具体任务示范。反证是：团队使用频次稳定、输入质量经过校准、工具已嵌入日常流程，产出仍不达标。此时应转向能力验证。
工具能力限制的验证
能力限制的验证需要控制变量。用固定输入集复测，即准备一组代表性任务样本，保持输入不变，多次运行观察产出稳定性；与同类任务的人工基线对比，看差距是否稳定存在；有条件时与备选工具做对照，判断差距是普遍水平还是特定工具短板。
支持能力限制的证据包括：固定输入集复测结果持续低于人工基线；错误集中在特定任务类型且反复出现；对照工具在同样输入下表现明显更好。反证是：复测结果波动大、部分样本表现良好，说明能力边界尚未摸清，更可能是输入或使用方式问题。
排查顺序与常见误判
| 排查顺序 | 原因假设 | 支持证据 | 反证信号 |
|---|---|---|---|
| 第一步 | 使用不足 | 活跃度低、输入质量差、未嵌入流程、培训不到位 | 使用稳定且输入经过校准后仍不达标 |
| 第二步 | 场景不匹配 | 任务低频、输入混乱、错误代价高、验收标准模糊 | 人工基线稳定、输入完整、标准清晰 |
| 第三步 | 工具能力限制 | 固定输入集复测持续低于基线、错误类型集中、对照工具更优 | 复测波动大、部分样本表现良好 |
两类误判需要特别警惕。一是把学习曲线期当作能力上限：团队刚开始使用，产出质量自然偏低，此时应观察趋势而非单点结果。二是把个别差样本当作整体结论：样本量不足时，应先扩大样本或延长观察，再判断是否属于系统性问题。
按证据选择继续、调整或终止
归因完成后，处置决策应写成“证据—结论—动作”的形式，而不是凭印象拍板。三种路径各有触发条件，也各有风险边界。
继续：延长试点并设定下一轮验证点
适用条件是使用已到位、场景成立、能力接近阈值但尚未稳定达标。此时继续的价值在于给能力爬坡和流程磨合留出时间。动作包括：明确延长周期，设定下一轮验证的具体指标与通过标准，指定观察责任人。风险在于无限期延长变成拖延，因此必须写清“到什么时候、看什么指标、不达标怎么办”。
调整：换场景、改流程或提升输入质量
适用条件是场景可替换、流程可改造、输入质量有提升空间。调整项应具体到动作与责任人，例如：把试点范围收缩到输入更结构化的任务类型；在流程中增加输入准备环节；把工具入口前移到团队日常使用的界面；补充针对具体任务的示范培训。调整后需要重新设定验证点，避免调整本身没有可检验的结果。
终止：止损并沉淀经验
适用条件是固定输入集复测仍显著低于人工基线，且没有可替代的改进路径。终止不是失败记录，而是一次有依据的止损。动作包括：停止扩大使用范围，保留原流程作为默认路径，整理失败模式与能力边界，归档评估记录供后续选型参考。
处置前的风险控制与决策记录
无论选择哪条路径，都要保留原流程的回退路径，避免一次性全量切换；涉及数据与权限变更时先备份；调整范围较大时，先在小范围验证再推广。决策记录应包含结论、依据、遗留问题与复盘归档，便于后续追溯。试点任务、评估记录与决策结论可以在ONES的工作项与Wiki中留痕，ONES Assistant智能助手能够理解项目、工作项、迭代和Wiki页面等真实工作上下文，基于相关项目数据和团队知识回答问题，并将结果保存为工作项、Wiki页面等内容，减少页面切换和重复录入，适合承载这类评估与归档动作。
恢复验证与复发预防
处置之后，需要验证效果是否真正改善，并防止同类问题再次发生。验证口径应沿用试点期间的同一指标与基线，设定明确的观察周期与通过标准。口径漂移是常见问题：换了指标、换了评估人、换了样本范围，结论就失去可比性。
调整后的复测设计应尽量保持同任务、同样本、同评估人。如果样本必须更换，应保留一部分重叠样本用于对照。复测结果除了看平均值，还要看分布：是否仍有集中出现的错误类型，是否在特定任务上持续偏低。
复发预防可以从三项机制入手：
- 试点准入检查项：在启动前核对场景频次、输入结构化程度、错误代价、验收标准与基线是否齐备，不满足条件的场景先不进入试点。
- 使用度监控：在试点期间持续观察活跃人数、频次与输入质量，发现使用不足时及时干预，而不是等到收尾才归因。
- 能力边界文档化：把复测中确认的适用任务、不适用任务与典型失败模式记录下来，形成可复用的场景准入清单。
这份清单的价值在于让下一次试点有据可依：同类场景可以直接参考历史结论，新场景则按检查项逐条核对。评估结论沉淀为清单后，团队对“什么场景适合用、什么条件下需要人工兜底”形成共同认知，后续决策就不必每次从零开始争论。
常见问题
试点期间团队使用频次一直很低，但少数深度用户反馈产出不错，这种情况该算使用不足还是工具可用？
更接近使用不足，但需要补一层验证。少数深度用户产出不错，说明工具在特定输入和用法下能工作；整体频次低则说明大多数参与者没有形成稳定使用。此时应检查入口位置、流程衔接和培训内容，看是否让普通用户难以用起来。可以设定一个短期干预：把入口前移到日常界面、补充具体任务示范、指定一名支持人答疑，观察两到四周内活跃人数与输入质量是否变化。若干预后使用稳定但产出仍不达标，再转向能力验证。
固定输入集复测结果波动很大，有时接近人工基线，有时明显偏低，这算工具能力限制吗？
波动大本身说明能力边界尚未摸清，暂不宜直接归为能力限制。建议先扩大复测样本量、固定评估人和评分口径，观察波动是否收敛。若在输入不变的情况下，特定任务类型持续偏低、错误类型集中出现，才更接近能力限制；若波动主要来自输入表述差异或评估标准不一致，则应先修正使用方式和评估口径。复测设计上保持同任务、同样本、同评估人，是减少误判的关键。
试点目标当初只写了“提升效率”，没有量化基线，现在还能做归因和去留决策吗？
可以，但需要先补基线再谈归因。做法是选取试点期间同类任务的历史人工记录，补出耗时、返工率或评审通过率等可比较指标，并注明补算口径与样本范围。基线补齐后，再按症状分类核对差距出现在质量、采纳率还是耗时环节。若历史记录也不完整，可以组织一次小范围人工对照任务，用同一批样本比较人工与AI产出的差异。基线缺失时得出的结论应标注适用范围，避免直接推广到全部场景。
决定终止试点后，团队已经产生的使用习惯和流程改动怎么处理？
终止时优先恢复原流程作为默认路径，避免团队在无支撑的情况下继续依赖试点产出。已经发生的流程改动可以评估保留价值：如果某个环节（如输入准备、评审复核）本身提升了工作质量，可以独立保留；与工具强绑定的步骤则回退。同时整理失败模式、不适用任务类型和复测记录，归档为后续选型与场景准入的参考。涉及数据与权限变更的，回退前先确认备份与权限回收完成。
调整试点范围后，如何判断调整是否有效，而不是又一次“感觉好了一点”？
调整后应重新设定验证点，沿用调整前的指标与基线，明确观察周期和通过标准。复测尽量保持同任务、同样本、同评估人；样本必须更换时保留一部分重叠样本用于对照。结果除了看平均值，还要看分布：集中错误是否减少、特定任务是否仍持续偏低。把调整项、责任人、验证时间和通过标准写进决策记录，到期按记录核对，可以减少凭印象判断的空间。
