同一份研发AI应用评估报告，在立项、推广、退出三种决策下要回答的问题并不相同：立项关心“值不值得开始试”，推广关心“值不值得扩大范围”，退出关心“是否该停止或收缩”。三类决策可以共用一套证据口径，但结论门槛和暂缓条件各有侧重。本文按这三种场景拆解报告应回答的问题，并说明试点证据如何支撑判断。评估证据与决策记录可以承载在ONES的项目、工作项与Wiki页面中，便于后续复核。
要点总览（TL;DR）
- 立项决策要回答“值不值得开始试”：目标问题是否明确、价值假设能否检验、投入与前提是否清楚、失败止损条件是否设定。
- 推广决策要回答“值不值得扩大范围”：试点证据是否成立、适用条件能否复制、组织与流程配套是否到位、扩大后的风险与代价是否可接受。
- 退出决策要回答“是否该停止或收缩”：原假设是否被证伪、问题能否修复、沉没成本是否干扰判断、退出后如何替代与收尾。
- 三类决策共用同一套指标定义、观察窗口和数据来源，差异体现在证据强度、覆盖范围和代价评估的门槛上。
- 试点结论按通过、部分通过、未通过三档判定，并分别映射到推广、补充验证或收缩退出的决策。
三种决策各自要回答的核心问题
研发AI应用评估报告的价值，在于把“这个AI应用效果不错”这类主张，转化为可以核验、可以复核的证据，并据此决定资源投向和覆盖范围。同一份报告服务不同决策时，回答重点随决策目标变化，但底层证据应当一致，否则立项时的乐观结论无法在推广阶段被检验，退出时也说不清原假设错在哪里。
三类决策的提问差异可以归纳为下表：
| 决策类型 | 核心提问 | 结论门槛 | 暂缓条件 |
|---|---|---|---|
| 立项 | 值不值得开始试？目标问题是否明确、价值假设是否可检验、投入与止损条件是否清楚 | 目标问题具体、验证方式可执行、失败可承受 | 目标模糊、无法设计对照、关键前提不具备 |
| 推广 | 值不值得扩大范围？试点证据是否成立、适用条件能否复制、配套是否到位 | 试点结论在一致口径下成立，复制条件基本满足 | 证据仅在小范围成立、配套缺口大、扩大代价超过收益 |
| 退出 | 是否该停止或收缩？原假设是否被证伪、问题是否可修复、退出后如何收尾 | 原假设被证伪且修复代价不合理，或替代方案更优 | 问题可修复、证据尚不充分、外部条件短期变化 |
共用证据口径意味着三类决策使用同一套指标定义、同一观察窗口和同一数据来源。结论门槛不同，则体现在对证据强度、覆盖范围和代价评估的要求上：立项可以接受较小范围的初步证据，推广要求证据在目标范围内可复制，退出则要求排除沉没成本干扰后仍能得出否定结论。
评估报告要解决的管理问题与价值机制
研发AI应用评估报告要回答的管理问题有三个层次：这项AI应用针对的业务问题是否真实存在且值得解决；它带来的改变是否由AI应用本身引起，而非其他因素；继续投入、扩大或停止的资源安排是否合理。这三个问题分别对应问题定义、因果归因和资源决策。
从效果主张到可核验证据的转化，通常经过四步：先把“提升研发效率”这类笼统主张拆成具体对象和可观察结果，例如某类需求的分析耗时、某环节的返工次数；再确定数据来源和采集方式，保证前后口径一致；然后设置对照或基线，区分AI应用带来的变化与其他因素；最后把证据与结论写入报告，明确结论适用的范围和前提。
报告结论影响资源与范围决策的方式是条件式的：证据支持且前提具备时推进，证据不足时补充验证或暂缓，证据否定且修复不划算时收缩或退出。报告的作用是让这些判断有据可依，而非替代决策者的取舍。
立项决策：报告要回答的问题与采用条件
立项阶段的评估报告服务于“是否启动试点”的判断，需要回答以下问题：
- 目标问题与业务对象是否明确：要解决的是哪类研发活动中的什么问题，涉及哪些角色和环节，当前做法的主要损耗在哪里。
- 价值假设是否可检验：预期改变是什么，用什么指标观察，基线数据是否已具备，验证周期多长。
- 投入与前提是否清楚：需要哪些人力、数据、工具和流程配合，哪些前提不成立时方案无法推进。
- 失败止损条件是否设定：出现什么信号时应停止试点，已投入资源如何回收或转移。
值得立项的适用条件包括：目标问题具体且影响可观察；验证方式可以在有限周期内执行；关键前提基本具备或可通过试点补齐；失败代价在团队可承受范围内。若目标停留在“提升效率”这类无法落到具体对象的表述，或无法设计任何对照与基线，报告应给出暂缓立项的结论，先补齐问题定义和测量准备。
推广决策：报告要回答的问题与扩大条件
推广阶段的评估报告服务于“是否扩大覆盖范围”的判断，需要回答以下问题：
- 试点证据是否成立：试点期间的指标变化是否达到预设门槛，数据采集口径是否与立项时一致，结论是否经过复核。
- 适用条件能否复制：试点中依赖的团队能力、数据质量、流程成熟度等条件，在目标团队或环节是否同样具备。
- 组织、流程与工具配套是否到位：扩大范围后需要的培训、评审机制、权限与数据接入是否已准备。
- 扩大后的风险与代价：覆盖更多团队后，维护成本、误用风险、协调复杂度如何变化，收益是否仍能覆盖代价。
可以扩大范围的条件是：试点结论在一致口径下成立且经过复核；目标范围的复制条件与试点基本可比；配套措施有明确责任人和时间安排；扩大后的预期代价在可接受范围内。若试点证据只在小范围成立、复制条件差异大，或配套缺口需要较长周期补齐，报告宜建议分阶段扩大或暂缓推广，先在小范围补充验证。
退出决策：报告要回答的问题与暂缓条件
退出阶段的评估报告服务于“停止、收缩还是继续”的判断，需要回答以下问题：
- 原价值假设是否被证伪：立项时设定的指标是否未达门槛，未达原因是方案本身不成立还是执行条件不足。
- 问题是否可修复、修复代价是否合理：若属于数据、流程或使用方式问题，修复所需投入与预期收益是否匹配。
- 沉没成本是否干扰判断：已投入的资源是否被当作继续的理由，剔除已投入部分后，前瞻性收益是否仍成立。
- 退出后的替代方案与收尾安排：停止后由什么方式承接原有工作，数据、工具和人员如何交接，经验如何记录。
应停止或收缩的判断条件是：原假设在充分执行后仍被证伪，且修复代价超过预期收益；或出现更优替代方案，继续投入的机会成本明显偏高。应暂缓而非退出的情形包括：问题可修复且修复代价合理；证据尚不充分，观察窗口未覆盖完整业务周期；外部条件短期变化导致指标波动，尚不能归因于方案本身。暂缓时应明确补充验证的内容和时限，避免无限期搁置。
投入与前提：三类决策共用的证据准备
支撑三类决策的证据准备，需要在评估开始前统一设计，避免各阶段口径漂移。主要包括以下内容：
- 数据口径与采集方式：明确指标定义、计算公式、数据来源和采集频率，立项时的基线数据与试点期间的数据使用同一口径。
- 评估周期与观察窗口：根据业务周期设定观察长度，覆盖至少一个完整的需求或迭代周期，避免用短期波动下结论。
- 角色分工与记录责任：明确谁负责数据采集、谁负责复核、谁负责撰写结论，评估过程中的假设、变更和异常均有记录。
- 证据不足时的处理方式：当数据缺失或样本不足时，报告应标注证据强度，给出补充采集计划，并将结论表述为待验证而非确定。
这些准备工作可以借助研发管理工具承载。例如，在ONES中，评估相关的数据采集任务、试点工作项和结论文档可以分别记录在项目与Wiki页面中，ONES Assistant智能助手能够理解项目、工作项、迭代和Wiki页面等真实工作上下文，基于相关项目数据和团队知识回答问题，并将结果保存为工作项、Wiki页面等内容，便于在立项、推广、退出各阶段调取同一套记录进行复核。
试点判断：用小范围验证支撑三类决策
试点是三类决策共用的证据来源，其设计应同时满足立项验证、推广复制和退出判断的需要。
试点范围与对照方式：选择业务问题典型、数据可获取、配合度较高的团队或环节作为试点范围，同时保留可比的非试点对象作为对照，或使用试点前基线作为参照。对照方式应在试点开始前确定，避免事后选择有利比较。
试点结论的判定标准：预先设定通过、部分通过、未通过三档标准，分别对应指标达成程度、证据完整性和前提满足情况。判定标准与立项时的价值假设一一对应，避免试点结束后另立标准。
试点结果向三类决策的映射：通过且复制条件具备，支撑推广决策；通过但复制条件不足，支撑分阶段扩大或补充验证；部分通过且问题可修复，支撑继续试点或暂缓；未通过且修复代价不合理，支撑收缩或退出。立项决策则依据试点设计本身是否可行来判断是否启动。
试点结论的局限与复核：小范围试点在样本量、业务复杂度和人员能力上与大范围存在差异，结论应标注适用范围。推广前应对试点结论进行复核，确认数据口径未变、外部条件未发生重大变化，避免把局部结论直接当作全局结论使用。
常见问题
立项时证据还不充分，评估报告应该给出什么结论？
立项阶段本来就不要求完整的效果证据，报告的重点是判断“这个试点值不值得做”。此时可以接受较小范围的初步证据，但需要把证据强度标注清楚：哪些是已有基线数据，哪些是假设，哪些需要在试点中采集。
如果目标问题具体、验证方式可执行、关键前提基本具备，报告可以给出“建议立项试点”的结论，同时写明待验证事项和止损条件。若目标停留在笼统表述、无法设计对照或基线，报告宜给出暂缓结论，先补齐问题定义和测量准备，再进入试点。
试点效果不错，推广决策还需要额外看什么？
试点效果成立只是推广的必要条件。推广前还需要确认三件事：试点结论的数据口径与立项时一致且经过复核；目标团队或环节的复制条件与试点基本可比，包括数据质量、流程成熟度和人员能力；扩大范围所需的培训、评审机制、权限与数据接入已有明确责任人和时间安排。
如果复制条件差异较大或配套缺口需要较长周期补齐，报告宜建议分阶段扩大或暂缓推广，先在小范围补充验证，避免把局部结论直接当作全局结论使用。
指标未达预期时，如何区分该退出还是该暂缓？
关键看未达预期的原因和修复代价。若原价值假设在充分执行后仍被证伪，且修复代价超过预期收益，或出现更优替代方案，报告应支持停止或收缩。
若问题属于数据、流程或使用方式层面且修复代价合理，或观察窗口尚未覆盖完整业务周期、外部条件短期变化导致指标波动，报告宜建议暂缓，并明确补充验证的内容和时限。判断时需剔除已投入资源的影响，只看前瞻性收益是否仍成立，避免沉没成本干扰结论。
三类决策共用证据口径，具体要统一哪些内容？
需要统一的内容包括：指标定义与计算公式、数据来源与采集频率、观察窗口长度、复核责任人。立项时确定的基线数据与试点期间的数据应使用同一口径，评估过程中的假设、变更和异常都要有记录。
口径统一后，立项的乐观结论才能在推广阶段被检验，退出时也能说清原假设错在哪里。若中途调整口径，报告应说明调整原因，并将调整前后的结论分开表述。
评估过程中的记录和证据可以放在哪里，方便后续复核？
评估证据需要能被后续阶段调取和复核，因此建议在研发管理工具中集中承载。在ONES中，评估相关的数据采集任务、试点工作项和结论文档可以分别记录在项目与Wiki页面中。ONES Assistant智能助手能够理解项目、工作项、迭代和Wiki页面等真实工作上下文，基于相关项目数据和团队知识回答问题，并将结果保存为工作项、Wiki页面等内容，便于在立项、推广、退出各阶段调取同一套记录进行复核。
