产品实验是在真实或接近真实的使用环境中，对产品的某个假设做小范围验证，用可观察的用户行为或业务结果判断该假设是否成立。它关注产品能否产生用户价值，核心动作是提出假设、设计对照、收集证据，并据此决定继续、调整或停止。本文围绕定义、范围边界、运转机制、相邻概念区别和一个演示例子展开，帮助读者准确使用这个术语。
要点总览（TL;DR）
- 产品实验是围绕明确假设，在受控或半受控条件下对部分用户施加产品变化，用事先约定的指标和判断标准检验用户价值的活动。
- 判断一项活动是否属于产品实验，关键看它是否在检验产品对用户是否有价值；需求验收、研发效能度量归入相邻主题。
- 实验运转包括写出可检验的假设、设计对照方案、确定样本与观察周期、收集数据输出结论、做出继续调整或停止的决策五个环节。
- A/B测试是产品实验常用的一种对照设计，产品实验还包括灰度验证、分阶段放量等形态；用户调研提供说法，实验提供行为证据。
- 实验结论有适用边界，需写明覆盖的用户群体、时间窗口、产品版本和前提条件，条件变化后应重新验证。
产品实验的准确定义
产品实验可以定义为：围绕一个明确的产品假设，在受控或半受控条件下对部分用户施加某项产品变化，通过事先约定的观察指标和判断标准，检验该变化是否带来预期的用户价值或业务结果。这个定义包含四个基本要素，缺一不可。
- 假设：对“做什么改变、预期产生什么效果、为什么”的明确陈述。假设需要可被证伪，例如“把新用户引导从五步压缩到三步，能提高首次关键操作的完成率”。
- 干预：实验中实际施加的产品变化，可以是一个新流程、一种界面方案、一项策略调整，也可以是对照组保持原状的安排。干预必须清晰可描述，否则结果无法归因。
- 观察对象：参与实验的用户群体及其行为数据，包括分组方式、样本范围和观察周期。观察对象决定了结论能覆盖到谁。
- 判断标准：实验开始前约定的指标、阈值和决策规则，例如“完成率提升达到约定幅度且未明显损害后续留存，则进入推广”。标准先于数据确定，才能避免事后解释。
产品实验与日常试用、主观评审的区别在于证据来源和决策方式。日常试用是团队成员使用产品后凭感受提意见，主观评审是评审者依据经验判断方案好坏，两者都能提供线索，但结论建立在个人感受之上。产品实验要求把判断交给可观察的用户行为或业务结果，并事先说明在什么条件下算成立、什么条件下算不成立。这使得实验结论可以被复核，也可以被后续实验修正。
产品实验包括什么、不包括什么
划清范围的关键，是看这项活动是否在检验“产品对用户是否有价值”这一假设。围绕用户价值做小范围验证并据此决策的活动，属于产品实验；围绕交付质量、流程效率或内部管理展开的活动，归入相邻主题。
属于产品实验的典型活动包括：
- 针对某个功能方案提出价值假设，选择一部分用户先行接触新方案，观察其使用行为是否改变。
- 对同一目标设计两种或多种产品方案，比较不同方案下的用户完成率、转化路径或留存表现。
- 在小范围人群中验证定价展示方式、引导文案、流程步骤等变化对用户决策的影响。
- 对已上线功能做效果验证，判断其是否达到设计时预期的使用深度和业务结果。
- 根据实验结果做出继续投入、调整方案或停止推进的决策，并记录决策依据。
不属于产品实验、需要归入其他主题的活动包括：
- 需求验收：核对已开发功能是否符合需求描述、是否通过既定测试，关注的是交付是否完成、质量是否达标，归入需求验收与闭环管理主题。
- 研发效能度量：统计交付周期、缺陷密度、发布频率等研发过程指标，关注的是研发体系运转效率，归入研发效能管理主题。
- 内部流程评审：对方案文档、设计稿做会议评审，形成的是团队判断，未经过用户行为检验，属于方案评审而非产品实验。
- 上线发布本身：把功能推给全量用户是交付动作，若没有预设假设、对照和判断标准，上线不构成实验。
这条边界的意义在于防止概念泛化。需求验收通过，说明功能按需求做出来了；产品实验有结论，说明这个功能对用户产生了预期价值。两者回答的是不同问题，混用会导致团队把“按时交付”误当成“验证成功”。
产品实验如何运转：从假设到结论
产品实验的运转是一条从假设到决策的链路，每个环节都为下一环节提供输入。环节缺失时，结论的可信度会明显下降。
第一步：写出可检验的假设
假设的写法通常包含三个部分：改变什么、预期影响哪个指标、影响方向和大致幅度。例如“将结算页的必填字段从八项减到四项，预期把结算完成率提升到约定水平，因为字段过多会增加中途放弃”。假设要具体到可以被数据否定，避免写成“优化体验会更好”这类无法检验的表述。
第二步：设计实验方案与对照
方案要说明干预内容、分组方式和对照安排。对照的作用是提供比较基准：实验组接触新方案，对照组维持原方案，两组在其他条件上尽量一致，这样指标差异才能归因到干预本身。若无法设置同期对照，可采用前后对比，但需要说明期间其他因素可能带来的干扰。
第三步：确定样本与观察周期
样本要能代表目标用户群体，规模需与预期效果大小相匹配；观察周期要覆盖用户完成关键行为的完整过程，避免在行为尚未发生时就下结论。样本过小或周期过短，容易把随机波动当成实验效果。
第四步：收集数据并输出结论
按事先约定的指标收集实验组与对照组数据，比较差异是否达到判断标准，同时检查是否存在指标之间的冲突，例如完成率上升但后续留存下降。结论应写明假设是否成立、证据是什么、适用范围到哪里。
第五步：做出决策动作
实验的价值最终体现在决策上，通常有三种走向：假设成立则扩大范围推广；部分成立或出现副作用则调整方案后再次验证；假设不成立则停止推进并记录原因。无论哪种走向，都应把假设、方案、数据和结论留存下来，供后续实验参考。
在团队协作中，这套流程需要载体：假设和方案写在文档里便于评审，实验任务和结论作为工作项跟踪状态，决策记录与相关需求关联，避免结论散落在聊天记录中。ONES 的文档与工作项可以承载实验假设、方案说明和结论记录，让实验从提出到决策的过程可追溯，便于后续复盘时对照当时的判断依据。
产品实验与相邻概念的区别
产品实验容易与几个相邻概念混用。下表按“回答什么问题、依据什么证据、产出什么”三个口径做对照，帮助区分各自的位置。
| 概念 | 回答的问题 | 主要证据 | 典型产出 |
|---|---|---|---|
| 产品实验 | 这个产品变化是否为用户创造了预期价值 | 实验组与对照组的用户行为或业务结果 | 假设成立与否的结论及继续、调整、停止的决策 |
| 需求验收 | 功能是否按需求完成、质量是否达标 | 需求文档、测试结果、验收记录 | 验收通过或不通过的结论 |
| A/B测试 | 两个或多个方案中哪个表现更好 | 分流后的指标对比 | 方案优劣比较结果 |
| 用户调研 | 用户怎么想、为什么这样想 | 访谈、问卷、可用性观察 | 需求洞察、问题清单、改进方向 |
| 研发效能度量 | 研发交付过程是否高效、稳定 | 交付周期、缺陷率、发布频率等过程数据 | 效能基线、改进项 |
产品实验与需求验收的区别在于判断对象：前者判断用户价值，后者判断交付符合度。验收通过不意味着实验成立，实验成立也不替代验收。
产品实验与A/B测试是包含关系。A/B测试是产品实验中常用的一种对照设计，适用于可分流、可量化的场景；产品实验还包括小范围灰度验证、分阶段放量等形态。把两者等同，会漏掉那些不适合严格分流、但仍需验证价值的实验。
产品实验与用户调研的区别在于证据类型。调研获取的是用户的说法和感受，能解释动机、发现方向；实验获取的是用户的实际行为，能检验某个具体变化是否真的改变了结果。实践中常见做法是先用调研形成假设，再用实验验证假设。
产品实验与研发效能度量的区别在于关注对象。效能度量看研发体系自身的运转，产品实验看产品在用户侧产生的价值。两者数据来源和决策用途不同，不宜互相替代。
一个具体例子与常见误解
以下为演示情景，用于说明实验各环节如何衔接，数据为示意，不代表真实业务结果。
演示：新用户引导流程实验
- 假设：将新用户引导从五步压缩为三步，预期把首次关键操作的完成率提升到约定水平，因为步骤过多会让用户在早期流失。
- 设计：新注册用户随机分为两组，实验组接触三步引导，对照组维持五步引导，两组在其他产品体验上保持一致。
- 样本与周期：覆盖连续两周内注册的用户，观察周期为注册后七天，确保关键操作有足够时间发生。
- 结果：实验组完成率高于对照组，达到事先约定的判断标准；同时检查后续留存，未出现明显下降。
- 决策：假设成立，扩大引导方案的适用范围，并把实验记录归档，作为后续引导优化的基线。
常见误解与纠正
- 把上线当实验：功能发布给全量用户后观察数据变化，若没有预设假设、对照和判断标准，看到的变化可能来自季节、渠道或版本叠加。纠正方式是先明确假设与判断标准，再选择小范围验证。
- 把个别反馈当结论：几位用户说“不好用”就判定方案失败，或几位用户称赞就判定成功。个别反馈适合形成假设，结论仍需行为数据支撑。
- 实验结束后才定指标：数据出来后再挑一个好看的指标宣布成功，会让结论失去检验意义。判断标准应在实验开始前确定并记录。
- 忽略副作用指标：只看目标指标上升，未检查留存、投诉或后续转化是否受损，可能把短期提升误判为整体价值。
- 把一次结论当永久结论：实验结论有适用边界，包括用户群体、时间窗口、产品版本和场景条件。条件变化后，原结论需要重新验证。
实验结论的适用边界应在结论中写明：覆盖了哪类用户、在什么时间段、针对哪个版本、依赖哪些前提。边界写得越清楚，结论被误用的风险越低，后续团队也越容易判断能否直接复用这次实验的判断。
常见问题
产品实验一定要做A/B测试吗？
不一定。A/B测试适合可分流、可量化、样本量足够的场景，是产品实验中常用的一种对照设计。当产品变化无法严格分流，或目标用户规模较小、观察周期较长时，可以采用小范围灰度验证、分阶段放量等形态，同样需要预设假设、观察指标和判断标准。选择哪种形态，取决于干预是否可拆分、指标是否可量化以及样本是否足够支撑比较。
实验结论和需求验收结论冲突时，应该以哪个为准？
两者回答的是不同问题，通常不构成直接冲突。需求验收判断功能是否按需求完成、质量是否达标；产品实验判断这个功能是否给用户带来了预期价值。功能验收通过但实验不成立，说明交付本身没问题，价值假设需要调整；实验成立但验收未通过，说明方案方向有价值，交付质量仍需补齐。团队应把两类结论分别记录，在决策时同时参考。
样本量很小的时候还能做产品实验吗？
可以做，但结论的适用范围要相应收窄。样本量小时，指标波动更容易被误读为实验效果，因此需要更谨慎地设定判断标准，延长观察周期，并优先关注方向性明显、幅度较大的变化。对于面向小众用户群体的产品，可以把实验定位为探索性验证，结论用于决定是否继续投入，而非直接推广到全量用户。
实验做到一半发现指标不对，可以改判断标准吗？
可以调整，但需要把调整过程记录下来，并说明调整原因。判断标准在实验开始前确定，是为了避免数据出来后挑指标。如果中途发现原指标无法反映真实价值，或出现未预料的副作用指标，调整本身是合理的，但应把原标准、调整后的标准和调整依据一并留存，让后续读者能判断这次结论的可信程度。
实验结果不成立，这次实验还有价值吗？
有价值。假设不成立同样是一条明确结论，它说明当前方案没有带来预期价值，团队可以据此停止投入，把资源转向其他方向。更重要的是，实验记录中的假设、方案、数据和判断依据，能让后续团队避免重复验证同一个想法，也能为调整方案提供参照。实验的价值体现在决策质量上，成立与不成立都是决策输入。
