产品实验记录模板用于把一次产品实验从假设到结论完整留痕,主线是“实验假设—实验设计—执行过程—结果数据—结论与后续动作”。下面提供三张可直接复制的空白表:主表记录实验基本信息与结论,数据表按周期记录指标,决策表记录结论与下一步。核心必填项包括实验编号、假设、目标指标与判定阈值、样本与分组、起止时间、结果数据和结论。
要点总览(TL;DR)
- 模板由三张表组成:实验主表记录基本信息与结论,分周期数据表记录指标变化,结论与后续动作表记录判定与下一步。
- 必填项为实验编号、实验假设、目标指标与判定阈值、样本范围与分组方式、起止时间、结果数据和结论;参与人、依赖与风险、辅助指标可按需填写。
- 填写时先写可被数据推翻的假设,再确定主指标、基线值和阈值,数据表按周期逐行记录,结论类型限定为达到阈值、未达到阈值、数据不足三类。
- 实验频次低的团队可把决策表并入主表;新增字段以是否用于结论判定或后续检索为标准,并保留版本与变更记录。
- 实验记录回答改动是否带来预期价值,需求验收和研发效能记录各有独立口径,可互相引用但不混用结论。
可复制空白模板
三张表可以粘贴到任意表格工具中使用。建议先粘贴为三个独立工作表,再按“实验编号”建立关联:主表一行对应一次实验,数据表多行对应同一次实验的不同周期,决策表一行对应一次结论评审。若使用文档工具,可将三张表依次放在同一文档的不同小节,并在主表顶部保留实验编号作为检索锚点。
表一:实验主表
| 字段 | 填写内容 |
|---|---|
| 实验编号 | |
| 实验名称 | |
| 负责人 / 参与人 | |
| 实验类型 | 功能验证 / 定价 / 流程改动 / 其他 |
| 背景与问题 | |
| 实验假设 | |
| 验证点 | |
| 目标指标 | |
| 基线值 | |
| 判定阈值 | |
| 样本范围 | |
| 分组方式 | |
| 开始时间 | |
| 结束时间 | |
| 依赖与风险 | |
| 结论 | |
| 后续动作 | |
| 记录状态 | 草稿 / 进行中 / 待评审 / 已归档 |
表二:分周期指标数据表
| 实验编号 | 统计周期 | 指标名称 | 分组 | 样本量 | 指标值 | 对比基线变化 | 数据来源 | 备注 |
|---|---|---|---|---|---|---|---|---|
表三:结论与后续动作表
| 实验编号 | 结论类型 | 结论说明 | 判定依据 | 后续动作 | 责任人 | 计划完成时间 | 评审人 / 评审日期 |
|---|---|---|---|---|---|---|---|
| 达到阈值 / 未达到阈值 / 数据不足 | 推广 / 调整后重试 / 终止 / 补充数据 |
字段说明:每个字段记录什么、怎么填
字段口径统一,不同角色填出来的记录才能互相对照。以下按主表、数据表、决策表的顺序说明关键字段。
实验编号与命名规则
实验编号建议采用“产品线缩写-年份-序号”的格式,例如“会员-2025-003”。编号一经分配不再复用,实验终止或重试时保留原编号,重试另开新编号并在背景中注明关联关系。实验名称用一句话说明“对谁做了什么改动”,避免只写“按钮改版实验”这类无法辨认对象的信息。
假设与验证点的写法
假设写成可被数据推翻的陈述,包含对象、改动和预期变化,例如“新用户在首屏看到价格说明后,7日内付费转化率相对当前版本提升”。验证点从假设中拆出,一条假设通常对应一到两个验证点,写明看哪个指标、在什么人群上看。假设中避免“提升用户体验”这类无法判定的表述。
目标指标、基线值与判定阈值
目标指标选一个主指标,必要时加一两个辅助指标,主指标决定实验成败。基线值填实验开始前同一口径的历史数据,并注明统计区间。判定阈值写清方向和幅度,例如“主指标相对基线提升不低于5个百分点”,同时约定观察周期。阈值在实验开始前确定,开始后修改需在备注中说明原因。
样本范围与分组方式
样本范围写明人群条件、渠道和时间窗口,例如“注册30天内、来自应用商店自然量的新用户”。分组方式写清对照组与实验组的划分依据和比例,以及分流是否随机。样本量不足时在结论中标注“数据不足”,不用小样本结果直接下结论。
结果数据与统计口径
数据表按周期逐行记录,每个周期、每个分组、每个指标各占一行。指标值保留原始口径,对比基线变化写绝对差值或相对变化,并在备注中说明计算方式。数据来源填埋点、后台报表或人工统计,便于后续复核。跨周期数据出现异常时,在备注中记录原因,不直接删除异常行。
结论与后续动作字段
结论类型限定为“达到阈值、未达到阈值、数据不足”三类,结论说明用两三句话讲清数据支持了什么、不支持什么。判定依据指向数据表中的具体周期和指标。后续动作写具体决定,如推广、调整后重试、终止或补充数据,并落到责任人和计划完成时间。评审人和评审日期用于确认结论经过他人核对。
必填与选填:哪些字段不能空
必填项的作用是保证记录可被复核和复用。以下字段缺失时,实验记录不能进入“待评审”状态。
| 字段 | 必填 / 选填 | 理由与空缺处理 |
|---|---|---|
| 实验编号 | 必填 | 检索与关联的唯一标识,缺失时先分配编号再继续 |
| 实验假设 | 必填 | 没有假设就无法判断实验是否成立 |
| 目标指标与判定阈值 | 必填 | 决定结论口径,须在实验开始前填写 |
| 样本范围与分组方式 | 必填 | 影响结论适用范围,缺失时结论只能标为“数据不足” |
| 起止时间 | 必填 | 界定数据统计窗口 |
| 结果数据 | 必填 | 结论的依据,至少包含主指标的分周期数据 |
| 结论 | 必填 | 归档的前提,未填时记录停留在“进行中” |
| 背景与问题 | 选填 | 建议填写,便于他人理解实验动机 |
| 依赖与风险 | 选填 | 涉及外部系统或合规要求时填写 |
| 参与人 | 选填 | 小团队可只填负责人 |
| 辅助指标 | 选填 | 主指标之外用于解释结果的指标 |
必填项暂时无法填写时,用“待补”加责任人和预计补齐时间标记,不用空白或“无”代替,避免评审时误判为已确认。不同实验类型的取舍有所区别:功能验证类实验重点填样本范围、分组方式和主指标;定价类实验需补充价格敏感度和收入口径,并在依赖与风险中记录合规审核情况;流程改动类实验的样本往往是团队或订单批次,需在样本范围中写清批次划分,结果数据可增加过程时长类指标。
填写示例:一次完整的产品实验记录
以下为演示情景,数据为虚构,仅用于展示字段如何联动,不对应任何真实企业或真实实验结果。
示例背景与假设
某订阅制工具产品计划在注册流程中增加一步“用途选择”,希望提升新用户7日内激活率。假设为:新用户注册时完成用途选择后,7日内激活率相对当前流程提升。主指标为7日内激活率,基线值32%,判定阈值为相对基线提升不低于4个百分点,观察周期14天。
主表填写示例
| 字段 | 填写内容 |
|---|---|
| 实验编号 | 订阅-2025-007 |
| 实验名称 | 注册流程增加用途选择对新用户激活的影响 |
| 负责人 / 参与人 | 产品负责人A;数据负责人B |
| 实验类型 | 功能验证 |
| 背景与问题 | 新用户注册后激活率长期在32%左右,怀疑缺少用途引导导致用户不知道从哪开始 |
| 实验假设 | 新用户注册时完成用途选择后,7日内激活率相对当前流程提升 |
| 验证点 | 主指标:7日内激活率;辅助指标:用途选择完成率 |
| 目标指标 | 7日内激活率 |
| 基线值 | 32%(前30天同渠道新用户) |
| 判定阈值 | 相对基线提升不低于4个百分点 |
| 样本范围 | 注册30天内、应用商店自然量新用户 |
| 分组方式 | 随机分流,对照组与实验组各50% |
| 开始时间 | 2025-03-03 |
| 结束时间 | 2025-03-16 |
| 依赖与风险 | 依赖注册埋点改造;风险为分流比例偏差 |
| 结论 | 达到阈值,实验组激活率提升5.1个百分点 |
| 后续动作 | 全量上线用途选择步骤,并观察30天留存 |
| 记录状态 | 已归档 |
分周期数据表填写示例
| 实验编号 | 统计周期 | 指标名称 | 分组 | 样本量 | 指标值 | 对比基线变化 | 数据来源 | 备注 |
|---|---|---|---|---|---|---|---|---|
| 订阅-2025-007 | 第1周 | 7日内激活率 | 对照组 | 1,240 | 31.8% | -0.2个百分点 | 埋点报表 | 与基线基本一致 |
| 订阅-2025-007 | 第1周 | 7日内激活率 | 实验组 | 1,236 | 36.4% | +4.4个百分点 | 埋点报表 | 用途选择完成率78% |
| 订阅-2025-007 | 第2周 | 7日内激活率 | 对照组 | 1,198 | 32.3% | +0.3个百分点 | 埋点报表 | — |
| 订阅-2025-007 | 第2周 | 7日内激活率 | 实验组 | 1,205 | 37.4% | +5.1个百分点 | 埋点报表 | 用途选择完成率81% |
结论与后续动作示例
| 实验编号 | 结论类型 | 结论说明 | 判定依据 | 后续动作 | 责任人 | 计划完成时间 | 评审人 / 评审日期 |
|---|---|---|---|---|---|---|---|
| 订阅-2025-007 | 达到阈值 | 实验组两周激活率均高于对照组,第2周提升5.1个百分点,超过4个百分点阈值;用途选择完成率稳定在八成左右 | 数据表第1—2周主指标 | 全量上线用途选择步骤,30天后复盘留存 | 产品负责人A | 2025-03-31 | 数据负责人B / 2025-03-18 |
示例与字段说明一一对应:主表中的假设、阈值和样本范围决定了数据表记录哪些行,数据表的周期数据构成决策表的判定依据,决策表的后续动作又回填到主表的“后续动作”字段。填写时保持这种对应关系,记录才能被他人独立复核。
调整与维护:让模板适配团队并长期可用
模板需要随团队实验频次和类型变化做裁剪,同时保留版本记录,避免不同时期的记录无法比较。
按团队规模与实验频次裁剪字段
实验频次低的团队可保留主表和数据表两张,把决策表内容并入主表的结论与后续动作字段,减少维护成本。每月多次并行实验的团队建议保留三张表,并在主表增加“所属项目”字段,便于按项目汇总。参与人、依赖与风险、辅助指标在实验较少时可暂不填写,实验涉及跨团队协作或合规审核时再补。
新增字段的判断标准
新增字段需满足两个条件之一:该信息会被用于结论判定,或会被用于后续检索与复用。仅为记录方便而增加、且无人回看的字段应删去。新增字段时同步更新字段说明和示例,避免模板与说明脱节。
模板版本与变更记录
在模板文件顶部保留版本号和变更说明,记录每次增删字段的原因和生效日期。已归档的实验记录不随模板升级而改写,新版本只适用于新开始的实验;需要横向对比时,以字段说明中的口径为准。
归档、检索与复用
实验结束后将记录状态改为“已归档”,按实验编号和产品线归档。检索主要靠实验编号、实验名称关键词和结论类型。复用旧记录时先核对指标口径是否与当前一致,口径变化较大的只参考结论方向,不直接引用数值。记录需要多人评审和长期留存时,可放入ONES文档中维护,用工作项关联实验负责人和后续动作,让结论评审与任务跟进在同一处完成。
与需求验收、研发效能类记录的边界
产品实验记录回答“某个改动是否带来预期价值”,需求验收记录回答“需求是否按约定完成”,研发效能记录回答“交付过程效率如何”。三类记录可以互相引用,但字段和结论口径各自独立,不把验收结论直接当作实验结论,也不把实验数据并入效能度量。
常见问题
实验进行中修改了判定阈值,记录里怎么体现?
阈值原则上在实验开始前确定。确需修改时,在原阈值旁保留修改前数值,并在备注中写明修改原因、修改人和修改日期,结论评审时一并核对。若修改幅度较大,建议终止原实验并另开新编号,避免同一编号下出现两套判定口径。
样本量很小,结论类型该选哪一类?
样本量不足以支撑判定时,结论类型选“数据不足”,并在结论说明中写清当前样本量、已观察到的方向以及需要补充的样本条件。后续动作可填“补充数据”,并约定补齐后的复核时间。小样本结果可以作为方向参考,不直接写成达到或未达到阈值。
多个实验并行时,实验编号和归档怎么管理?
编号按产品线分配,同一产品线内顺序递增,并行实验各自独立编号。归档时按产品线和年份建立目录,主表保留实验名称与结论类型作为检索字段。若多个实验服务于同一目标,可在主表增加“所属项目”字段汇总,但各实验的假设、数据和结论仍分别记录,不合并成一条。
实验记录和需求验收记录需要重复填写吗?
不需要重复填写同一份内容。需求验收记录回答需求是否按约定完成,实验记录回答改动是否带来预期价值,两者字段和结论口径不同。实验记录可以在背景或依赖中引用需求编号,验收结论作为实验的前置条件,实验数据不并入验收记录。
模板字段太多,小团队怎么精简?
先保留必填字段,再把决策表并入主表的结论与后续动作字段,形成主表加数据表两张。参与人、依赖与风险、辅助指标在实验较少时可暂不填写,涉及跨团队协作或合规审核时再补。精简后同步更新字段说明,保证团队内填写口径一致。
