产品假设验证要解决的是“我们相信用户会……”这类判断缺少证据的问题。做法是把判断拆成可证伪的假设,写清目标用户、预期行为、验证指标与判定阈值,再用成本合适的实验取得行为证据,据此决定继续、调整还是放弃。本文按假设写法、方法选择、执行步骤、角色分工、完整示例和可信度自查展开,并说明假设台账与决策留痕的管理承载方向,供团队建立可复用的验证流程时参考。
要点总览(TL;DR)
- 一条可验证的产品假设要写清目标用户、场景、预期行为与判定阈值,并在实验开始前记录成立与证伪标准。
- 价值假设、可用性假设、增长假设对应不同证据强度与成本:访谈和可用性测试适合早期排除方向,灰度发布与A/B实验适合验证可规模化的行为变化。
- 执行按定义指标、设计样本、采集数据、清洗解读、按阈值决策五步推进,结果落在中间区间时如实记为不明确,不临时改阈值。
- 产品经理、设计师、数据分析、研发和业务方各有交付物,决策评审安排在结果分析之后、资源投入之前,结论写入假设台账并关联需求。
- 验证可信度看阈值是否事前确定、样本与干扰是否受控、结论是否与数据一致、决策是否留痕,事后改阈值或样本偏差应视为阻断项。
先写清一条可验证的产品假设
一条可用的产品假设,应当让另一个人在验证之前就能判断“什么结果算成立、什么结果算不成立”。写法上建议包含四个要素:目标用户是谁、在什么场景下、预期发生什么行为、该行为达到什么水平才算验证通过。前三个要素界定验证对象,第四个要素给出判定标准,缺一项都会让后续实验失去解释依据。
假设陈述模板
可以直接套用下面的句式填写:
“我们相信【目标用户】在【具体场景】下,会【预期行为】,因为【支撑这一判断的观察或推理】。当【验证指标】达到【判定阈值】时,假设成立;低于【证伪阈值】时,假设不成立。”
例如:“我们相信新注册的中小团队管理员在首次进入后台时,会主动点击‘邀请成员’入口完成至少一次邀请,因为访谈中多位管理员提到希望尽快把同事拉进来。当首次会话内邀请点击率不低于30%时,假设成立;低于15%时,假设不成立。”中间区间属于结果不明确,需要补充样本或调整方案后再判断,这一点应在实验设计阶段就写明。
判定阈值与证伪条件的写法
阈值要同时满足三个条件:指标定义唯一、统计口径固定、比较基准明确。指标定义唯一,指“邀请点击率”要说明分母是首次进入后台的注册用户还是全部活跃用户;统计口径固定,指统计时间窗口是首次会话内还是注册后7天;比较基准明确,指对照的是当前版本表现、历史数据还是行业参考值。证伪条件与成立条件成对出现,避免只写“达到预期”这类无法执行的表述。
假设、需求与方案的区别
假设是对用户行为和结果的判断,需求是对要解决的问题的描述,方案是准备采取的具体做法。三者混写是常见问题:把“做一个邀请弹窗”当成假设,实际上它只是方案,真正的假设是“管理员有尽快邀请成员的意愿,且入口前置能提升邀请行为”。验证的对象应是假设,方案只是实验中的变量。写假设时先问一句:如果这个判断错了,我们会改变什么做法?答不上来,说明它还不是一条值得验证的假设。
常见写法错误
- 无法证伪:写成“用户会喜欢新界面”,喜欢无法直接观测,应改为可观测行为,如任务完成率或重复使用率。
- 指标含糊:只写“提升用户体验”“提高活跃度”,没有指标定义、时间窗口和阈值。
- 一次验证多个变量:同时改入口位置、文案和流程,结果无法归因到具体判断,应拆成多条假设分轮验证。
- 阈值事后补:先做实验再定标准,容易把任何结果解释成成功,阈值必须在实验开始前记录。
按假设类型选择验证方式
不同假设需要的证据类型不同,方法选择的核心是让实验产生的数据能够直接回答假设中的判断。按常见分类,价值假设关注用户是否真的需要并愿意使用,可用性假设关注用户能否顺利完成任务,增长假设关注某个改动能否带来可规模化的行为变化。三类假设对应的证据强度和成本差异明显,选错方法会让结论看起来有数据支撑、实际却答非所问。
| 假设类型 | 典型问题 | 适用验证方式 | 成本 | 证据强度 |
|---|---|---|---|---|
| 价值假设 | 用户是否有这个需求,是否愿意付出行动 | 用户访谈、落地页测试、原型测试、预售或预约登记 | 低到中 | 访谈偏弱,行为类测试中等 |
| 可用性假设 | 用户能否在预期路径上完成任务 | 可用性测试、原型走查、任务观察 | 低到中 | 中等,样本小但能定位问题 |
| 增长假设 | 某改动能否带来可规模化的行为提升 | 灰度发布、A/B实验、分群对比 | 中到高 | 强,基于真实行为数据 |
证据强度与成本大体同向:访谈和可用性测试招募少量用户即可开展,适合早期排除明显错误的方向;落地页和原型测试能取得点击、预约等行为数据,成本适中;灰度发布和A/B实验基于真实用户行为,结论最接近实际效果,但需要足够的流量、稳定的埋点和较长的观察窗口。选择时先看假设需要多强的证据才能支持决策,再看团队能否承担对应成本,不必所有假设都上A/B实验。
样本、招募与干扰控制
样本方面,定性访谈通常以覆盖主要用户类型为目标,直到新访谈不再出现新问题;可用性测试每个用户分组安排若干名目标用户即可暴露大部分严重问题;定量实验需要按预期效应大小和基线水平估算样本量,样本不足时结论只能作为方向参考。招募渠道要与目标用户一致,从内部同事或重度用户中取样容易产生偏差,应在记录中说明样本来源。干扰控制包括:实验期间避免同时上线其他影响同一指标的功能,保持流量分配随机,提前固定统计窗口,对节假日、促销等外部因素做记录。
把验证结论沉淀到协作流程
当多条假设并行推进时,团队需要一个统一的地方记录假设、实验方案、样本说明和结论,否则验证结果容易散落在个人文档里。ONES 可用于承载假设台账与实验记录,让假设、验证结论与对应的需求或路线图决策保持关联,便于后续评审和复用。具体字段与流转方式可按团队实际流程设计,本文在第六节给出字段清单参考。
验证执行步骤:从设计到取数
验证执行可以按五个步骤推进,每一步都应有明确输入、动作、输出和完成标志,避免实验做到一半才发现指标没埋点或样本不符合要求。
| 步骤 | 输入 | 动作 | 输出 | 完成标志 |
|---|---|---|---|---|
| 1. 定义验证问题与成功指标 | 假设陈述、业务目标 | 把假设转成一个可回答的问题,确定主指标、辅助指标和判定阈值 | 指标定义文档,含口径、时间窗口、阈值 | 指标定义经评审确认,埋点需求已提出 |
| 2. 设计实验方案与样本 | 指标定义、可用流量或用户池 | 选择验证方式,确定分组、样本量、招募渠道、观察周期和干扰控制措施 | 实验方案,含样本设计与风险说明 | 方案评审通过,样本来源与数量可落实 |
| 3. 执行与数据采集 | 实验方案、埋点或观察脚本 | 按方案上线或开展测试,记录执行偏差和外部干扰 | 原始数据、执行记录 | 数据采集完整,偏差已记录 |
| 4. 数据清洗与结果解读 | 原始数据、指标定义 | 剔除无效样本,按预设口径计算指标,与阈值对比 | 结果分析,含置信程度与局限说明 | 结果可复算,结论与数据一致 |
| 5. 按阈值做出决策 | 结果分析、假设陈述 | 对照预设阈值,做出继续、调整或放弃的决定,并记录理由 | 决策记录与后续动作 | 决策已评审留痕,后续任务已创建 |
第4步需要特别注意:结果落在成立与证伪阈值之间时,不要临时调整阈值来凑结论,应如实记录为“结果不明确”,并说明是样本不足、干扰未控还是假设本身需要拆分。第5步的决策要写成可执行的动作,例如“继续推进并进入需求评审”“调整入口文案后开展第二轮验证”“放弃该方向,释放研发资源”,而不是停留在“效果一般”的描述。
角色分工与交付物
验证流于形式,往往是因为没有人对假设质量和结论负责。建议明确各角色在验证中的职责与交付物,并在实验开始前确认参与人。
| 角色 | 主要职责 | 关键交付物 |
|---|---|---|
| 产品经理 | 提出假设,组织指标定义与实验方案,主持决策评审 | 假设陈述、指标定义、决策记录 |
| 设计师 | 提供原型或界面方案,参与可用性测试设计与观察 | 测试用原型、可用性问题清单 |
| 数据分析 | 校验指标口径,设计样本与统计方法,完成数据清洗与结果分析 | 指标口径说明、分析报告 |
| 研发 | 实现埋点、灰度或实验分组,保障数据采集准确 | 埋点方案、上线与回滚记录 |
| 业务方 | 提供用户资源与场景判断,参与结论评审 | 样本招募支持、业务侧评审意见 |
决策评审建议安排在结果分析完成之后、后续资源投入之前,参与人包括产品负责人、数据分析、研发负责人和业务方代表。假设台账的维护责任通常落在产品经理身上,由其保证每条假设的状态、结论和关联决策及时更新;数据分析负责核对结论中的数字与口径一致。评审时点固定下来,可以避免结论被搁置或只在口头传播。
一个完整示例:新功能入口假设的验证
以下为演示情景,数字仅用于说明流程,不代表行业标准或任何产品的实际数据。
假设陈述与判定阈值
某协作工具计划在后台首页新增“自动化规则”入口。团队提出的假设是:“我们相信已使用过至少三个项目的中小团队管理员,在后台首页看到自动化规则入口后,会在首次会话内点击进入并完成一次规则配置,因为此前访谈中多位管理员提到重复操作多、希望减少手工流转。当首次会话内入口点击率不低于25%、且点击用户中完成规则配置的比例不低于20%时,假设成立;点击率低于10%时,假设不成立。”团队同时约定中间区间记为结果不明确。
验证方式与样本设计
该假设属于价值与可用性的混合判断,团队选择灰度发布加行为埋点的方式:将符合条件的管理员随机分为实验组和对照组,实验组展示新入口,对照组保持原界面,观察周期为两周。样本量按基线点击率和预期提升幅度估算,招募范围限定为近30天有活跃项目的团队管理员,实验期间暂停其他首页改版,避免干扰同一指标。
结果数据与解读
两周后,实验组入口点击率为18%,点击用户中完成规则配置的比例为14%,两项均落在成立与证伪阈值之间。分析发现,点击率在第二周明显下降,部分用户反馈入口位置与通知区域过近、容易误触。团队据此判断:需求方向有一定支撑,但入口设计和引导流程影响了行为转化,当前数据不足以支持“假设成立”的结论。
最终决策与后续动作
团队做出“调整后复验”的决策:保留入口但调整位置与文案,增加首次进入的引导说明,两周后开展第二轮验证,阈值沿用第一轮预设值。决策记录中写明第一轮数据、不明确的原因和调整内容,并关联到对应的需求条目。这个示例说明,验证的价值不仅在于判断对错,也在于从数据中定位需要调整的具体环节。
验证过程中的协作与记录承载
假设验证的结论如果只留在个人文档或聊天记录里,几个月后同样的判断往往会被重新验证一遍。建议建立假设台账,把每条假设从提出到决策的过程记录在同一处,并与需求、路线图条目建立关联。
| 字段 | 说明 |
|---|---|
| 假设编号与陈述 | 按模板填写的完整假设,含目标用户、场景、预期行为 |
| 假设类型 | 价值、可用性或增长,决定验证方式选择 |
| 主指标与阈值 | 指标定义、统计口径、成立与证伪阈值,须在实验前填写 |
| 验证方式与样本 | 方法、样本来源、样本量、观察周期 |
| 执行记录 | 上线时间、执行偏差、外部干扰 |
| 结果与结论 | 实际数据、与阈值的对比、结论(成立、不成立、不明确) |
| 决策与后续动作 | 继续、调整或放弃,关联的需求或路线图条目 |
| 评审记录 | 评审时间、参与人、主要意见 |
记录流转上,假设提出后进入待验证状态,实验完成后更新结果并提交评审,评审通过后结论进入需求或路线图决策,台账状态同步更新。跨角色评审的留痕应包含参与人和意见分歧,便于后续追溯。复用历史结论时,先检查原假设的目标用户、场景和阈值是否与当前判断一致,条件不同则不能直接套用结论,但可以参考其方法和样本设计。
在工具承载上,ONES 的工作项与文档管理可用于维护假设台账、关联实验记录和决策结论,使验证过程与需求流转保持在同一协作空间内。团队可按上表字段设计台账结构,并根据自身评审节奏确定状态流转规则。
完成检查:验证是否可信
一次验证结束后,可用下面的清单逐项核对,判断结论是否达到可以据此决策的标准。
- 假设陈述是否包含目标用户、场景、预期行为和预期结果,且能被他人独立判断成立与否。
- 主指标定义、统计口径、观察窗口和判定阈值是否在实验开始前确定并记录。
- 样本来源是否与目标用户一致,样本量是否满足所选方法的基本要求,招募偏差是否说明。
- 实验期间是否控制了同时上线的其他改动,外部干扰是否记录。
- 数据清洗规则是否事先约定,剔除的无效样本是否有依据。
- 结论是否与数据一致,结果不明确时是否如实记录而非调整阈值。
- 决策是否写明继续、调整或放弃及具体后续动作,是否经过评审并留痕。
- 假设台账中的状态、结论和关联需求是否已更新,便于后续复用。
以下情况应视为阻断项,需要重新验证或补充说明后再决策:实验结束后修改判定阈值;样本明显偏离目标用户且未做说明;结论只有口头传达、台账中无记录;决策与数据方向相反却未给出理由。出现任一阻断项时,这次验证的结论不宜直接用于资源投入决策。
常见问题
假设验证做到一半发现指标定义有歧义,应该怎么处理?
先判断歧义是否影响主指标的判定。如果只是辅助指标口径不清,可在记录中说明并继续,结论中标注该指标的局限;如果主指标的分母、时间窗口或统计方式存在两种以上合理解释,建议暂停实验,重新定义指标并记录变更原因与时间点,再决定是重跑还是沿用已采集数据。已经采集的数据不要按新口径重新解释成支持结论,否则等同于事后调整标准。
流量较小的产品团队没有条件做A/B实验,还能怎么取得可信证据?
可以退一步选择证据强度中等但成本可控的方式:用可点击原型或落地页测试取得行为数据,用任务观察记录用户能否完成关键路径,用分群对比代替随机分组并说明分组差异。样本不足时,结论应写成方向性判断,并明确“需要更大样本确认”的后续动作,不宜直接作为资源投入的依据。方法选择的标准是证据能否回答假设中的判断,而非必须使用某一种实验形式。
多条假设并行推进时,怎样避免重复验证同一个判断?
关键是让假设台账可检索、可关联。每条假设记录目标用户、场景、指标与阈值,结论出来后标注成立、不成立或不明确,并关联到对应需求。新假设提出前先查台账中是否有条件相近的历史结论:目标用户、场景和阈值一致的可直接引用;条件不同的可以参考其方法和样本设计,但仍需重新验证。台账维护责任建议落在产品经理,数据分析核对数字口径。
验证结论是“结果不明确”,还能不能推进需求?
可以推进,但要把推进理由写清楚。结果不明确通常意味着样本不足、干扰未控或假设需要拆分,团队可以选择补充样本复验、调整方案后开展第二轮验证,或在风险可控的前提下小范围推进并设定观察指标。无论哪种选择,都应在决策记录中写明当前证据的局限和后续验证安排,避免把“不明确”当成“成立”使用。
定性访谈得出的结论,能直接作为需求立项的依据吗?
访谈适合发现问题和形成假设,证据强度偏弱,单独使用容易受样本和表达偏差影响。较稳妥的做法是把访谈中的判断转成可观测行为的假设,再用落地页测试、原型测试或灰度发布取得行为数据。访谈结论可以作为假设陈述中“支撑这一判断的观察”部分,与后续行为证据一起构成决策依据。
