产品假设验证的依据要围绕“假设—证据—判断”三层组织:先把假设拆成可观测的用户行为与价值指标,再收集定性访谈、行为数据、实验对照和业务侧反馈四类证据,最后用事先确定的通过与否决标准做判断并留档。依据是否成立,取决于证据能否回答假设中的具体变量,以及证据来源、样本和时间窗口是否说清。本文给出一套可执行的拆解字段、证据对照、角色分工与完成检查。
要点总览(TL;DR)
- 验证依据按“假设—证据—判断”三层组织:假设拆到可观测变量,证据标注来源与口径,判断对照预设标准。
- 四类证据各有分工:定性访谈解释原因,行为数据反映实际动作,对照实验判断因果,业务侧反馈补充一线场景。
- 判断标准要在收集证据前写明指标口径、观察周期和通过与否决阈值,避免事后调整口径。
- 产品负责人、用研、数据、业务方和评审角色分别承担提出、收集、分析与判断,结论需关联留档以便追溯。
- 依据不足时写明补充计划,不强行下结论;样本、口径或观察期不满足要求时先补证据再评审。
验证依据由哪几层构成
产品假设验证的依据由三层构成,缺一层都会让结论悬空。第一层是假设,产出物是拆解到可观测变量的假设登记条目;第二层是证据,产出物是带来源、样本、口径和时间窗口的证据记录;第三层是判断,产出物是按预设标准给出的通过、否决或补充证据的结论。三层之间是逐层约束的关系:证据必须对应假设中的变量,判断必须引用证据而不是印象。
四类证据各自回答不同问题。定性访谈回答“用户为什么会有这个行为、他们如何描述问题”;行为数据回答“用户实际做了什么、在哪个环节流失”;对照实验回答“改变某个因素后,目标指标是否发生变化”;业务侧反馈回答“销售、客服、运营在一线看到的需求是否与假设一致”。这四类证据互补,单一来源通常不足以支撑一条重要假设。
判断标准必须在收集证据之前确定。如果先看数据再定阈值,容易把偶然波动解释成验证成功。标准应写明指标名称、计算口径、观察周期、通过阈值与否决阈值,并说明样本不足时如何处理。
| 层级 | 内容 | 产出物 |
|---|---|---|
| 假设层 | 对象、场景、预期行为、预期价值,以及对应指标与观测方式 | 假设登记表条目 |
| 证据层 | 定性访谈、行为数据、对照实验、业务侧反馈,附来源、样本、口径、时间窗口 | 证据记录与原始材料索引 |
| 判断层 | 预设通过与否决标准,逐条对照证据给出结论 | 验证结论与后续动作记录 |
把产品假设拆成可验证的字段
可验证的假设需要写成一句结构完整的话:在什么场景下,哪类对象,预期出现什么行为,由此带来什么价值。这句话里的每个成分都要能落到指标上,否则无法判断真假。例如“新用户会喜欢简化注册”不是可验证假设,因为它没有说明对象范围、行为表现和价值口径。
拆解时先区分假设类型。价值假设关注用户是否愿意为某个价值付出行动,比如付费、留存、重复使用;增长假设关注获客与传播路径是否成立;可用性假设关注用户能否顺利完成关键任务。三类假设的证据来源不同:价值假设更依赖行为数据与实验,可用性假设更依赖任务测试与访谈,增长假设更依赖渠道数据与对照实验。
每条假设登记时应包含以下字段:假设编号、假设陈述、假设类型、目标对象、使用场景、预期行为、预期价值、核心指标及计算口径、观测方式与数据来源、观察周期、通过标准、否决标准、负责人、当前状态。字段齐全的登记表可以直接作为证据收集的任务清单。
填写示例:假设编号 H-01;假设陈述“首次使用的新用户在引导流程中完成首个关键任务后,七日内再次使用该功能的比例高于未完成者”;类型为价值假设;对象为注册三十天内的新用户;场景为首次引导;预期行为为完成首个关键任务并在一周内回访;核心指标为七日内功能回访率;观测方式为产品埋点加同期队列对比;观察周期为四周;通过标准为完成组回访率明显高于未完成组且样本量达到预设下限;负责人为产品负责人,数据由数据角色提供。
四类证据的收集方法与可信度
定性访谈适合在假设形成早期使用,回答“问题是否真实存在、用户如何描述”。样本应覆盖假设中的目标对象,而不是随手可约的同事或重度用户;提问围绕过去发生的行为展开,少问“你会不会用”。访谈的局限是样本小、易受提问引导,结论应作为假设修正的输入,单独使用不足以判定通过。
行为数据回答“实际发生了什么”。使用前要确认埋点口径:事件定义、去重规则、统计周期、是否包含测试账号。口径不一致的数据放在一起比较,会得出错误结论。行为数据能反映相关关系,解释因果仍需实验或访谈配合。
对照实验回答“变化是否由该因素引起”。基本要求是随机分组、设置对照组、实验前确定主指标与判定规则,并保证两组在关键特征上可比。实验的局限在于成本较高、部分场景难以随机化,短期指标也可能与长期价值不一致,需要在结论中注明观察窗口。
业务侧反馈包括销售、客服、运营的一线观察,适合补充场景细节和发现假设未覆盖的情况。它的使用边界是:可以作为线索和佐证,不能替代行为数据作为主要判定依据,因为一线反馈往往集中在声音大的客户身上,存在选择偏差。
| 证据来源 | 回答的问题 | 主要局限 | 所需前提 |
|---|---|---|---|
| 定性访谈 | 问题是否真实、用户如何描述与决策 | 样本小、易受引导,难量化 | 覆盖目标对象的访谈提纲与记录 |
| 行为数据 | 用户实际做了什么、在哪流失 | 只能反映相关,口径易不一致 | 事件定义清晰、埋点经过校验 |
| 对照实验 | 某因素变化是否引起指标变化 | 成本高、部分场景难随机化 | 随机分组、预设主指标与判定规则 |
| 业务侧反馈 | 一线场景是否与假设一致 | 存在选择偏差,难代表整体 | 记录来源客户类型与反馈频次 |
角色分工与各阶段交付物
假设验证涉及提出、收集、判断、留档四类动作,需要明确到角色。产品负责人提出假设并写清指标与判定标准;用研角色设计访谈提纲、执行访谈并整理洞察;数据角色负责埋点口径、数据提取与实验分析;业务方提供一线反馈并确认场景真实性;决策评审由产品负责人牵头,相关角色共同参加,对结论签字确认。
每个阶段的输入与输出要能交接。假设阶段输入是用户问题与业务目标,输出是假设登记条目;证据阶段输入是登记条目中的观测方式,输出是证据记录与原始材料;判断阶段输入是证据记录与预设标准,输出是结论与后续动作;留档阶段把假设、证据、结论关联保存,保证后来者能追溯每条结论的依据。
证据归档要求可追溯:每条证据标注来源、采集时间、样本范围、口径版本和采集人;结论中引用的每个判断都能指向具体证据编号。假设被否决时同样留档,说明否决依据,避免同一假设反复被提出又反复验证。
| 角色 | 主要职责 | 关键交付物 |
|---|---|---|
| 产品负责人 | 提出假设、设定指标与判定标准、牵头评审 | 假设登记条目、验证结论 |
| 用研角色 | 设计并执行访谈、整理定性洞察 | 访谈提纲、访谈记录与洞察摘要 |
| 数据角色 | 定义埋点口径、提取数据、分析实验结果 | 数据口径说明、分析报告 |
| 业务方 | 提供一线反馈、确认场景真实性 | 反馈记录与来源说明 |
| 决策评审 | 对照标准做判断、确认后续动作 | 评审结论与签字记录 |
当假设条目、证据记录和评审结论需要在同一处关联保存时,可以用工作项承载假设与验证任务,用文档承载证据说明和结论,并在评审时把结论回写到对应工作项。ONES 在 IPD 场景中提供了阶段决策评审(PDCP)基于评审结果批准业务计划书、验证阶段决策评审(ADCP)综合评估市场准入与合规条件的做法,可作为把评审结论与后续投入正式关联的参考;具体到假设登记与证据归档的字段配置,需按团队实际流程设计。
一个完整的验证示例
以下为演示情景,用于说明流程,不代表真实业务数据。假设:某协作工具的新用户在首次创建项目时使用模板,其三十日留存高于未使用模板者。拆解后,对象为注册十四天内的新用户,场景为首次创建项目,预期行为为选择模板并完成一次任务创建,核心指标为三十日留存率,观测方式为埋点加同期队列对比,观察周期为六周,通过标准为使用模板组的三十日留存率高于对照组且样本量达到预设下限。
证据收集分三步。第一步做八到十名新用户的定性访谈,确认他们创建项目时是否感到无从下手、是否注意到模板入口;第二步核对埋点,确认“使用模板”事件的定义包含从模板创建并成功保存项目,排除测试账号;第三步按注册时间做同期队列对比,同时收集客服关于“不知道项目怎么建”的反馈作为佐证。
结果呈现时按证据类型分列:访谈显示部分用户未注意到模板入口,行为数据显示模板使用率低于预期,队列对比显示使用模板组留存更高但样本量尚未达到预设下限,客服反馈集中在少数客户。此时依据不足,不能直接判定通过。处理方式是延长观察周期补足样本,同时针对入口可见性做一次小范围对照实验,并把“入口不明显”作为新的可用性假设登记,进入下一轮验证。
完成检查:依据是否足以支撑判断
下结论前逐项核对以下清单,任何一项不满足都应视为依据不足,先补充证据再判断。
- 每条假设都有对应的指标,且指标能直接反映假设中的预期行为或价值。
- 每类证据都标注了来源、采集时间、样本范围和口径版本。
- 行为数据的埋点口径经过校验,统计周期与假设的观察周期一致。
- 对照实验有随机分组和对照组,主指标与判定规则在实验前已确定。
- 业务侧反馈注明了来源客户类型,未被当作主要判定依据。
- 结论逐条引用证据编号,通过与否决都有明确依据。
- 样本不足、口径变化或观察期未满时,结论写明“依据不足”及补充计划。
- 假设、证据、结论与后续动作已关联留档,可被后续角色追溯。
阻断项包括:判定标准在看完数据后才确定;关键指标缺少埋点或口径不明;用单一访谈结论替代行为数据;结论未留档导致同一假设重复验证。出现任一阻断项,应先修复再进入评审。
常见问题
假设验证的通过标准应该在什么时候确定?
通过标准应在收集证据之前确定,并写入假设登记条目。标准需要写明指标名称、计算口径、观察周期、通过阈值与否决阈值,以及样本不足时的处理方式。先看数据再定阈值,容易把偶然波动解释成验证成功,也会让评审失去可比性。
只有访谈结论、没有行为数据,可以判定假设成立吗?
通常不足以判定成立。定性访谈适合回答“问题是否真实存在、用户如何描述”,样本小且容易受提问引导,更适合作为修正假设的输入。对于涉及用户价值的重要假设,建议补充行为数据或对照实验,并在结论中说明证据来源和局限。
业务侧反馈在验证中应该怎么用?
业务侧反馈适合补充场景细节、发现假设未覆盖的情况,可以作为线索和佐证。使用时需要记录来源客户类型与反馈频次,避免把声音大的少数客户当成整体需求。它不宜替代行为数据作为主要判定依据,因为一线反馈存在选择偏差。
验证做到一半发现样本不够,应该怎么处理?
在结论中明确写“依据不足”,说明缺口是样本量、观察周期还是口径问题,并给出补充计划,例如延长观察周期、扩大目标对象范围或补做一次小范围对照实验。补充期间可以先把新发现登记为新的假设,进入下一轮验证,避免把未完成的验证当成通过。
假设被否决后还需要留档吗?
需要。否决同样要记录依据,包括引用的证据编号、否决标准和后续动作。留档可以避免同一假设反复被提出又反复验证,也方便后续角色理解当时的判断条件。假设、证据、结论与后续动作关联保存,是验证可追溯的基本要求。
