几条用户说“好用”的反馈，很容易让团队把产品假设当成已经成立。要避免这种误判，需要把“个别用户说了什么”转成一套可复算的判定规则：先写清假设和可观察行为，再定义指标、分母与时间窗，设定最小样本量和通过阈值，最后按预先约定的置信度标准解读结果。本文围绕小样本反馈场景，给出这套判定方法、计算步骤和一个完整示例；假设、样本记录与结论需要留痕时，可以放在ONES的工作项和文档中，便于事后复核。
要点总览（TL;DR）
- 先把产品假设写成“某类用户在某个场景下，因为某个原因，会做出某个可观察行为”，一次只判定一个假设，并在收集反馈前写明结论用途。
- 主指标只设一个，同时写清分子、分母、用户范围和时间窗；辅助指标用于解释原因，不单独作为判定依据。
- 区分主动招募样本与被动反馈样本，统一记录“谁、在什么场景、做了什么、结果如何”，让不同来源的反馈可以合并统计和复核。
- 按预期比例、允许误差和置信水平估算最小样本量，在看数据前设定通过阈值与失败阈值，结果用置信区间解读，区间过宽时结论停留在继续验证。
- 反馈偏好不等于付费或留存，相关不等于因果；结论采用限定写法，写明样本、时间窗和不确定性，并给出下一步验证动作。
评估目标：先明确要判定的是哪个假设
避免误判的第一步，是把模糊的产品想法改写成可判定的命题。推荐句式是：“某类用户在某个场景下，因为某个原因，会做出某个可观察行为。”例如“新注册的小团队管理员，在首次配置权限时，因为模板减少了配置步骤，会在当天完成至少一次成员邀请”。这句话包含了对象、场景、原因和可观察行为，才能对应到数据。
产品假设通常分两类：价值假设关注用户是否真的需要并愿意使用，增长假设关注用户是否愿意传播、推荐或扩大使用。一次评估只判定其中一个，把另一个留到后续验证。混在一起判定，结果出现分歧时无法归因。
同时要事先写明结论用途：是通过后继续投入资源，是部分成立需要调整方案，还是不成立应当停止。用途决定阈值的严格程度——准备投入研发资源的假设，阈值应比只做小范围试用的假设更高。把用途写在假设旁边，可以防止看到数据后再解释结论。
本节的交付物是一份假设陈述卡，包含：假设句式、假设类型（价值或增长）、结论用途、判定负责人和计划评估时间。假设卡在收集反馈之前完成，后续所有指标和阈值都从这张卡派生。
指标与范围：用哪些指标、覆盖哪些用户
指标设计的原则是主指标只设一个。主指标直接对应假设中的可观察行为，决定假设是否成立；辅助指标用于解释主指标的变化原因、做交叉验证，不单独作为判定依据。主指标多了，团队容易在结果不理想时挑一个好看的指标下结论。
每个指标都要写清分子、分母和时间窗。以“首次配置完成率”为例：分子是在首次进入配置页后7天内完成全部必填配置的用户数，分母是同期首次进入配置页的目标用户数，时间窗为7天。分母的界定尤其关键——把没有进入配置页的用户算进分母，会稀释比例；只统计完成配置的用户，则等于用结果定义样本。
用户范围要限定到与假设一致的人群，例如“注册30天内、团队成员数5至20人的管理员”，场景范围限定为“首次配置权限”，时间窗与行为发生的自然周期匹配。范围之外的反馈可以记录，但不进入本次判定的分子分母。
把“用户说好”转成指标，有两条路径：一是行为指标，看用户是否真的做了假设预测的行为，如完成配置、再次使用、邀请成员；二是意愿指标，如愿意继续使用、愿意推荐的程度。行为指标证据更强，意愿指标适合行为尚未发生时做早期信号，但需要明确它只是意愿，不能替代行为结论。
| 项目 | 填写内容 | 作用 |
|---|---|---|
| 主指标 | 首次配置完成率 | 判定假设是否成立 |
| 分子 | 7天内完成全部必填配置的目标用户数 | 定义“做到了” |
| 分母 | 同期首次进入配置页的目标用户数 | 定义“应该做到的人” |
| 辅助指标 | 配置耗时、放弃配置的原因分布 | 解释主指标、交叉验证 |
| 用户范围 | 注册30天内、团队5至20人的管理员 | 限定判定人群 |
| 场景与时间窗 | 首次配置权限，观察7天 | 限定观察边界 |
数据口径与证据：反馈怎么收集才算可比
反馈来源分主动招募和被动收集。主动招募是按目标用户条件筛选后邀请参与，抽样可控、提问口径统一，适合验证具体假设；被动收集是用户自发提交的意见、客服工单和社群发言，反映的是发声意愿强的人群，适合发现问题线索，不适合直接计算比例。两类样本混在一起统计，分母就失去了意义。
证据按强度分级：行为数据（用户实际做了什么）强于结构化访谈（用户说了什么），结构化访谈强于零散评价。结构化访谈要使用统一的问题提纲，围绕假设中的场景和行为提问，避免引导性提问；零散评价只能作为线索，进入待验证清单。
记录口径统一为“谁、在什么场景、做了什么、结果如何”。每条反馈记录用户标识或分层标签、发生场景、具体行为和结果，并标注来源（主动招募或被动收集）与证据类型。这样不同来源的反馈才能合并统计，事后也能复核某条记录为什么被计入或排除。
选择性倾听是常见偏差：团队容易记住支持自己判断的反馈，忽略相反意见。处理办法是在收集阶段就按分层配额招募，确保不同使用深度、不同团队规模的用户都有代表；在分析阶段先看全部分层的结果，再看整体比例。
计算与评估步骤：样本量、阈值与置信度怎么定
比例类指标的最小样本量可以按正态近似思路估算，要素包括预期比例、允许误差和置信水平。常用公式为 n = Z² × p × (1−p) / e²，其中 Z 是置信水平对应的系数（95%置信水平约为1.96），p 是预期比例，e 是允许误差。预期比例没有历史数据时取0.5，得到最保守的样本量。例如希望误差控制在±10个百分点、置信水平95%，取p=0.5，则 n ≈ 1.96² × 0.25 / 0.01 ≈ 96。这个数字说明：要得到误差约±10个百分点的比例估计，需要接近百人的样本，几条反馈远远不够。
阈值要在看数据之前设定，并且同时设通过阈值和失败阈值。通过阈值是判定假设成立的最低比例，失败阈值是判定不成立的上限，两者之间是“继续验证”区间。例如通过阈值设为60%，失败阈值设为30%：观测比例及其置信区间整体高于60%判为通过，整体低于30%判为不成立，其余情况继续收集样本。设置失败阈值可以防止“数据不好就再等等”的拖延。
结果用置信区间解读，而不是只看点估计。比例的标准误为 √(p(1−p)/n)，95%置信区间约为 p ± 1.96 × 标准误。样本量小的时候区间很宽，即使点估计看起来不错，也可能覆盖失败阈值，此时结论只能是继续验证。分母为零或样本量明显不足时，不做比例判断，改为补充样本或调整指标口径；分母为零通常意味着目标用户没有进入场景，需要先检查触达和入口，而不是讨论假设成立与否。
评估步骤可以固定为：确认假设卡与结论用途；核对指标分子分母与时间窗；检查样本来源与分层配额；计算观测比例与置信区间；对照预设阈值给出通过、不成立或继续验证的结论；记录结论与下一步动作。每一步的输入和输出都写入评估文档，保证他人可以复算。
| 要素 | 设定示例 | 说明 |
|---|---|---|
| 置信水平 | 95% | 对应Z值约1.96 |
| 允许误差 | ±10个百分点 | 越小所需样本越多 |
| 预期比例 | 0.5（无历史数据时） | 最保守取值 |
| 最小样本量 | 约96 | 按公式估算 |
| 通过阈值 | 60% | 看数据前设定 |
| 失败阈值 | 30% | 看数据前设定 |
例子：8条正面反馈能不能判定假设成立
以下为演示情景。假设：注册30天内、团队5至20人的管理员，在首次配置权限时，因为模板减少了配置步骤，会在7天内完成全部必填配置。结论用途：通过则投入资源把模板推广到全部新用户。主指标为首次配置完成率，通过阈值60%，失败阈值30%，置信水平95%。
团队主动招募了12名符合条件的用户，其中8人完成配置，4人中途放弃。另有若干条被动收集的好评，因来源和口径不同，不进入本次计算。观测比例为 8 ÷ 12 ≈ 66.7%，标准误为 √(0.667 × 0.333 / 12) ≈ 0.136，95%置信区间约为 66.7% ± 26.7%，即约40%至93%。
解读：点估计66.7%高于通过阈值60%，但置信区间下限约40%，落在通过阈值与失败阈值之间，甚至接近失败阈值。按预设规则，这个结果不能判定假设成立，结论是继续验证。下一步动作可以是：把样本扩大到约96名符合条件的用户，保持相同的指标口径和阈值；同时分析4名放弃用户卡在哪一步，判断是模板问题还是入口触达问题。8条正面反馈在这个口径下只是12个样本中的一部分，无法支撑“假设成立”的结论。
这个例子也说明为什么要在看数据前设定阈值：如果先看到66.7%，团队很容易把阈值临时调到65%并宣布通过，评估就失去了约束力。
解读与限制：哪些结论不能从反馈里得出
反馈能说明用户在某场景下的偏好和障碍，不能直接证明因果关系。用户说模板好用，与模板带来了更高的完成率是两件事；要判断因果，需要对照或前后对比设计，并控制用户构成、入口变化等干扰因素。相关性的结果应表述为“观察到……与……同时出现”，而不是“因为……所以……”。
反馈偏好也不等于付费或留存。用户愿意继续使用，与用户愿意为此付费、长期留存是两个不同的假设，需要各自的指标和验证。单指标同样不能代表整体价值：完成率提升可能伴随配置错误率上升，需要结合辅助指标一起看，才能判断价值是否真实。
常见局限还包括：样本偏差，主动招募的用户可能比整体用户更积极；幸存者偏差，只听到完成配置用户的反馈，放弃的用户没有发声；时间窗过短，7天的观察可能错过后续的放弃或回流。这些局限要在结论中写明，而不是等别人质疑时再补充。
结论表述建议采用限定写法：“在当前样本与时间窗内，观察到首次配置完成率为66.7%（95%置信区间约40%至93%），尚不足以判定假设成立，下一步扩大样本至约96人并分析放弃原因。”这样的表述保留了数据、口径和不确定性，读者可以据此决定是否继续投入，也不会把一次小样本观察当成定论。
当假设、样本记录和判定结论分散在聊天记录和个人表格里时，事后复核会很困难。把假设卡、指标口径、样本清单和结论记录放进ONES的工作项与文档中，可以让每次评估的输入和结论对应起来，下一轮验证时直接沿用同一口径，减少重复讨论。具体功能以ONES官方资料为准。
常见问题
团队已经收到十几条正面反馈，还需要再扩大样本吗？
需要先看这些反馈的来源和口径。如果它们来自被动收集、提问方式不统一，或者没有对应的行为数据，就不能合并成一个比例来判断假设成立。可以先把反馈按“谁、在什么场景、做了什么、结果如何”整理，区分主动招募样本和被动反馈样本，再按主指标的分子分母重新统计。若有效样本量明显低于按允许误差估算的最小样本量，结论应停留在继续验证，同时补充招募符合目标用户条件的样本。
通过阈值和失败阈值应该在什么时候设定？可以由谁来确定？
两个阈值应在收集数据之前设定，并写入假设卡或评估文档。阈值反映的是结论用途：准备投入研发资源的假设，通过阈值应比只做小范围试用的假设更严格。通常由假设负责人提出、产品与业务相关角色共同确认，确认后在本轮评估中不再调整。若确实需要修改，应记录修改原因并重新开始一轮评估，避免看到数据后临时调低标准。
分母为零或样本量很少时，应该怎么处理？
分母为零通常说明目标用户没有进入假设设定的场景，此时先检查触达、入口和用户范围是否设置正确，而不是讨论假设成立与否。样本量很少时，比例的点估计波动很大，置信区间会很宽，可能同时覆盖通过阈值和失败阈值。这种情况下不做比例判断，改为补充样本，或者先用结构化访谈和行为观察收集线索，把结论写成待验证状态。
用户访谈里的正面评价，能不能作为假设成立的证据？
结构化访谈属于意愿证据，可以说明用户在某场景下的偏好和障碍，证据强度低于用户实际行为数据。访谈结果适合用来发现问题线索、修正假设表述和设计指标，不能单独支撑“假设成立”的结论。若行为数据尚未产生，可以把访谈作为早期信号，同时明确它只是意愿，并安排后续的行为指标验证。
一轮评估结束后，假设、样本和结论怎么留痕，方便下一轮沿用？
可以把假设卡、指标口径、样本清单、阈值设定和结论记录放在同一处，保证输入和输出对应。ONES 的工作项和文档可以承载这类记录，便于事后复核和下一轮沿用同一口径；具体功能以ONES官方资料为准。留痕的重点是让其他人能按记录复算出同样的比例和区间，而不只是保存一句结论。
