产品假设验证的判定标准、样本量和置信度需要在收集数据之前一起确定：判定标准说明什么结果算支持假设，样本量决定证据是否足够，置信度决定结论可以有多强。小样本用户反馈场景下，更稳妥的做法是把个别反馈当作线索，用分层抽样和定性证据补充，并把结论标注为“支持、不支持或证据不足”。验证过程与结论可以在ONES的工作项和文档中留痕，便于复核。
要点总览（TL;DR）
- 判定标准要在收集数据前固定：写清主指标与护栏指标、阈值、观察时间窗、分母口径和缺失值处理规则，结论只分支持、不支持、证据不足三种。
- 样本量按指标类型反推：比例类用 n = Z²×p×(1−p)/e²，连续类用 n = (Z×σ/e)²；总体较小时做有限总体校正。
- 置信度与允许误差要权衡：95%置信度、±10个百分点时比例类约需96个样本，收紧到±5个百分点约需384个，结论影响越大越应取高置信度和小误差。
- 小样本场景以分层抽样加定性证据为主：保证新老用户、关键角色和主要场景都有最低覆盖，个别反馈只作线索，定量结果不足时标注证据不足。
- 置信区间只反映抽样不确定性，不证明因果；结论只适用于当时的目标用户、场景和时间窗，产品版本或环境变化后需重新验证。
评估目标：把产品假设转成可判定的命题
产品假设验证要回答的是“这个产品功能或改动是否为目标用户带来了预期价值”，判定对象是用户行为与结果的变化。需求验收关注功能是否按规格交付，研发效率指标关注交付过程的快慢，两者都不能替代用户价值判断。把假设写成可证伪命题，是后续确定指标、样本量和判定规则的前提。
一个可判定的假设陈述至少包含四个要素：目标用户是谁、期望发生什么行为变化、用什么指标衡量、在多长的观察时间窗内观察。例如“新注册的中小团队管理员在首次使用后的14天内，邀请至少2名成员加入工作空间的比例达到40%”，比“协作功能更受用户欢迎”更容易验证。前者明确了对象、行为、指标和时间窗，后者无法直接收集数据。
假设陈述模板可以写成一句话：对于（目标用户），在（场景/时间窗）内，（行为或结果指标）从（基线值）变化到（目标值），即可认为假设成立。填写时把“提升用户体验”“用户会喜欢”这类表述替换成可观察的行为或结果，并写明基线来源。没有历史基线时，可以先做小范围摸底，再确定目标值。
验证结论固定为三种形态：支持，指数据达到预设判定标准且证据强度足够；不支持，指数据明确低于判定标准，或关键护栏指标恶化；证据不足，指样本量、数据质量或证据覆盖不足以做出判断。第三种形态不是失败，而是提示需要补充样本、调整口径或转为定性验证。提前约定这三种结论，可以避免看到数据后再解释。
指标与范围：选哪几个指标、覆盖哪些用户
指标不宜多，通常一个主指标加一到两个护栏指标即可。主指标直接对应假设中的用户价值，例如功能使用率、任务完成率、留存率或转化率。护栏指标用于防止“主指标变好但整体受损”，例如任务耗时、错误率、投诉量或核心流程完成率。主指标和护栏指标要同时观察，只盯主指标容易得出片面结论。
指标按数据类型分为比例类和连续类。比例类的观测值是“发生某行为的用户数除以符合条件的用户总数”，分子分母都要写清楚，例如“7日内完成首次配置的用户数 / 同期激活的用户数”。连续类的观测值是每个用户的数值，例如人均任务完成时长、单次会话时长、每用户操作次数，需要同时记录均值和标准差。两类指标的样本量估算方式不同，在指标清单阶段就要区分。
样本总体要与假设中的目标用户一致。总体定义包括时间范围、用户状态和准入条件，例如“2025年3月1日至3月31日期间完成注册、且未使用过该功能的企业管理员”。分层维度建议至少覆盖新老用户、角色和主要使用场景，因为不同分层的基线差异往往很大，混合统计会掩盖真实变化。观察时间窗要覆盖用户完成关键行为所需的完整周期，太短会漏掉滞后行为，太长会混入其他改动的影响。
| 指标名 | 类型 | 分子/分母或统计量 | 时间窗 | 分层维度 |
|---|---|---|---|---|
| 功能激活率（主指标） | 比例类 | 完成首次关键操作的用户数 / 符合条件的激活用户数 | 注册后14天 | 新老用户、角色 |
| 任务完成率（主指标） | 比例类 | 成功完成目标任务的会话数 / 发起任务的会话数 | 单次会话 | 使用场景、设备 |
| 单任务耗时（护栏指标） | 连续类 | 每用户完成任务耗时的均值与标准差 | 注册后14天 | 角色、任务类型 |
| 核心流程放弃率（护栏指标） | 比例类 | 中途放弃的用户数 / 进入流程的用户数 | 单次会话 | 新老用户 |
数据口径与证据：定量样本和定性证据怎么配
定量数据要保证可复算，关键是固定分母、去重规则和异常处理。分母按“符合总体定义的用户或会话”统计，同一用户多次触发同一行为时按用户去重还是按次数统计，要在采集前写明。缺失值要区分“未发生行为”和“数据未采集到”，前者计入分母，后者单独标注并说明处理方式。异常值例如单次会话时长超过数小时，应有明确的截断或剔除规则，并记录剔除数量。
定性证据适合解释“为什么”和发现未预料的问题。用户访谈和可用性测试要记录固定字段：受访者所属分层、使用场景、任务是否完成、遇到的阻碍、原话摘录和观察者判断。通过标准可以设为“同一分层内至少3名受访者独立提到同一阻碍”或“可用性测试中任务完成率低于约定水平”，具体阈值按研究目的设定。定性证据的价值在于解释机制和补充线索，不能单独用来证明比例类指标达标。
区分个别反馈与代表性证据，可以看三点：反馈是否来自目标总体内的用户、是否在多个分层中重复出现、是否有定量数据交叉印证。单个用户的强烈意见可以作为线索进入待验证清单，但要经过分层抽样或更大样本检验后才能升级为结论。记录反馈时同时记录来源分层和出现频次，能减少把个别案例当成普遍现象的风险。
样本量与置信度：按指标类型反推
样本量取决于指标类型、预期水平、允许误差和置信度。置信度表示重复抽样时区间覆盖真实值的概率，常用取值为90%、95%和99%；允许误差是结论可以接受的最大偏差。置信度越高、允许误差越小，所需样本量越大。这两个参数应在采集前确定，并与判定标准的严格程度匹配：结论影响范围越大，越应选择更高的置信度和更小的误差。
比例类指标用置信区间公式反推样本量。当允许误差以绝对百分点表示时，样本量公式为：
n = Z² × p × (1 − p) / e²
其中Z为置信度对应的标准正态分位数（95%置信度约为1.96，90%约为1.645，99%约为2.576），p为预期比例，e为允许误差（用小数表示，如±5个百分点即0.05）。没有历史数据时，p取0.5可使所需样本量最大，属于保守估计。若总体规模较小，还需用有限总体校正：n_adj = n / (1 + (n − 1) / N)，N为总体人数。
连续类指标按均值与标准差估算。样本量思路为：n = (Z × σ / e)²，其中σ为指标的标准差估计值，e为允许的均值误差（与指标同单位）。σ可以从历史数据、试点数据或同类场景借用，没有依据时应先做小范围摸底。连续类指标对标准差敏感，σ估计偏小会导致样本量不足，建议在估算时适当放大。
| 参数 | 含义 | 常用取值 | 取值影响 |
|---|---|---|---|
| 置信度 | 区间覆盖真实值的概率 | 90% / 95% / 99% | 越高，Z越大，样本量越大 |
| 允许误差 e | 可接受的结论偏差 | 比例类±3~±10个百分点；连续类按业务可感知差异 | 越小，样本量越大 |
| 预期比例 p | 比例类指标的预估水平 | 无历史数据取0.5 | 越接近0.5，样本量越大 |
| 标准差 σ | 连续类指标的离散程度 | 来自历史或试点数据 | 越大，样本量越大 |
| 总体规模 N | 符合条件的目标用户总数 | 按总体定义统计 | 总体较小时需做有限总体校正 |
小样本场景下，按公式算出的样本量往往无法满足。此时可以采取三种替代做法：一是分层抽样，保证新老用户、关键角色和主要场景都有最低覆盖数量，按分层分别观察而不是合并成一个总数；二是序贯观察，先收集一批数据看区间宽度，再决定是否继续收集，但判定规则要提前写明；三是以定性证据为主，把定量结果标注为“证据不足”，用访谈和可用性测试解释方向，待样本扩大后再做定量判定。
计算与判定步骤：从数据到结论的固定流程
评估流程固定下来，结论才能复算和复核。建议按以下步骤执行：
- 核对口径。确认分母、去重规则、时间窗和分层方式与采集前一致，记录实际样本量和各分层人数。
- 计算观测值。比例类计算观测比例及置信区间，连续类计算均值、标准差及均值置信区间。比例类区间可用正态近似公式：观测比例 ± Z × √(p(1−p)/n)；样本量很小或比例接近0或1时，改用精确方法并注明。
- 与预设阈值比较。判定规则提前写明，例如“置信区间下限不低于目标值，判为支持”“置信区间上限低于目标值，判为不支持”“区间跨越目标值或样本量不足，判为证据不足”。
- 检查护栏指标。主指标达标但护栏指标明显恶化时，结论应降级或补充说明。
- 处理边界情况。分母为零时不计算比例，记录为“无有效样本”；样本量低于预设最低值时，不输出支持或不支持结论，直接标注证据不足并说明缺口。
- 记录结论。结论记录包含假设陈述、指标定义、样本量与分层、观测值、置信区间、阈值比较结果、结论形态和后续动作。
结论记录模板可以按表格填写：假设编号、目标用户与时间窗、主指标与护栏指标、实际样本量、观测值及区间、判定阈值、结论（支持/不支持/证据不足）、依据说明、下一步动作。把这份记录与原始数据口径放在一起，后续复核时不需要重新猜测当时的判断依据。
例子：一次小样本用户反馈的完整判定
以下为演示情景，数字用于说明计算过程，不代表任何真实产品的基准。
假设：对于新注册的小团队管理员，在注册后14天内，完成“邀请成员并创建第一个项目”的比例达到40%，即认为新手引导改动带来用户价值。
指标设定：主指标为14天内完成邀请并创建项目的管理员比例；护栏指标为同一人群的首次配置耗时均值。总体为该季度新注册、团队规模5人以下的企业管理员，按新老渠道分层。
样本量估算：取95%置信度（Z=1.96）、允许误差±10个百分点、无历史数据取p=0.5，则 n = 1.96² × 0.5 × 0.5 / 0.1² ≈ 96。若允许误差收紧到±5个百分点，n ≈ 384。实际可触达的合格管理员只有60人，低于96，属于小样本。
观测与计算：60名管理员中有21人完成目标行为，观测比例为35%。95%置信区间为 0.35 ± 1.96 × √(0.35 × 0.65 / 60) ≈ 0.35 ± 0.121，即约23%到47%。区间跨越40%的目标值，且样本量低于估算值。
结论与动作：判定为“证据不足”。依据是样本量60低于96的最低要求，置信区间同时包含低于和高于目标值的可能。后续动作包括：按渠道分层补充样本至接近96，对未完成的管理员做5到8个访谈，确认阻碍集中在哪个步骤；在补充数据前，不对外宣称引导改动有效。
解读与限制：避免把指标当因果保证
置信区间的正确解读是：如果按同样方式重复抽样，约有95%的区间会覆盖真实值。它描述的是抽样不确定性，不说明结果由哪个改动引起，也不保证下一次结果落在区间内。区间宽说明证据弱，区间窄也不等于结论重要，还要看效应大小是否达到业务上有意义的水平。
常见误读包括：把观测比例的微小上升直接归因于产品改动；只统计完成任务的用户而忽略中途放弃的用户，形成幸存者偏差；只收集活跃用户或愿意反馈用户的意见，形成选择偏差；用单指标达标代替整体用户价值判断。识别方法是回看总体定义和分母，检查未响应用户、流失用户和低活跃用户是否被系统性排除。
结论的复用有边界。验证结论只适用于当时的目标用户、场景和时间窗，产品版本、引导流程、市场环境变化后需要重新验证。跨分层外推时，要确认目标分层与验证分层在基线特征上接近。把结论记录、数据口径和样本构成一起归档，可以为后续复用提供条件；在ONES中，假设、指标口径和判定结论可以随工作项与文档一并留存，方便下一次验证时对照和复核。
常见问题
样本量算出来远超实际可触达用户，还能做定量判定吗？
可以继续验证，但结论强度要相应降低。常见处理有三种：一是按新老用户、角色、场景分层抽样，保证每个关键分层有最低覆盖数量，分层分别观察而不是合并成一个总数；二是序贯观察，先收集一批数据看置信区间宽度，再决定是否继续收集，但继续或停止的规则要提前写明；三是转为定性为主，用访谈和可用性测试解释方向，定量结果标注为“证据不足”。
如果实际样本明显低于估算值，不建议直接输出支持或不支持的结论，而应记录样本缺口和后续补样计划。
置信度选90%、95%还是99%，有统一标准吗？
没有统一标准，取决于结论的用途和影响范围。95%是常见默认值，适合一般产品决策；结论会影响较大范围资源投入或对外承诺时，可选99%并配合更小的允许误差；探索性验证、后续还会补充数据时，90%可以接受，但要明确标注结论强度较弱。
关键是置信度和允许误差在采集前一起确定，并与判定阈值匹配。事后根据结果调整置信度，会让判定失去可复核性。
只有几个用户的强烈反馈，能不能直接判定假设成立或不成立？
不能直接判定。个别反馈可以作为线索进入待验证清单，判断它是否有代表性可以看三点：反馈者是否在目标总体内、是否在多个分层中重复出现、是否有定量数据交叉印证。
处理方式是把反馈记录为待验证项，注明来源分层和出现频次，再通过分层抽样或小范围访谈检验。只有经过代表性样本检验后，才能升级为支持或不支持的结论。
主指标达标但护栏指标变差，结论该怎么写？
这种情况通常不判为“支持”，而应降级或补充说明。护栏指标的作用就是防止主指标变好但整体受损，例如激活率上升的同时首次配置耗时明显增加、投诉量上升或核心流程放弃率提高。
建议在结论记录中同时列出主指标和护栏指标的观测值与区间，写明冲突点，结论可标为“证据不足”或“有条件支持”，并附上需要进一步确认的问题。
一次验证得出的结论，能直接用到其他用户群体或后续版本吗？
复用有边界。结论只适用于当时的目标用户、场景和时间窗；产品版本、引导流程、市场环境变化后，需要重新验证。跨分层外推时，要确认目标分层与验证分层在基线特征上接近，例如新老用户比例、团队规模和使用场景。
把结论记录、数据口径和样本构成一起归档，可以为后续复用提供对照依据。在ONES中，假设、指标口径和判定结论可以随工作项与文档一并留存，方便下一次验证时复核。
