用户研究样本选择:怎么定样本、分角色、控偏差

用户研究样本选择要先回答“这项研究要支撑什么决策”,再据此定义目标人群、分层维度和招募条件。本文面向产品用户研究场景,给出一套从研究问题到配额、招募、分工和交付前检查的可执行做法,帮助产品经理和用户研究员把样本方案写清楚、招得到、可追溯。



要点总览(TL;DR)


  • 样本选择从研究问题与决策用途倒推:先写清结论要影响哪个决定,再定义目标人群、关键行为条件和排除条件,形成可筛选的样本定义表。
  • 分层维度控制在两到三个能解释关键差异的维度,常用用户角色、使用阶段、使用频次、新老用户和业务类型,配额表为每个名额写明设定理由。
  • 样本量按研究类型判断:定性研究以信息饱和为停止信号并保留记录,定量研究按估计精度和分层数量估算,小样本结论需限定适用范围。
  • 招募要组合渠道并逐条记录来源,用筛选问卷核验行为条件和排除人群,提前约定拒访与替换规则,防止样本向活跃用户或内部熟人集中。
  • 交付前用检查清单核对目标人群、配额、招募可执行性、样本量依据和变更留痕,五项通过再进入招募阶段。


先定研究问题:样本选择从决策用途倒推


样本选择的起点是研究问题,而研究问题背后是决策用途。同一个产品,要判断新功能是否可用、要了解某类用户为何流失、要为下一季度路线图排优先级,所需样本的人群边界和条件完全不同。先招人再想问题,常见结果是样本看起来数量不少,却回答不了关键决策。


把研究问题转成样本定义,可以按四步走:


  1. 写清决策用途:这次研究结论将影响哪个决定,例如是否上线某功能、是否调整某流程、是否进入某类客户。决策越具体,样本边界越清楚。
  2. 定义目标人群:谁的使用行为或判断与这个决策直接相关。写明角色、使用场景和所处阶段,避免用“所有用户”这类无法招募的表述。
  3. 设定关键行为条件:目标人群必须满足哪些行为事实,例如近30天使用过某功能、经历过一次完整流程、负责某类业务决策。行为条件比态度条件更可靠,也更容易在筛选中核验。
  4. 列出排除条件:哪些人不纳入本次样本,例如内部员工、竞品从业者、近期参加过同类研究的人、无法提供真实使用经历的人。排除条件要写具体,便于筛选问卷直接判断。

完成上述四步后,形成一份样本定义表,作为后续分层和招募的依据。表中至少包含以下字段:


字段 填写内容 示例
研究问题 本次要回答的核心问题 新上线的批量导入功能,用户能否独立完成首次导入
决策用途 结论将影响什么决定 决定是否优化引导流程、是否调整默认配置
目标人群 角色、场景、阶段 负责数据录入的一线运营人员,近两周有导入需求
关键行为条件 可核验的行为事实 近30天至少使用过一次数据导入相关功能
排除条件 不纳入的人群 内部员工、实施顾问、近3个月参加过同类测试者

这张表的价值在于把模糊的“找几个用户聊聊”变成可招募、可筛选、可复核的条件。研究问题一旦调整,样本定义表也应同步更新,避免方案与问题脱节。



分层与配额:把用户拆成可招募的组


目标人群确定后,下一步是在人群内部分组,让样本覆盖会影响结论的关键差异。分层的作用是防止样本集中在某一类用户身上,导致结论只代表最活跃、最容易联系到的那部分人。


产品用户研究中常用的分层维度包括:


  • 用户角色:如管理员、普通成员、审批人,不同角色的任务和权限差异明显。
  • 使用阶段:新用户、上手期用户、成熟用户,关注点和障碍不同。
  • 使用频次:高频、中频、低频,低频用户往往更接近沉默大多数。
  • 新老用户:注册时长或使用时长,影响对产品的心智预期。
  • 业务类型:不同行业、不同业务模式下的使用方式差异。

分层维度不宜过多。每增加一个维度,组数和招募难度都会上升。建议按与研究问题的相关度排序,只保留两到三个能解释关键差异的维度,其余维度作为筛选时的记录项而非配额项。判断标准很简单:如果某个维度上的差异不会改变研究结论,就不必为它单独设组。


配额表把分层落到数量。填写时先确定总样本量,再按各组的重要性分配名额,并注明每组的最低数量和可替换空间。下面是一个填写示例(演示情景):


分层维度 组别 配额 设定理由
用户角色 管理员 4人 承担配置与权限操作,是本次流程的关键角色
用户角色 普通成员 4人 日常执行者,反映实际操作体验
使用频次 高频用户 4人 熟悉产品,能暴露效率问题
使用频次 低频用户 4人 接近沉默用户,能暴露理解障碍

配额在执行中可以调整,但调整要有记录和理由。例如某组连续多次招募失败,可以说明原因后降低该组数量,并在结论中标注该组覆盖不足。配额表不是越细越好,而是让每个名额都有对应的研究目的。



样本量与饱和:招多少人算够


样本量没有统一数字,判断依据来自研究类型和结论用途。定性研究看信息是否饱和,定量研究看估计精度和分层数量。


定性研究通常以信息饱和作为停止招募的信号。常见做法是边访谈边记录:每完成一场,标记是否出现新的行为模式、新的问题类型或新的原因解释。当连续若干场不再出现新信息,且主要分层组都已有覆盖,可以判断接近饱和。建议维护一张饱和记录表,按场次记录新增信息点和重复信息点,作为样本量决策的依据,而不是凭感觉说“差不多了”。


定量研究的样本量取决于估计精度要求、总体规模和需要拆分的分层数量。思路是先明确结论要精确到什么程度,再按分层分别估算,组数越多,总样本量相应增加。涉及比例估计时,误差范围要求越严,所需样本越大。具体估算口径应在方案中写明,便于评审时判断是否合理。


小样本研究适用于探索性问题、方向性判断和可用性测试中的问题发现。它的限制在于结论不宜直接外推到整体用户,也不适合支撑需要精确比例的决策。使用小样本时,应在结论中明确适用范围,说明样本覆盖了哪些组、未覆盖哪些组。



招募与筛选:渠道、筛选问卷和防偏差


配额落到执行,核心是两件事:从哪里找人,以及如何确认找到的人符合条件。招募渠道应组合使用,并逐条记录来源,便于后续判断样本是否存在来源集中。


常见渠道包括产品内招募、用户社群、客服或成功团队推荐、第三方样本库、老用户回访等。单一渠道容易带来同质化,例如只从活跃社群招募,样本会偏向重度用户;只靠内部熟人介绍,样本会偏向关系近、愿意配合的人。渠道组合的目标是让不同分层组都有独立来源。


筛选问卷是控制偏差的主要工具。关键问题应围绕样本定义表中的行为条件和排除条件设计,并设置甄别项:


  • 确认角色和职责,避免仅凭职位名称判断。
  • 确认近期真实使用行为,用时间范围和具体操作核验,而非询问“是否了解”。
  • 确认是否属于排除人群,如内部员工、竞品从业者、近期参加过同类研究。
  • 记录招募来源、联系时间和筛选结果,形成招募记录表。

拒访与替换规则要提前约定。例如某组候选人拒绝参与或多次失联,可按预设顺序从同组候补中替换,并记录替换原因;若同组持续招募不足,应回到配额表评估是否调整,而不是用其他组的人填补。替换规则写清楚,执行时才不会临时降低标准。



角色与交付物:谁定样本、谁招募、谁复核


样本方案要能执行,分工必须明确到动作和交接物。常见角色及职责如下:


角色 主要职责 交付物
研究员 定义研究问题与样本条件,设计分层配额和筛选问卷,判断饱和 样本定义表、配额表、筛选问卷、饱和记录
产品经理 确认决策用途,评审样本是否支撑结论,提供业务侧判断 评审意见、决策用途说明
用研运营 执行招募、筛选、排期和替换,维护招募记录 招募记录表、参与者名单、替换记录
业务方 协助推荐符合条件的用户,确认业务场景真实性 推荐名单、场景说明

样本方案应经过一次评审,评审重点包括目标人群是否清晰、配额是否覆盖关键差异、招募渠道是否可执行、样本量依据是否成立。评审后的变更要留痕,记录变更内容、原因和影响,例如某组配额下调后结论适用范围如何变化。


招募与执行阶段的交接物包括:定稿的样本定义表与配额表、筛选问卷、招募记录表、参与者确认名单。这些材料让执行者知道招谁、怎么筛、招不到怎么办,也让后续复盘能追溯样本的实际构成。研究任务、样本方案和招募记录在同一项目空间中流转,评审意见和变更记录随文档保留,可以减少口头传递造成的信息丢失。ONES 的项目与文档协作能力可用于承载这类研究任务的分配、状态更新和资料归档,具体配置按团队现有流程设置。



示例:一次新功能可用性研究的样本选择


以下为演示情景,用于说明从问题到配额的完整过程。


研究问题与目标人群:某协作产品上线了“批量审批”功能,团队想知道负责审批的管理员能否独立完成一次批量审批操作,以及普通成员在提交批量申请时是否遇到理解障碍。决策用途是判断是否需要补充引导说明和调整默认设置。目标人群定为近30天有审批操作记录的管理员,以及近30天提交过审批申请的普通成员;排除内部员工、实施顾问和近3个月参加过同类测试的用户。


分层维度与配额:保留两个维度——用户角色(管理员、普通成员)和使用频次(高频、低频)。总样本12人,按四组各3人分配。高频组用于观察熟练用户的效率问题,低频组用于观察首次使用时的理解障碍。


招募执行与偏差处理:渠道采用产品内邀请加客服推荐组合,逐条记录来源。筛选问卷先确认角色和近30天操作记录,再排除内部人员和近期参测者。执行中管理员低频组连续两人拒访,按规则从同组候补替换,并记录替换原因;普通成员高频组招募顺利,未额外增加名额,避免样本向易招募组倾斜。


结论适用范围:研究结束后,结论限定在“有近期审批操作记录的管理员和普通成员”范围内,说明低频组实际完成人数,并注明未覆盖无审批经验的新用户。若后续要判断新用户首次使用体验,需要另行设计样本。



完成检查:样本方案交付前的核对项


样本方案交付前,用以下清单逐项核对。每项都应有明确答案和对应材料,而不是口头确认。


核对项 通过标准 对应材料
目标人群与排除条件 角色、场景、行为条件、排除人群均已写明且可筛选 样本定义表
分层维度与配额 维度数量受控,每组有数量和设定理由,覆盖关键差异 配额表
招募渠道与筛选问题 渠道组合明确,筛选问卷含行为核验和甄别项 筛选问卷、招募计划
样本量依据 定性有饱和判断方式,定量有估算口径,小样本注明限制 饱和记录表或估算说明
记录与变更留痕 招募来源、替换原因、方案变更均有记录 招募记录表、评审记录

五项全部通过,样本方案才具备执行条件。若某项暂时无法确认,应在方案中标注待定事项和负责人,避免带着模糊条件进入招募阶段。



常见问题


研究问题在项目中途调整了,样本方案要全部重做吗?


不必全部重做,但要判断调整影响哪一层。如果只是措辞细化、决策用途不变,样本定义表和配额表可以保留,补充说明即可。如果目标人群或关键行为条件发生变化,例如从“有审批经验的管理员”扩展到“从未使用过审批的新用户”,就需要重新定义人群边界,并检查现有配额是否还能覆盖新的差异。已经完成的招募要评估是否仍符合条件,不符合的参与者应记录原因并决定是否替换。变更内容、原因和对结论适用范围的影响都应写入评审记录,避免后续复盘时说不清样本实际代表谁。


定性研究做到第几场可以停?饱和判断有没有可操作的记录方式?


饱和判断依赖记录而不是感觉。常见做法是每完成一场访谈或测试,就在饱和记录表中标记本次出现的新行为模式、新问题类型和新原因解释,同时记录重复出现的既有信息。当连续若干场不再产生新信息,且主要分层组都已有覆盖时,可以判断接近饱和。需要注意两种情况:某一组样本量很少时,饱和结论只对该组成立;访谈对象高度同质时,较早出现饱和可能反映的是样本单一,而非问题已被穷尽。出现这两种情况,应补充不同分层的样本再判断。


某个配额组一直招不到人,可以用其他组的人补上吗?


不建议直接用其他组的人填补,这样会让配额表失去意义,结论也会偏向容易招募的人群。更稳妥的处理顺序是:先检查招募渠道是否过于单一,尝试补充来源;再确认筛选条件是否过严,区分必要条件和可放宽条件;如果仍然不足,回到配额表评估是否下调该组数量,并写明原因。下调后要在结论中标注该组覆盖不足,说明哪些判断因此受限。无论采用哪种处理,替换和调整都应记录在招募记录表中,保留时间、原因和影响范围。


小样本研究得出的结论,怎么在汇报中说明适用范围?


汇报时把结论和样本构成放在一起说明。具体包括:样本覆盖了哪些角色、使用频次或使用阶段,实际完成人数与计划配额的差异,以及哪些人群没有覆盖。结论表述限定在已覆盖范围内,例如“在有近期审批操作记录的管理员中观察到……”,避免写成面向全部用户的判断。如果结论要用于需要精确比例的决策,应说明本次样本不足以支撑,需要另行设计定量研究。适用范围写清楚,不会削弱结论价值,反而让后续决策知道边界在哪里。


样本方案评审应该由谁参加,评审重点看什么?


评审通常由研究员发起,产品经理确认决策用途和结论用途,用研运营确认招募可行性,业务方确认场景真实性。评审重点包括:目标人群和排除条件是否可筛选,分层维度是否覆盖会影响结论的关键差异,配额是否有设定理由,招募渠道能否触达各组,样本量判断依据是否成立。评审后如有变更,记录变更内容、原因和对结论适用范围的影响。评审记录与样本方案放在同一处保存,执行阶段遇到争议时可以回溯当时的判断依据。