判断一次用户观察研究是否充分可信，可以沿着证据链看三个层面：样本是否覆盖了目标用户和关键情境，记录是否能追溯到原始观察，结论是否能从记录中逐条还原并经受反例检验。评估前先明确这项研究要支撑什么决策，再按同一口径抽检和复算，最后把结果连同适用范围一起写清楚。
要点总览（TL;DR）
- 判断用户观察研究是否充分可信，先明确研究要支撑的决策与可信度要求等级，再按样本、记录、结论三层分别设定可核验指标。
- 样本层同时记录计划样本、实际到场与有效样本，用目标用户覆盖率、关键情境覆盖率和招募筛选可追溯率衡量充分性。
- 记录层看原始记录完整度、证据可追溯率和观察者一致性；结论层看结论证据对应率、反例处理率和推断边界完整度。
- 评估按固定顺序执行：核对设计与执行偏差、按约定比例抽检、由第二人独立从记录还原结论、汇总结果并标注不确定项。
- 指标结果只说明本次研究在设定范围内的证据是否够用，报告需写明适用范围、缺失项和评估自身局限。
评估目标：这次研究要支撑什么决策
同一份观察研究，用于探索新场景和用于决定是否上线关键功能，可信度要求并不相同。评估的第一步是把研究用途写清楚，再据此确定检查的严格程度，避免用一套统一标准去衡量所有研究。
评估目标说明建议包含四项内容：研究要回答的产品问题、结论将影响的具体决策、研究类型、可信度要求等级。研究问题要写到可以判断“答没答上”的程度，例如“新用户在首次配置流程中会在哪一步停顿”，比“了解新用户体验”更容易核验。决策用途要写明结论交给谁、用于什么动作，例如进入需求评审、决定是否改版、作为下一轮测试的输入。
研究类型决定检查重点。探索发现类研究重在情境覆盖和记录丰富度，允许结论带有假设性质；需求验证类研究重在样本与目标人群的匹配，以及结论能否区分支持与反对证据；可用性观察类研究重在任务设置、行为记录和问题定位的可复现性。可信度要求等级可以按决策影响划分，例如“仅作方向参考”“支撑方案取舍”“作为上线前验收依据”，等级越高，对样本覆盖、记录完整和结论还原的要求越严。
评估结论的使用者也需要提前确定。研究者自评、跨职能评审、独立评估者复核，三种方式对证据呈现的要求不同。若结论要进入决策会议，评估说明中应保留指标结果、抽检范围和不确定项，方便他人追问。
指标与范围：样本、记录、结论三层各看什么
分层评估的作用是把“可信”拆成可以分别检查的对象。样本层回答“观察对象对不对、够不够”，记录层回答“看到的是否被完整留下”，结论层回答“说法是否由记录支撑”。三层都通过，才能说这次研究在设定范围内充分可信。
| 层级 | 指标 | 定义 | 单位 |
|---|---|---|---|
| 样本层 | 目标用户覆盖率 | 有效样本中符合目标用户画像的人数占计划样本中该类别人数的比例 | 百分比 |
| 样本层 | 关键情境覆盖率 | 研究计划列出的关键使用情境中，至少被一场有效观察覆盖的情境数占比 | 百分比 |
| 样本层 | 招募筛选可追溯率 | 能查到筛选依据（问卷、访谈、后台标签等）的有效样本占比 | 百分比 |
| 记录层 | 原始记录完整度 | 计划记录的场次中，观察笔记、音视频或编码表达到约定完整标准的场次占比 | 百分比 |
| 记录层 | 证据可追溯率 | 结论引用的证据片段能定位到具体场次、时间点和记录条目的比例 | 百分比 |
| 记录层 | 观察者一致性 | 两名观察者对同一场次关键行为的记录或编码一致的比例 | 百分比 |
| 结论层 | 结论证据对应率 | 研究结论中每条主张都能找到至少一条直接证据的比例 | 百分比 |
| 结论层 | 反例处理率 | 记录中出现的相反或例外情况被明确讨论的比例 | 百分比 |
| 结论层 | 推断边界完整度 | 结论是否写明适用人群、情境和未覆盖部分，按约定条目逐项核对 | 条目核对 |
评估范围要单独写明：覆盖哪些场次、哪些研究环节（招募、执行、记录、分析、报告），哪些不在本次评估内。例如只评估已完成的八场观察，不回溯招募渠道的真实性；或只检查结论章节，不重算编码表。范围之外的部分在报告中标注为未验证，避免读者把局部检查当成全面审计。
数据口径与证据：每个指标怎么取数
指标能否复算，取决于分母、时间窗和缺失值规则是否事先写死。样本类指标最容易出现口径分歧，建议同时记录三个数：计划样本、实际到场、有效样本。有效样本指完成约定观察流程、记录达到最低完整标准、且身份符合目标画像的参与者。目标用户覆盖率的分母用计划样本中该类别人数，分子用有效样本中该类别人数；中途退出且记录不足的场次不计入分子，但要在缺失说明中列出。
记录类指标的取数来源包括观察笔记、音视频、编码表和记录条目。原始记录完整度按场次判定，先约定一场记录达到什么条件算完整，例如关键任务全程有行为记录、每个问题点有时间戳、参与者基本信息齐全。证据可追溯率按结论引用的证据条目计算，分母是全部引用条目，分子是能定位到场次和时间点的条目。观察者一致性用双人记录同一场次后比对，分母是双方共同标记的关键行为数，分子是判定一致的行为数；比对前先统一行为定义，否则一致性数字没有意义。
结论类指标以研究报告中每条独立主张为单位。结论证据对应率的分母是结论条目总数，分子是有直接证据支撑的条目数；转述他人观点、行业常识和推测性表述不计为直接证据。反例处理率检查记录中出现的例外情况是否在分析中被提及并解释。缺失记录、中途退出和观察者主观描述要有统一规则：缺失超过约定阈值的场次标记为无效并说明原因；主观描述必须附行为依据，否则不计入证据；无法判断的条目列入不确定项，不强行归类。
| 指标 | 判定方式 | 分母 | 时间窗 | 缺失值处理 | 证据来源 |
|---|---|---|---|---|---|
| 目标用户覆盖率 | 符合画像的有效样本数 ÷ 计划该类别人数 | 计划样本 | 本次研究执行期 | 退出场次列入缺失说明 | 招募记录、筛选问卷 |
| 关键情境覆盖率 | 被覆盖情境数 ÷ 计划情境数 | 计划情境清单 | 本次研究执行期 | 未覆盖情境标注原因 | 观察方案、场次记录 |
| 原始记录完整度 | 达标场次数 ÷ 计划场次数 | 计划场次 | 每场观察结束后24小时内 | 未达标场次不计入有效样本 | 笔记、音视频、编码表 |
| 证据可追溯率 | 可定位证据条目 ÷ 引用条目总数 | 结论引用条目 | 报告定稿前 | 无法定位的条目列为待补 | 记录条目、时间戳 |
| 结论证据对应率 | 有直接证据的结论数 ÷ 结论总数 | 结论条目 | 报告评审时 | 推测性表述单列 | 证据片段、行为记录 |
评估步骤：从抽检到复算的操作流程
评估按固定顺序推进，可以让不同评估者对同一份研究得出接近的判断。每一步都留下产出物，便于复核和交接。
- 核对研究设计与实际执行的偏差。对照研究方案检查实际场次、参与者构成、任务设置和记录方式，列出偏差清单，标注哪些偏差影响样本覆盖或结论范围。产出物为偏差清单。
- 按口径抽检样本与记录。抽检比例在评估方案中事先约定，可按场次抽取，也可按结论条目倒查证据。样本量小时全量检查；场次较多时至少覆盖每个用户类型和每个关键情境各一场。产出物为抽检表，记录抽中对象、检查项和结果。
- 由第二人独立从记录还原结论。第二人只读原始记录，不看原报告，写出自己认为成立的结论，再与原结论逐条比对，记录一致、部分一致和不一致三类结果。产出物为还原比对记录。
- 汇总指标结果并标注不确定项。把各层指标、抽检发现和还原比对结果汇总到一张表，标明哪些结论证据充分、哪些需要补充、哪些超出评估范围。产出物为评估汇总表。
研究计划、观察记录和结论评审如果分散在个人电脑和聊天记录里，抽检和还原会比想象中费力。把研究任务、场次记录和结论文档放在同一协作空间，按场次建立工作项、在文档中保留证据片段和评审意见，评估者就能按同一路径取数，第二人还原结论时也能看到记录版本和修改痕迹。ONES 的工作项与文档协作可以承载这类留痕，具体字段和流程按团队现有研究规范配置即可。
例子：一次可用性观察研究的评估演算
以下为演示情景，数字用于说明计算方法，不代表通用达标线。某团队要评估新版配置流程，计划观察12名目标用户，分3类用户各4名，覆盖4个关键情境。实际到场11人，其中1人中途退出且记录不足，有效样本10人。
样本层计算：目标用户覆盖方面，A类有效样本4人、B类4人、C类2人，C类覆盖率为2÷4＝50%。关键情境覆盖方面，4个情境中3个有有效观察，覆盖率为75%。招募筛选可追溯方面，10名有效样本中8人能查到筛选问卷，可追溯率为80%。
记录层计算：计划12场，达到完整标准的记录9场，原始记录完整度为9÷12＝75%。报告引用证据24条，其中20条能定位到场次和时间点，证据可追溯率为83.3%。两名观察者对其中3场做双人记录，共同标记关键行为40项，判定一致34项，观察者一致性为85%。
结论层计算：报告列出10条结论，8条有直接证据，结论证据对应率为80%。记录中出现3处与主结论相反的行为，其中2处在分析中被讨论，反例处理率为66.7%。第二人独立还原后，10条结论中6条一致、2条部分一致、2条不一致，完全一致率为60%。
零样本与缺失处理：C类用户只有2名有效样本，不能据此判断该类用户的整体表现，相关结论应标注为“方向性观察”。中途退出的1场不计入有效样本，但在缺失说明中列出退出原因。若某关键情境完全没有有效观察，该情境覆盖率记为0，并在报告中写明该情境未验证，不用其他情境的结果替代。
解读与限制：结果能说明什么、不能说明什么
指标结果回答的是“这次研究在设定范围内证据是否够用”，不能单独证明产品判断正确。样本覆盖率高，说明观察对象与计划匹配；记录完整度高，说明证据留得下来；结论还原一致，说明他人能沿着记录得到相近判断。三项都低时问题比较明确，某一项偏低时则要结合研究类型判断影响：探索研究可以接受情境覆盖不全，但结论必须写明边界；关键决策研究对样本和还原一致性的要求更高。
常见误读有三类。把单一指标当成研究质量的全部，例如只看到10名有效样本就认为足够，忽略用户类型和情境覆盖；把一致性当成正确性，两名观察者记录一致只说明口径统一，不说明结论必然成立；把抽检结果外推到未检查的场次和环节，忽略评估范围。小样本、单一场景的研究，可信度边界应写在结论旁边，例如“本结论适用于首次配置的新用户，未覆盖回访用户和移动端场景”。
评估本身也有局限。评估者可能受原报告表述影响，独立还原时应先读记录后读结论；记录质量决定评估上限，缺失严重的场次无法通过复算补回；抽检比例和通过标准带有团队约定性质，换一套标准结果可能不同。因此评估说明中要写清口径、范围、抽检对象和不确定项，结论表述采用“在本次评估范围内，样本覆盖与证据追溯达到约定要求，C类用户和移动端情境仍需补充观察”这样的写法，把能支撑的决策和需要补做的动作分开陈述。
常见问题
探索性研究和关键决策研究，评估标准要一样吗？
不需要一样，也不建议用同一套严格程度。探索发现类研究重在情境覆盖和记录丰富度，结论可以带有假设性质；用于方案取舍或上线验收的研究，对样本匹配、记录完整和结论还原一致性的要求更高。做法是在评估目标说明里先写清研究类型和可信度要求等级，再据此确定抽检比例和通过标准，同一等级内的研究用同一口径比较。
有效样本和实际到场人数不一致时，指标按哪个算？
两个数都要记录，但计算覆盖率类指标时用有效样本。有效样本指完成约定观察流程、记录达到最低完整标准、身份符合目标画像的参与者。中途退出且记录不足的场次不计入分子，同时要在缺失说明中列出退出原因和场次。分母用计划样本中对应类别人数，这样能同时看出招募偏差和执行损耗。
第二人还原结论时，先看原报告还是先看记录？
先读原始记录，写出自己认为成立的结论，再与原报告逐条比对。先看原报告容易受表述影响，还原结果会偏高。比对时把结果分为一致、部分一致和不一致三类，并记录分歧点对应的证据条目。分歧集中的地方通常指向记录缺失或结论推断过度，可作为补充观察或修改结论的依据。
某类用户完全没有有效样本，结论还能写吗？
可以写，但要标注为方向性观察，并写明该类用户未覆盖。该类的覆盖率记为0，不用其他用户类型的结果替代，也不据此推断该类用户的整体表现。如果这类用户对决策重要，应在报告中列为需要补充观察的项，说明补做计划和预计影响范围。
评估结果不错，是否说明这次研究可以直接支撑上线决策？
指标达标说明在本次评估范围内证据链比较完整，是否支撑上线还要看研究问题本身是否覆盖了决策需要的关键风险。建议在结论中把“已验证的部分”和“仍需补充的部分”分开陈述，例如样本覆盖与证据追溯达到约定要求，但某类用户或某个情境仍需补充观察。这样决策者能看清结论的适用边界。
