评估一次用户观察研究的质量，需要把样本、记录、结论拆成三层分别设标准：样本层看抽样方式、覆盖维度、饱和与偏差控制；记录层看原始证据的完整度、可追溯性和编码一致性；结论层看结论与证据的对应关系、反例处理和可复现性。三层各自有可核验的指标和证据要求，任何一层薄弱都会削弱整体可信度，单看样本量或结论漂亮程度都不足以判断质量。
要点总览（TL;DR）
- 评估用户观察研究质量要分三层：样本层看抽样方式、覆盖维度、饱和与偏差；记录层看原始证据完整度、可追溯性与编码一致性；结论层看证据对应、反例处理与可复现性。
- 样本层先核对抽样方式与研究问题是否匹配，再按用户类型、使用阶段、场景、角色逐项比对计划覆盖与实际覆盖，样本量与实际覆盖要分开判断。
- 记录层两个核心指标是原始记录完整度（有效记录场次÷计划场次）和编码一致性（双人编码一致条目数÷共同编码条目数），计算前要写明分母、单位与缺失值规则。
- 结论层建立结论—证据对照清单，按多参与者一致、单一来源、间接推断分为强证据、弱证据、待验证假设，反例无法解释时结论应降级或收窄范围。
- 三层指标不宜加权成总分，逐层判定并写明组合条件更可靠；完整度和一致性衡量过程可信度，不能证明结论正确。
评估目标：这次用户观察研究要回答什么、质量门槛在哪
质量评估的第一步是确认这次研究要支持什么决策，再据此确定三层的判定重点。同一套指标用在探索性发现和方案取舍上，门槛并不相同。评估者需要先拿到研究问题清单和决策用途说明，才能判断样本覆盖到什么程度算够、记录细到什么程度算完整、结论强到什么程度可以采信。
研究用途大致分三类，对应的质量侧重如下表。这张表用于确定本次评估的判定重点，不构成通用达标线。
| 研究用途 | 典型决策 | 样本层侧重 | 记录层侧重 | 结论层侧重 |
|---|---|---|---|---|
| 探索性发现 | 发现未知问题、形成假设 | 覆盖用户类型与场景的多样性，允许较小样本 | 原始记录完整、可追溯，保留原话与情境 | 结论标注为假设，说明证据薄弱处 |
| 需求验证 | 确认某需求是否存在、影响多大 | 覆盖目标用户的关键分层，检查反例用户 | 记录与编码一致，关键判断有双人核对 | 结论有明确证据条目支撑，反例被解释 |
| 方案取舍 | 在多个方案间做选择 | 覆盖各方案涉及的使用场景与角色 | 记录可比，同一情境下的观察口径一致 | 结论强度分级清晰，弱证据不用于拍板 |
评估结论的使用边界也要提前写明。观察研究通常支持方向判断和机制解释，用于支撑定量结论时需要额外的样本设计和统计口径，不能直接沿用定性评估结果。评估报告应注明本次判定适用于哪类决策，避免结论被跨场景引用。
样本质量：抽样方式、覆盖维度与饱和判断
样本层评估回答两个问题：招来的人是否对得上研究问题，覆盖是否足以支撑结论范围。样本量大不代表覆盖好，十位同类型活跃用户的信息量可能低于五位跨角色用户。
先核对抽样方式与招募渠道。目的性抽样适合探索性研究，要求写明选择每位参与者的理由；便利抽样成本低，但需要标注可能引入的偏向。招募渠道单一，例如只从客服工单或社区招募，容易集中到表达意愿强的用户，评估时应记录渠道来源并说明缺口。
覆盖维度按研究问题逐项列出实际覆盖情况，形成样本层评估表：
| 覆盖维度 | 计划覆盖 | 实际覆盖 | 缺口说明 | 偏差风险 |
|---|---|---|---|---|
| 用户类型（新用户/老用户/流失用户） | 3类各2人 | 新用户2人、老用户3人 | 流失用户未覆盖 | 结论可能偏向留存用户视角 |
| 使用阶段 | 首次使用、日常使用 | 均已覆盖 | 无 | 低 |
| 使用场景 | 桌面端、移动端 | 仅桌面端 | 移动端场景缺失 | 场景相关结论不可外推 |
| 角色 | 个人用户、团队管理员 | 个人用户4人、管理员1人 | 管理员样本偏少 | 协作类结论证据不足 |
饱和判断看新增信息是否递减。常用做法是按场次顺序整理新出现的主题，当连续若干场不再产生新主题、已有主题只增加细节时，可认为该维度接近饱和。饱和判断要写清依据：新增主题数、重复主题出现场次、最后一场新增了什么。样本未饱和时，结论范围应相应收窄。
偏差识别重点看三类信号：参与者是否全部来自同一渠道；是否集中在活跃用户或重度用户；招募话术是否引导了特定人群。发现偏差不必中止研究，但要在评估表中记录偏差方向和它对结论的影响范围。
记录质量：原始证据完整度与编码一致性怎么算
记录层把观察过程转成可核验的证据，核心指标有两个：原始记录完整度和编码一致性。两个指标都要写明分子、分母和缺失值规则，否则数字之间不可比。
原始记录完整度的计算口径为：有效记录场次 ÷ 计划场次 × 100%。有效记录指包含可定位的观察片段、且能对应到具体参与者与情境的记录。取消的场次、只有结论没有原始描述的场次，都不计入有效记录。缺失原因按取消、设备故障、记录不完整、参与者退出分类统计，便于判断缺失是随机还是系统性。
编码一致性的计算口径为：双人编码一致条目数 ÷ 共同编码条目数 × 100%。做法是抽取部分记录由两名研究者独立编码，再逐条比对。一致指两人归入同一主题或同一行为类别；不一致条目要记录分歧原因，并由第三人裁定或讨论后形成编码规则补充。只统计共同编码的条目，单人编码部分不进入分母。
证据可追溯性用可核验条目衡量：每条观察片段能否定位到时间、参与者编号和具体情境。评估时随机抽取若干片段回查原始材料，统计可定位比例。记录与解读分离同样要检查：原始描述、参与者原话与研究者推断应分栏存放，推断内容标注依据，避免把解读当成观察事实。
缺失值处理规则需提前约定。场次缺失导致某覆盖维度无数据时，该维度标记为未覆盖，不参与相关结论的证据计数；编码不一致条目在裁定前不计入任何主题的证据量。分母为零的情形，例如没有进行双人编码，一致性指标记为未评估，不记为满分或零分。
结论质量：证据对应、反例处理与可复现性
结论层评估每条结论是否有足够证据支撑，以及结论强度是否与证据匹配。做法是建立结论—证据对照清单，逐条登记。
| 结论 | 支撑证据条目 | 来源场次 | 反例/不一致观察 | 强度分级 |
|---|---|---|---|---|
| 新用户在首次配置时容易放弃 | 4条行为观察、2段原话 | P1、P3、P5、P7 | P2在引导提示下完成，未放弃 | 强证据（多场次一致，反例有解释） |
| 管理员需要批量授权能力 | 1条行为观察 | P6 | 无其他管理员样本 | 待验证假设 |
| 移动端场景存在同类问题 | 无直接观察 | — | 移动端未覆盖 | 不成立，超出样本范围 |
强度分级标准建议按三条判断：证据来自多个不同参与者且方向一致，可定为强证据；证据集中在单一参与者或单一场景，定为弱证据；只有间接推断或尚未验证的推测，列为待验证假设。分级标准在研究开始前确定，避免事后按结论需要调整。
反例处理是结论质量的关键检查项。与主结论不一致的观察必须记录，并说明可能原因，例如用户经验差异、场景差异或引导方式差异。反例无法解释时，结论应降级或收窄适用范围。
可复现性指他人依据记录能否得出相同结论。评估时可请未参与该场研究的研究者，只看记录和编码规则，独立判断关键结论是否成立，统计判断一致的比例。复现判断不一致的结论，需要补充证据或修改表述。
结论与样本覆盖范围要匹配。样本未覆盖移动端，就不能写出移动端结论；管理员样本只有一人，相关结论只能作为假设提出。这一检查直接决定结论能否进入决策材料。
评估步骤与算例：从原始记录到质量结论
三层标准按固定顺序串成评估流程，每步产出可核验的记录，最后汇总判定。
- 确定研究用途与判定重点，写明本次评估支持哪类决策。
- 核对样本：填写覆盖维度表，标注缺口与偏差，判断各维度是否饱和。
- 核对记录：计算完整度与编码一致性，抽查可追溯性，检查记录与解读是否分离。
- 核对结论：建立结论—证据对照清单，完成强度分级，检查反例与复现判断。
- 汇总判定：按三层分别给出通过、有条件通过、不通过，写明不达标项对结论的影响。
以一个演示算例说明计算过程。某次用户观察研究计划12场，实际完成10场，其中1场记录只有结论没有原始描述，不计为有效记录，有效记录为9场。原始记录完整度 = 9 ÷ 12 × 100% ≈ 75%，缺失原因分别为取消1场、设备故障1场、记录不完整1场。抽取6场进行双人编码，共同编码条目共48条，两人一致39条，编码一致性 = 39 ÷ 48 × 100% ≈ 81%，9条不一致条目经讨论后补充了2条编码规则。
样本缺口与结论强度的对应判定：原计划覆盖流失用户2人，实际未覆盖，涉及流失原因的结论全部降为待验证假设；移动端场景缺失，移动端相关表述从结论清单中移除。记录层完整度75%意味着部分场次证据链不完整，依赖这些场次的结论需要标注证据来源受限。
汇总时不建议把三层指标加权成一个总分。三层承担不同职能，样本缺口无法用高编码一致性弥补。可行做法是逐层判定并写明组合条件：样本层存在关键维度缺口时，整体判定为有条件通过，结论只能用于方向参考；记录层完整度偏低时，要求补充记录或缩小结论范围；结论层存在未解释反例时，相关结论不得进入决策材料。只有三层均达到本次研究预设的门槛，才判定为通过。
研究计划、观察记录和结论评审在同一协作空间留痕，后续复核时可以直接调取原始场次和编码记录。ONES 的项目与文档协作能力可以把研究任务、记录文档和评审意见关联起来，让评估过程有据可查；工具中的记录本身不构成研究质量证据，证据仍以原始观察材料为准。
解读与限制：指标能说明什么、不能说明什么
完整度和一致性衡量的是过程可信度，说明记录是否齐全、编码是否稳定，不能证明结论正确。一次研究可能记录完整、编码一致，但抽样方向错了，结论依然不适用于目标用户。评估结果需要和业务判断结合使用。
小样本探索研究有其合理定位。样本少、覆盖窄时，研究价值在于发现问题线索和形成假设，评估重点应放在记录可追溯和假设标注清楚，而非追求统计意义上的代表性。把探索性结论直接用于方案拍板，是常见的误用。
指标之间存在制约。提高编码一致性可能靠简化编码类目实现，类目过粗会丢失信息；追求记录完整度可能增加参与者负担，影响观察自然度。评估时要看指标背后的具体做法，避免只对数字。
评估结果应反馈到下一轮研究设计：样本缺口转为下轮招募条件，编码分歧沉淀为编码规则，未解释反例转为待验证问题。质量评估的价值在于让下一轮研究更清楚要补什么，而非给本轮研究打分定论。
常见问题
研究做到一半发现样本覆盖有缺口，应该中止还是继续？
通常继续完成已排期的场次，同时把缺口登记进样本层评估表，写明缺的是哪个维度、影响哪些结论。若缺口涉及本次决策的核心分层，例如方案取舍研究里某个方案的目标用户完全没覆盖，可以在剩余场次中调整招募条件补上；补不上时，相关结论在汇总阶段降为待验证假设或从结论清单中移除。中止研究的代价往往高于带着明确缺口完成评估，关键是缺口方向和影响范围要写清楚，不能事后隐去。
只有一名研究者，无法做双人编码，记录质量还能评估吗？
可以评估，但编码一致性这一项应记为未评估，不记为满分或零分。单人研究可以把重点放在原始记录完整度和可追溯性上：统计有效记录场次占比，随机抽取片段回查能否定位到时间、参与者编号和情境，检查原始描述与研究者推断是否分栏存放。条件允许时，可请未参与观察的同事依据编码规则对部分记录做独立归类，作为一致性核对的替代做法，并在报告中注明这是事后核对而非同步双人编码。
探索性研究和需求验证研究，质量门槛应该差多少？
差别主要体现在样本层和结论层。探索性研究允许较小样本，重点看覆盖维度的多样性和记录的可追溯性，结论以假设形式提出并标注证据薄弱处即可。需求验证研究要覆盖目标用户的关键分层，检查是否存在反例用户，关键判断需要双人核对，结论要有明确证据条目支撑。方案取舍研究对记录可比性要求更高，同一情境下的观察口径要一致，弱证据不用于拍板。门槛在研究开始前按用途设定，避免事后按结论需要调整。
编码一致性算出来偏低，说明研究质量差吗？
不一定。一致率低首先说明编码类目或规则需要澄清，常见原因是类目边界模糊、两人对同一行为的理解不同。处理方式是把不一致条目逐条记录分歧原因，讨论后补充编码规则，必要时由第三人裁定。补充规则后可以重新抽取条目核对。若规则澄清后一致率仍低，才需要怀疑记录本身信息不足或观察口径不统一。评估报告应同时呈现一致率、分歧原因和规则修订记录，单看一个百分比不足以判断。
评估结果要不要给这次研究打一个总分？
不建议加权成总分。样本、记录、结论三层承担不同职能，样本缺口无法用高编码一致性弥补，加权会把这种不可替代关系抹平。更可行的做法是逐层给出通过、有条件通过、不通过，并写明组合条件：样本层存在关键维度缺口时整体判定为有条件通过，结论只用于方向参考；记录层完整度偏低时要求补充记录或缩小结论范围；结论层存在未解释反例时相关结论不进入决策材料。三层均达到本次研究预设门槛，才判定为通过。
