定义“搜索结果不相关”的判断标准，关键是先把笼统的不满意拆成可判定的等级，再用人工标注和用户行为两类证据互相校验。本文面向知识库或站内搜索的评估场景，给出一套可复算的口径：四级相关性定义、不相关率公式、分层抽样方案、双人标注流程和交叉验证规则，并说明结论的适用边界。
要点总览（TL;DR）
- 把“不相关”拆成四级判定：完全满足、部分满足、主题相关但未回答问题、主题无关，每级配判定依据和示例，边界样本事先约定处理规则。
- 不相关率 = 判为“主题无关”的结果数 ÷ 纳入评估的结果数，分母是否含零结果查询、时间窗和查询集抽样规则都要在评估前书面固定。
- 人工评估以查询—结果对为单元，打乱结果位置、双人独立标注，用一致率或 Kappa 校验，分歧样本仲裁后回写标准。
- 行为信号（点击率、改写率、零结果后退出、二次搜索等）只用于交叉验证，按查询分层对照人工不相关率，高分歧区间优先复核。
- 结论只代表特定查询集、时间窗和标准下的表现，标准需随业务与文档变化定期复评，指标不替代根因分析。
评估目标：把“不相关”变成可判定的问题
相关性评估的对象是“查询—结果对”，即某一条查询返回的某一条结果，判断这条结果是否回答了这条查询。把评估单元定在结果级别，才能统计不相关占比、定位具体问题查询，也才能让两名评估者对同一条记录独立给出判断。对整个搜索系统打一个满意度分数，无法支撑后续修订。
一次评估开始前，先把要回答的问题写清楚，通常包括三类：
- 不相关占比多少：在当前查询集和当前标准下，被判为“主题无关”的结果占纳入评估结果的比例。
- 集中在哪些查询类型：不相关结果是否集中在某类查询上，例如带版本号、带角色限定、带时间范围的查询，或长尾低频查询。
- 人工判断与行为信号是否一致：人工判为不相关的结果，用户是否也表现出放弃、改写或退出；两者不一致的样本说明标准或排序存在问题。
结论的用途需要提前约定：用于修订判定标准、定位问题查询集、安排内容补充或排序调整。把不相关率直接当作某个团队或某个人的绩效结论，会诱导评估者规避边界样本，反而破坏标准的稳定性。评估目标清单建议在启动会上书面确认，包含上述三个问题、结论用途和不作为绩效依据的声明。
相关性等级与判定维度
建议采用四级定义，覆盖从完全满足到完全无关的连续区间。等级之间保留“主题相关但未回答问题”这一档，是为了把“内容沾边但答非所问”与“完全无关”区分开——前者通常靠补充内容或调整排序解决，后者更多指向索引覆盖或查询理解问题。
| 等级 | 定义 | 判定依据 | 示例（演示情景） |
|---|---|---|---|
| 完全满足 | 结果直接回答了查询，关键限定条件全部覆盖 | 命中查询意图，对象、时间、版本、角色等限定条件均满足，信息可直接使用 | 查询“报销流程 2024版”，结果给出2024版报销流程的完整步骤 |
| 部分满足 | 结果回答了查询的主要部分，但缺少部分限定条件或信息不完整 | 命中意图，覆盖主要限定条件，缺少次要条件或需要用户再查一步 | 查询同上，结果给出报销流程但未标注版本，内容大体适用 |
| 主题相关但未回答问题 | 结果与查询主题相关，但没有回答查询所问的具体问题 | 主题词匹配，但未命中查询意图，或只覆盖背景信息 | 查询“报销流程 2024版”，结果是一篇报销制度的意义说明 |
| 主题无关 | 结果与查询主题没有实质关联 | 不命中意图，也不覆盖任何关键限定条件 | 查询同上，结果是一篇差旅安全须知 |
判定时按三个维度依次核对：是否命中查询意图；是否覆盖关键限定条件，包括对象、时间、版本、角色；信息是否可以直接使用，还是需要用户再跳转或再检索。三个维度都满足判为完全满足；意图命中但限定条件有缺失判为部分满足；只有主题词相关判为第三级；主题层面无关判为第四级。
边界样本需要事先约定处理规则，否则不同评估者会各自解释。常见约定包括：结果内容正确但已过期，按限定条件缺失降一级；结果需要登录或无权限查看，按“信息不可直接使用”处理并在备注中标记；一条结果同时包含多个主题，以查询意图对应的部分为准；查询本身有歧义时，先记录歧义，不强行归入某一级。这些约定写入分级表附注，评估过程中新增的约定同样回写。
指标与范围：分母、时间窗与查询集
核心指标是不相关率，公式为：不相关率 = 判为“主题无关”的结果数 ÷ 纳入评估的结果数。分母是否包含零结果查询必须写明：零结果查询没有可判定的结果，通常单独统计为零结果率，不进入不相关率的分子分母；如果业务关注“用户什么也没得到”的体验，可以另设一个合并指标，但不能与不相关率混用同一个分母。
查询集构建决定结论能代表什么。建议按三个维度分层抽样：查询类型（如产品功能、流程制度、故障排查、人员与组织）、查询频次（高频、中频、长尾）、是否有结果（有结果、零结果）。每层按固定比例抽取，样本量在评估前书面固定，避免看到中间结果后调整。时间窗同样固定，例如取评估日前连续四周的查询日志，并注明起止日期，保证不同批次评估可以复算和比较。
排除项要写进方案：测试账号产生的查询、内部调试查询、明显拼写噪声（如连续乱码、单字符查询）单独归类，不计入主指标，但保留数量供参考。拼写噪声如果占比高，可以单列一个观察项，说明其对整体体验的影响，不混入相关性判断。
人工评估的执行与一致性校验
评估单元是查询—结果对。标注时打乱结果在页面上的原始位置，只呈现查询和结果内容，避免评估者受排序位置影响给出偏高判断。每条记录标注等级、判定依据和备注，备注用于记录边界情况和歧义。
采用双人独立标注：两名评估者分别完成同一批样本，标注期间不交流具体判断。完成后计算一致性，常用一致率或 Kappa 系数。一致率 = 两人判定完全相同的样本数 ÷ 总样本数；Kappa 在一致率基础上扣除了随机一致的部分，更适合等级分布不均衡的情况。可接受区间需要在评估前约定，例如一致率低于约定阈值时，先集中讨论分歧原因、修订标准，再重新标注分歧样本，而不是直接进入指标计算。
分歧处理流程建议为：先由两名评估者各自说明依据，再由第三人或评估负责人仲裁，仲裁结论写入标准附注；同一类分歧反复出现时，说明分级定义本身需要修订，修订后回溯已标注样本。一致性记录表至少包含样本编号、查询、结果、两名评估者的等级与依据、是否一致、仲裁结论、标准修订条目。
在知识库场景中，评估方案、分级表、标注记录和仲裁结论需要有稳定的存放位置。ONES Wiki 的页面树可以按评估批次组织文档，页面模板库可用于统一分级表和记录表的格式，页面版本记录支持在标准修订后回溯历史版本；评估任务本身可以通过工作项分派给标注人并跟踪进度。这些能力承载的是评估过程的管理动作，相关性判断仍由评估者依据标准完成。
用户行为信号的选取与口径
行为信号用于和人工判断交叉验证，不能单独作为相关性结论。常用信号及口径如下，每个信号都要明确分母，并按查询类型分层统计。
| 信号 | 计算口径 | 主要局限 |
|---|---|---|
| 点击率 | 产生点击的查询数 ÷ 有结果的查询数，或某条结果的点击数 ÷ 该结果曝光数 | 点击受标题和位置影响，点击不等于内容满足需求 |
| 首位点击率 | 首条结果被点击的次数 ÷ 该查询的曝光次数 | 首位结果天然获得更多点击，不能直接说明其相关性最高 |
| 查询改写率 | 同一会话内发生改写的查询数 ÷ 该查询类型的总查询数 | 改写可能源于探索需求，也可能源于结果不满足，需结合改写方向判断 |
| 零结果后退出 | 零结果查询后无后续操作的会话数 ÷ 零结果查询会话数 | 退出也可能因为用户转去其他渠道，无法区分 |
| 结果页停留时长 | 结果页停留时长的中位数，按查询类型分层 | 停留长可能是阅读深入，也可能是找不到目标在反复浏览 |
| 二次搜索率 | 同一会话内再次发起搜索的会话数 ÷ 总会话数 | 二次搜索可能是在完成多步任务，不必然是失败信号 |
使用这些信号时要守住两条边界：点击不等于满足，用户可能点开即返回；无点击不等于不相关，用户可能已经在摘要中获得了答案。因此行为信号只用于发现需要复核的区间，不直接替代人工判定。信号数据来源需要在评估方案中注明，若搜索日志无法导出或缺少必要字段，应在方案中说明该信号暂不纳入，而不是用其他数据替代后仍按同一口径解读。
交叉验证：人工判断与行为信号如何对照
交叉验证按查询分层进行：对每一层，分别计算人工判定的不相关率和对应的行为信号，比较两者是否指向同一方向。差异明显的层优先复核，因为分层差异往往比总体差异更能说明标准或排序的问题。
对单个查询—结果对，可以按人工判断与行为表现组成四象限，分别处理：
- 人工判相关、行为表现差：核查结果是否被排在靠后位置、摘要是否没有体现关键信息，或用户预期与内容表述存在差距。
- 人工判不相关、行为表现好：核查是否存在标题党式匹配、用户点击后快速返回，或该结果恰好满足了查询之外的邻近需求。
- 人工判相关、行为表现好：作为标准有效的正向样本保留，可用于校准新评估者。
- 人工判不相关、行为表现差：优先核查是否为索引缺失、限定条件未覆盖等覆盖类问题。
分歧归因分三类：标准定义问题，即分级表对某类情形没有约定或约定不清；结果排序问题，即内容相关但未出现在用户可见位置；用户预期差异，即查询词本身有歧义或用户目标与字面查询不一致。归因结论决定后续动作：标准问题修订分级表并回溯标注，排序问题进入排序优化清单，预期差异补充查询理解或引导词。分歧样本不直接判定为系统缺陷，先回到标准里核对。
算例：一次不相关率评估的完整计算
以下数值均为假设的演示数据，用于说明计算过程，不代表任何真实系统的表现。
假设评估时间窗为连续四周，按查询类型、频次、是否有结果分层抽样，共抽取500条查询，其中零结果查询40条，有结果查询460条。从有结果查询中按固定规则抽取结果，每条查询取前5条，共2300个查询—结果对，全部纳入评估。
双人标注后，一致率为86%，分歧样本经仲裁后确定最终等级：完全满足980条，部分满足720条，主题相关但未回答问题420条，主题无关180条。按公式计算：不相关率 = 180 ÷ 2300 ≈ 7.8%。零结果率单独计算为 40 ÷ 500 = 8.0%，不进入上述分子分母。
分层看，主题无关的180条中，有112条集中在“带版本号或时间限定的查询”这一层，该层不相关率为 112 ÷ 620 ≈ 18.1%，明显高于总体。行为信号显示该层的查询改写率为31%，高于其他层的12%左右，两类证据方向一致，说明该层是优先处理对象。
分歧样本中有一例：某条结果人工判为部分满足，但该结果点击率低、点击后快速返回。复核发现结果内容正确，但摘要只显示了目录，用户无法判断内容是否适用。归因属于结果展示问题，处理动作是调整摘要字段，同时把“摘要是否体现关键结论”写入分级表的备注项，作为后续评估的观察点。另一例人工判为主题无关但点击率偏高，复核发现标题包含查询词但正文是活动通知，归因属于标题匹配误导，进入排序与标题规范清单。
解读与限制：结论能说明什么、不能说明什么
不相关率反映的是特定查询集、特定时间窗和特定标准下的表现。换一批查询、换一个时间窗或修订分级表后，数值会变化，因此不能把一次评估的结果外推到全部查询，也不能用它单独证明搜索质量的好坏。跨批次比较的前提是查询集抽样规则、分级表和计算口径保持一致，任何一项调整都要在报告中注明。
几种情况需要特别处理：分母为零时，不相关率没有定义，应报告零结果率并说明样本构成；样本量过小时，分层结论只作观察，不据此下判断；查询集明显偏斜时，例如某一类查询占比过高，总体不相关率会被该类主导，应同时报告分层结果。评估报告应附查询集构成、各层样本量和一致性指标，便于复核。
标准需要定期复评。业务文档更新、产品版本变化、用户查询习惯改变，都可能让原有分级定义出现覆盖不到的情形。建议在每次评估结束后汇总新增的边界约定，按固定周期（例如每季度或每半年）复审分级表，并保留修订记录。指标本身只描述现象，定位原因仍需结合查询日志、内容覆盖情况和排序结果做进一步分析，不把单一指标当作原因结论或绩效保证。
常见问题
评估者遇到分级表没有覆盖的边界情况，应该怎么处理？
先按现有三个判定维度（是否命中查询意图、是否覆盖关键限定条件、信息是否可直接使用）给出临时判断，并在备注中写明理由和情形描述。评估结束后，由评估负责人汇总这类样本，决定是否新增约定或修订分级定义；新增约定写入分级表附注，并对已标注的同类样本回溯复核。这样处理可以避免评估者各自解释标准，也保证修订有据可查。
人工判断和用户行为信号结论相反时，应该以哪一方为准？
两类证据都不直接作为最终结论，而是先归因。人工判相关但行为差，常见原因是结果排在靠后位置或摘要没有体现关键信息；人工判不相关但行为好，常见原因是标题匹配误导或用户点击后快速返回。归因属于标准定义问题时修订分级表并回溯标注，属于排序或展示问题时进入优化清单，属于用户预期差异时补充查询理解或引导。分歧样本先回到标准里核对，不直接判定为系统缺陷。
查询集里零结果查询较多时，不相关率还能直接报告吗？
零结果查询没有可判定的结果，通常单独统计为零结果率，不进入不相关率的分子分母。如果零结果查询占比较高，只报告不相关率会掩盖“用户什么也没搜到”的体验问题，建议同时报告零结果率并说明样本构成。若业务需要合并观察，可以另设一个包含零结果的合并指标，但要在报告中注明它与不相关率的口径差异，不能混用同一个分母。
样本量较小或查询集明显偏斜时，分层结论怎么用？
样本量过小时，分层结果只作观察线索，不据此下判断，也不把层间差异写成确定结论。查询集明显偏斜时，例如某一类查询占比过高，总体不相关率会被该类主导，应同时报告分层结果和查询集构成。评估报告附上各层样本量和一致性指标，便于复核；需要更可靠的分层结论时，扩大该层抽样量或延长评估时间窗，并在下一批次中保持抽样规则一致。
分级标准多久复评一次，什么情况下需要提前修订？
建议按固定周期复评，例如每季度或每半年，结合评估中新增的边界约定统一复审。出现以下情况时提前修订：业务文档大规模更新、产品版本变化导致限定条件口径改变、用户查询习惯明显变化，或同一类分歧反复出现。每次修订保留版本记录和修订原因，跨批次比较时注明标准是否变化，避免把标准调整带来的数值变化误读为搜索质量变化。
