知识检索效果评估通常要看三类指标：查找体验看检索成功率、首次点击命中率、零结果率和结果点击位置；导航发现看目录到达率、标签点击率、浏览深度和跨入口跳转率；结果优化看查询改写命中率、同义词覆盖命中与排序合理性抽检通过率。要让这些数字能用于上线前基线和改版后对比，每个指标都要写清分子、分母、时间窗和缺失值处理，并在同一批查询样本上复算。
要点总览（TL;DR）
- 知识检索效果评估围绕三类指标展开：查找体验看检索成功率、首次点击命中率、零结果率与结果点击位置；导航发现看目录到达率、标签点击率、浏览深度与跨入口跳转率；结果优化看查询改写命中率、同义词覆盖命中与排序合理性抽检通过率。
- 每个指标都要写清分子、分母、时间窗、单位和数据来源，并在同一批查询样本上复算，基线与改版后对比使用同一套清洗规则。
- 取数依赖检索日志、分层抽样人工判定和用户反馈三类证据，空查询、重复查询、爬虫与内部测试流量需在计算前剔除。
- 计算按确定样本与基线、采集数据、逐指标计算、同口径对比归因、标注证据强度五步执行，分母为零时记为不适用而非0%。
- 单指标不能作为检索质量的结论，点击类指标受位置偏好和标题诱导影响，检索效果改善也不等于知识使用效果提升。
评估目标：先明确要回答的检索问题
指标清单本身不构成评估方案。先确定这次评估要回答什么问题，才能决定取哪些指标、用多长的时间窗、和哪个基线比较。知识检索的评估目标通常可以归为三类，每类对应不同的判断。
| 评估目标 | 要回答的判断问题 | 主要覆盖入口 | 典型使用场景 |
|---|---|---|---|
| 查找体验 | 用户输入查询后，能否找到结果并点到有用的内容？ | 搜索框检索 | 日常巡检、搜索改版前后对比 |
| 导航发现 | 用户能否通过目录、标签和推荐入口到达目标知识？ | 目录导航、标签页、推荐位 | 知识库结构调整、分类体系改版 |
| 搜索结果优化 | 查询改写、同义词扩展和排序策略是否让结果更相关？ | 搜索框检索及其结果页 | 排序策略调整、同义词库更新 |
评估对象范围要在开始前写清楚：是只评估搜索框检索，还是把目录导航、标签页和推荐入口一并纳入。范围不同，分母和日志字段都不同。评估周期也需与用途匹配：上线前建立基线，通常取改版前一段稳定周期的数据；改版后对比，取改版上线后同等长度的时间窗；日常巡检则按固定周期重复计算，观察趋势而非单次结论。
把目标、判断问题和入口写成对照清单，可以避免评估过程中不断加指标。清单之外的指标即使数据可得，也留到下一轮评估，保证本轮结论聚焦。
指标与范围：三类指标的定义与分母
每个指标都要能被人用同样的数据复算出来，因此定义必须包含公式、分母、时间窗、单位和数据来源。下表给出一套可直接采用的指标定义，时间窗统一按自然日或自然周统计，单位除特别注明外均为百分比。
| 指标 | 公式 | 分母 | 时间窗 | 单位 | 数据来源 |
|---|---|---|---|---|---|
| 检索成功率 | 有结果查询数 ÷ 有效查询数 | 剔除空查询、重复查询后的有效查询数 | 按周 | % | 检索日志 |
| 首次点击命中率 | 首次点击即相关结果的查询数 ÷ 有点击查询数 | 至少产生一次点击的查询数 | 按周 | % | 检索日志 + 相关性判定 |
| 零结果率 | 零结果查询数 ÷ 有效查询数 | 有效查询数 | 按周 | % | 检索日志 |
| 结果点击位置分布 | 各点击位次的点击次数 ÷ 总点击次数 | 总点击次数 | 按周 | % | 检索日志 |
| 目录到达率 | 经目录进入目标页面的会话数 ÷ 目标页面总会话数 | 目标页面总会话数 | 按周 | % | 访问日志 |
| 标签点击率 | 标签点击次数 ÷ 标签曝光次数 | 标签曝光次数 | 按周 | % | 访问日志 |
| 浏览深度 | 页面浏览总数 ÷ 会话数 | 会话数 | 按周 | 页/会话 | 访问日志 |
| 跨入口跳转率 | 发生入口切换的会话数 ÷ 总会话数 | 总会话数 | 按周 | % | 访问日志 |
| 查询改写命中率 | 改写后产生有效结果的查询数 ÷ 触发改写的查询数 | 触发改写的查询数 | 按周 | % | 检索日志 |
| 同义词覆盖命中 | 同义词扩展后命中相关结果的查询数 ÷ 同义词测试查询数 | 同义词测试查询数 | 按测试批次 | % | 测试查询集 + 人工判定 |
| 排序合理性抽检通过率 | 判定排序合理的结果数 ÷ 抽检结果数 | 抽检结果数 | 按抽检批次 | % | 分层抽样 + 人工判定 |
几处口径需要特别说明。检索成功率的“有结果”指结果数大于零，不判断结果是否相关，相关性由首次点击命中率和抽检承担。首次点击命中率依赖人工或规则判定“首次点击的结果是否相关”，判定标准要事先写成文档，否则不同人复算会得到不同结果。结果点击位置分布按位次分桶统计，例如第1位、第2至3位、第4至10位、第10位以后，分桶边界固定后才能跨周期比较。
导航发现类指标的分母容易混淆。目录到达率的分母是目标页面的总会话数，而不是全站会话数，否则不同热度页面的指标不可比。标签点击率的分母是曝光次数，需要页面埋点记录标签是否真正展示在用户视野内。跨入口跳转率反映用户在搜索、目录、标签之间切换的频率，指标升高既可能是导航不畅，也可能是用户习惯多入口探索，需要结合其他指标解读。
结果优化类指标中，查询改写命中率只统计触发改写的查询，分母不含未触发改写的查询，避免把改写覆盖率混入命中率。同义词覆盖命中适合用固定测试查询集按批次计算，便于在词库更新后重复验证。排序合理性抽检通过率是定性判断的量化，抽检样本要覆盖高频查询、长尾查询和零结果查询。
数据口径与证据：日志、抽样与用户反馈怎么取
指标能否复算，取决于取数口径是否统一。检索效果评估的证据主要有三类来源，各自承担不同作用。
检索日志是计算查找体验和结果优化指标的基础，需要包含查询词、结果数、点击位置、会话标识和时间戳。会话标识用于把同一次检索中的多次点击归并，避免把一次查询的多次点击算成多个查询。时间戳用于对齐时间窗，也用于剔除测试时段的流量。
抽样核验用于补充日志无法回答的相关性问题。做法是按查询频次分层：高频查询、中频查询、长尾查询各抽一定数量，再由人工判定结果与查询的相关程度。分层比例和判定标准要写入取数口径说明，保证下一轮评估可以沿用同一方案。样本量过小时，结论只作为方向参考。
用户反馈提供日志之外的信号，包括无结果反馈、结果评价、工单和提问记录。这类数据适合发现指标未覆盖的问题，例如用户反复搜索同一主题却始终点击靠后结果，可能说明排序或内容缺失。反馈数据不适合直接当作比率指标的分母，除非反馈入口的曝光和提交口径已经固定。
取数前要处理几类干扰：空查询和重复查询从有效查询中剔除；爬虫流量和内部测试流量按标识或 IP 段过滤；同一会话内连续相同查询按一次有效查询计。缺失值的处理方式要写明，例如点击位置缺失的记录不计入位置分布，但计入检索成功率的分母。这些规则一旦确定，基线和对比周期都使用同一套，否则数字不可比。
计算与评估步骤：从基线到对比的复算流程
评估按固定步骤执行，每一步留下可追溯的记录，后续复算时能还原当时的样本和口径。
- 确定查询样本集与基线周期。 从检索日志中抽取一段稳定周期的有效查询，记录抽取规则、周期起止和样本量。基线周期避开大促、组织调整等异常时段。
- 按统一口径采集日志与抽样数据。 按上一节的口径说明导出日志字段，完成分层抽样和人工判定，把判定结果与查询记录关联。
- 逐指标计算并标注分母为零的情况。 每个指标单独计算，分母为零时结果标记为“不适用”，不写 0%，也不参与汇总平均。
- 改版前后同口径对比与差异归因。 用同一套公式、同一时间窗长度、同一清洗规则计算改版后数据，与基线并列。差异归因要落到具体变化，例如同义词库扩充对应同义词覆盖命中上升，排序策略调整对应首次点击命中率变化。
- 形成结论并标注证据强度。 结论写明哪些指标支持判断、样本量多大、是否存在指标间矛盾。证据强度分为“有日志与抽样双重支持”“仅有日志支持”“样本不足仅作参考”三档。
对比记录表建议包含指标名、基线值、改版后值、变化幅度、分母规模、证据强度和备注。备注栏记录口径调整或异常事件，避免下一轮评估误读数字。
例子：一次检索改版的指标复算
以下为演示情景，数字用于说明计算过程，不代表任何真实系统的表现。
某知识库在改版前一周记录有效查询 10,000 次，其中零结果查询 800 次，有点击查询 6,000 次。抽样 200 条有点击查询做相关性判定，首次点击即相关结果的有 120 条。改版后一周有效查询 10,500 次，零结果查询 630 次，有点击查询 6,800 次，抽样 200 条中首次点击即相关 150 条。
| 指标 | 改版前 | 改版后 | 计算说明 |
|---|---|---|---|
| 零结果率 | 800 ÷ 10,000 = 8.0% | 630 ÷ 10,500 = 6.0% | 分母为有效查询数 |
| 检索成功率 | 9,200 ÷ 10,000 = 92.0% | 9,870 ÷ 10,500 = 94.0% | 有结果查询数 = 有效查询数 − 零结果查询数 |
| 首次点击命中率（抽样） | 120 ÷ 200 = 60.0% | 150 ÷ 200 = 75.0% | 分母为抽样中有过点击的查询数 |
从这三个指标看，改版后零结果率下降、检索成功率上升、首次点击命中率上升，方向一致。但解读时要注意两点。第一，首次点击命中率来自抽样，200 条样本的估计存在波动，75% 与 60% 的差距在样本量下可以认为方向明确，但不宜精确到小数点后比较。第二，如果改版同时调整了结果页布局，点击位置分布可能整体前移，首次点击命中率上升部分来自用户更早点击，而非结果本身更相关，这时需要结合排序合理性抽检通过率判断。
指标矛盾的情形也需要预先约定处理方式。假设改版后结果点击率上升，但抽检相关性下降，可能的原因是标题或摘要更具吸引力而内容匹配度下降。此时结论应写为“点击行为改善、相关性存疑”，并把排序合理性抽检作为主要证据，不因点击率上升就判定检索效果提升。
分母为零的情况同样要处理。若某个入口在统计周期内没有曝光，标签点击率的分母为零，该指标记为“不适用”，在对比表中留空并注明原因，不参与趋势判断。样本过小时，例如某长尾查询类别只有 30 条抽样，结论只标注为参考，不与其他类别合并平均。
解读与限制：指标能说明什么、不能说明什么
单个指标只能回答一个侧面。检索成功率说明系统是否返回了结果，不说明结果是否有用；首次点击命中率说明首次点击的相关性，受结果页布局和标题写法影响；零结果率低也可能来自查询改写把不相关的结果也返回了。组合判断的基本做法是：查找体验指标看趋势是否一致，导航发现指标看入口结构是否有效，结果优化指标用抽检验证相关性，三类指标方向一致时结论才相对可靠。
点击类指标有两类常见偏差。位置偏好让用户更倾向点击靠前结果，即使靠后结果更相关；标题诱导让措辞吸引人的结果获得更多点击，与内容质量无关。降低偏差的办法包括固定抽检样本、对同一查询比较不同排序下的点击，以及把抽检相关性作为独立证据。
样本量和时间窗直接影响结论稳定性。周级指标受单次活动或内容发布影响较大，跨多周观察趋势更稳妥；抽样判定要报告样本量和判定一致性，样本不足时明确写“仅作参考”。改版后立即取数容易受用户适应期影响，通常留出一段观察期再对比。
最后要区分检索效果与知识使用效果。检索指标衡量的是用户能否找到并点到内容，知识是否被真正使用、是否解决了业务问题，需要结合文档阅读完成度、引用记录或后续提问变化来判断。检索效果改善是知识可复用的前提之一，但不能直接等同于业务收益。
评估过程中产生的查询样本、口径说明、计算记录和结论，需要在知识库中留存并与改版工作项关联，便于下一轮复算时追溯。ONES 提供 Wiki 页面、附件等统一知识上下文与全局知识检索，评估记录可以作为文档沉淀在知识库中，并通过工作项跟踪改版动作与结论的对应关系；具体检索日志导出与指标统计能力以实际产品版本为准。
常见问题
检索成功率上升，是否说明检索效果变好了？
不一定。检索成功率只统计结果数大于零的查询占比，不判断结果是否相关。查询改写把不相关的结果也返回时，成功率同样会上升。判断检索效果需要把检索成功率与首次点击命中率、排序合理性抽检通过率放在一起看，三类指标方向一致时结论才相对可靠。
首次点击命中率的人工判定标准怎么定，才能让不同人复算结果一致？
判定标准要在取数前写成文档，明确“相关”的判定层级，例如结果直接回答查询、部分相关、不相关，并规定只有第一档计入命中。同时固定抽样分层比例和判定人数，出现分歧时约定复核方式。标准文档与查询样本一起留存，下一轮评估沿用同一版本，否则跨周期数字不可比。
某个入口在统计周期内没有曝光，指标该怎么处理？
分母为零时该指标记为“不适用”，在对比表中留空并注明原因，不写0%，也不参与汇总平均或趋势判断。等该入口产生稳定曝光后，再按同一口径单独计算，不与已有入口的数据合并。
改版后点击率上升但抽检相关性下降，结论应该怎么写？
这种情况通常说明点击行为改善、相关性存疑，可能来自标题或摘要更具吸引力而内容匹配度下降。结论应把排序合理性抽检作为主要证据，写明两项指标方向矛盾，不因点击率上升就判定检索效果提升。同时检查结果页布局是否变化，排除位置偏好带来的干扰。
检索指标改善能否直接说明知识被用起来了？
不能直接等同。检索指标衡量的是用户能否找到并点到内容，知识是否被真正使用、是否解决业务问题，需要结合文档阅读完成度、引用记录或后续提问变化来判断。检索效果改善是知识可复用的前提之一，业务收益需要另设观察口径。
