评估知识库搜索结果的使用情况，关键是把“搜到之后发生了什么”变成可复算的指标：以搜索会话为分母，统计点击率、有效使用率、结果采纳率与二次搜索率，再配合搜索成功率、无结果率一起解读。本文给出一套可直接用于检索运营复盘的口径定义、计算步骤和示例，并说明指标解读的边界。
要点总览（TL;DR）
- 评估结果使用情况，以搜索会话为主分母，统计点击率、有效使用率、结果采纳率与二次搜索率，再与搜索成功率、无结果率交叉解读。
- 先固定会话切分、有效动作定义和动作时间窗，再按会话聚合事件计算，保证不同周期数据可复算、可比较。
- 把成功率、无结果率与有效使用率放在一起看，可区分“搜不到”“搜到不用”“用了没解决”三类问题，分别对应补内容、调排序、重写文档。
- 点击率高不代表结果有价值，需结合有效使用率和二次搜索率判断；不同内容域与用户角色的指标应分层比较。
- 阈值基于自身基线和改进目标设定，不设通用达标线；改进项登记责任人与验证时间，下周期用同一口径复算。
评估目标：使用情况要回答哪几个问题
“结果使用情况”容易被笼统理解成“搜索效果好不好”。在检索运营复盘里，需要先把它拆成两类不同的问题：一类是检索可用性，即用户能不能搜到相关内容；另一类是结果使用，即搜到之后是否被打开、被采纳、是否真正解决了问题。两类问题对应不同的改进动作，混在一起看，容易把内容缺口误判成排序问题。
评估目标决定了指标选择。如果复盘要决定是否扩充词表，就需要看无结果率和高频查询词的覆盖情况；如果要调整排序，就需要看点击位置分布和二次搜索率；如果要补内容，就需要看有效使用率低但点击率高的查询簇；如果要改进入口引导，就需要看不同入口来源的会话在点击率和有效使用率上的差异。
据此，本次评估可以围绕四个核心问题展开：
- 用户能否搜到结果？对应动作：识别无结果查询，补充内容或同义词。
- 搜到结果后是否被打开和使用？对应动作：优化摘要、标题与排序，提升结果可判断性。
- 使用之后是否解决了问题？对应动作：定位“点了但没解决”的查询簇，补充或重写文档。
- 哪些查询、内容域或用户角色的问题最集中？对应动作：确定下一轮优化的优先级。
这四个问题分别指向可用性、吸引力、有效性和优先级，后续指标定义都从它们派生。
指标与范围：使用情况的核心指标及分母定义
所有使用类指标都以“搜索会话”为主分母。会话切分建议采用统一规则，例如同一用户30分钟无操作即切分为新会话；同一会话内的多次查询合并计算，避免同一用户反复搜索被重复计数。会话口径一旦确定，应在多个统计周期内保持一致，否则环比数据不可比。
下表给出核心指标的定义。表中“有效动作”指点击结果后发生的、能表明结果被实际使用的行为，候选包括打开文档、复制内容、下载附件、引用到工作项、收藏等，具体选哪几种应结合知识库的实际使用场景确定，并在口径文档中固定下来。
| 指标 | 公式 | 分子 | 分母 | 时间窗 | 单位 |
|---|---|---|---|---|---|
| 搜索会话数 | 按会话规则去重计数 | 符合条件的会话 | — | 统计周期内 | 个 |
| 点击率 | 有点击会话数 / 搜索会话数 | 至少点击一次结果的会话 | 搜索会话数 | 统计周期内 | % |
| 有效使用率 | 产生有效动作的会话数 / 搜索会话数 | 至少发生一次有效动作的会话 | 搜索会话数 | 点击后同一会话内，建议设30分钟动作窗口 | % |
| 结果采纳率 | 被采纳结果数 / 被点击结果数 | 产生有效动作的结果 | 被点击的结果 | 同上 | % |
| 二次搜索率 | 发生二次搜索的会话数 / 搜索会话数 | 同一会话内再次发起查询的会话 | 搜索会话数 | 同一会话内 | % |
| 搜索成功率 | 有结果且有有效动作的会话数 / 搜索会话数 | 有结果且产生有效动作的会话 | 搜索会话数 | 统计周期内 | % |
| 无结果率 | 无结果会话数 / 搜索会话数 | 返回零条结果的会话 | 搜索会话数 | 统计周期内 | % |
口径上还需明确三点。第一，去重维度：会话按用户标识去重，匿名用户可用设备标识或会话标识替代，但匿名与登录用户应分开统计或至少标注占比，避免两类行为混算。第二，缺失值处理：埋点缺失的会话不计入分子，但保留在分母中，并在报告中标注缺失比例；缺失比例过高时，该周期指标只作参考。第三，时间窗：点击后的有效动作窗口建议设为30分钟，超出窗口的动作不计入该次搜索的使用，避免把后续独立使用误归因到搜索。
数据口径与证据：事件采集与可信度校验
指标能否复算，取决于事件采集是否完整、口径是否一致。检索使用情况评估至少需要采集以下事件：查询词、结果曝光（含结果条数与位置）、结果点击、点击后的后续动作、无结果返回、同一会话内的二次搜索。每个事件应带会话标识、用户标识、时间戳、端类型和入口来源，便于后续分组下钻。
常见口径问题有三类，需要在计算前处理：
- 埋点缺失：部分端或旧版本未上报点击后动作，导致有效使用率被低估。处理方式是按端分层统计，缺失严重的端单独标注，不与其他端直接合并比较。
- 跨端不一致：同一用户在不同端的会话标识规则不同，可能把一次连续搜索拆成多个会话。处理方式是统一会话切分规则，或在分析时按端分别计算。
- 机器人流量：爬虫、监控探针产生的查询会抬高会话数、拉低点击率。处理方式是识别高频固定查询词和异常短间隔请求，在计算前剔除并记录剔除量。
定量指标之外，还需要定性证据补充。抽样人工核验是判断“是否真正解决问题”的直接方式：按查询词分层抽取一定数量的会话，回放点击与后续动作，判断用户是否获得了所需信息。抽样应覆盖高频查询、无结果查询和二次搜索集中的查询三类，样本量以每类不少于30个会话为宜，样本过小时只作方向性参考。用户访谈、检索词人工归类和内容负责人反馈可以作为补充证据，用于解释指标异常的原因，例如某类查询无结果率高，是因为业务术语尚未进入词表，还是因为对应文档确实缺失。
建议为每项指标标注证据类型：日志直接计算的指标标为“日志”，需要人工判断的标为“抽样”，来自访谈或反馈的标为“访谈”。报告中同时呈现证据类型，读者才能判断结论的可靠程度。
计算与评估步骤：从原始日志到可解读结论
从原始日志到可解读结论，可以按五步执行，每一步都有明确的产物。
第一步，确定统计周期与对比基线。 统计周期建议与运营节奏一致，例如按周或按月。基线可以选择上一周期（环比）、去年同期（同比），或改版上线前后的两个时间段。选择改版前后对比时，需确认两个时间段内埋点口径一致，否则差异中会混入口径变化。
第二步，按会话聚合事件并计算指标。 先按会话规则切分会话，再在每个会话内标记是否有点击、是否有有效动作、是否有二次搜索、是否无结果，最后按上表公式汇总。计算时应保留分子和分母的原始计数，便于复核。
第三步，按维度分组下钻。 常用分组维度包括查询词或查询簇、内容域、用户角色、入口来源和端类型。分组后观察哪些组的有效使用率明显偏低、无结果率明显偏高，从而把整体指标落到具体对象上。
第四步，交叉分析定位问题类型。 把搜索成功率、无结果率与有效使用率放在一起看，可以区分三类问题：
| 问题类型 | 指标特征 | 对应动作 |
|---|---|---|
| 搜不到 | 无结果率高，搜索成功率低 | 补充内容、扩充同义词与业务术语 |
| 搜到不用 | 无结果率正常，点击率低 | 优化结果标题、摘要与排序 |
| 用了没解决 | 点击率正常或偏高，有效使用率低，二次搜索率高 | 重写或补充文档，检查内容与查询意图的匹配度 |
第五步，抽样核验并形成结论。 对指标异常的查询簇做会话回放，确认问题判断是否成立，再把结论转化为具体的改进项，例如补充某类术语、调整某内容域的排序权重、重写某几篇高频文档。改进项应写明责任人和验证时间，下一周期用同一口径复算，观察指标是否变化。
在检索运营复盘的实际执行中，改进项往往分散在内容、产品和运营多个角色手里。可以用 ONES 工作项登记每个改进项，关联对应的查询簇、指标基线和验证时间，把“发现问题—分配改进—下周期复算”串成一条可跟踪的流程，避免复盘结论停留在文档里。
例子：一次检索运营复盘的计算演示
以下为一组假设数据，仅用于演示公式与解读方式。某月知识库共记录搜索会话 10,000 个，其中有点击的会话 6,200 个，产生有效动作的会话 4,300 个，无结果会话 900 个，发生二次搜索的会话 2,100 个，被点击结果共 9,500 条，其中产生有效动作的结果 5,700 条。
| 指标 | 计算 | 结果 |
|---|---|---|
| 点击率 | 6,200 / 10,000 | 62.0% |
| 有效使用率 | 4,300 / 10,000 | 43.0% |
| 结果采纳率 | 5,700 / 9,500 | 60.0% |
| 二次搜索率 | 2,100 / 10,000 | 21.0% |
| 无结果率 | 900 / 10,000 | 9.0% |
| 搜索成功率 | 4,300 / 10,000 | 43.0% |
解读这组数据：点击率62%说明多数会话至少打开了一条结果，结果具备基本吸引力；有效使用率43%与搜索成功率一致，说明点击之后真正产生使用动作的比例不高；二次搜索率21%偏高，提示相当一部分用户在第一次搜索后没有获得满意结果。结合无结果率9%，可以初步判断：无结果只解释了部分未解决会话，更多问题出在“搜到但没用起来”或“用了没解决”，需要进一步按查询簇下钻，重点看点击率高但有效使用率低的查询。
边界情况的处理同样重要。若某查询簇只有20个会话，即使有效使用率为0，也不宜直接判定该簇有问题，应合并到上级查询簇或延长统计周期。若某内容域无结果会话数为0，无结果率为0，但该域会话总数也为0，则该指标无意义，应标注“无样本”而非“表现良好”。分母为零时统一标注为“—”，不参与排名和对比。
解读与限制：指标能说明什么、不能说明什么
单看点击率容易得出错误结论。点击率高可能说明结果标题吸引人，也可能说明用户只能靠逐个打开来确认内容是否相关；如果同时有效使用率低、二次搜索率高，更可能是后者。判断结果价值，需要把点击率、有效使用率、结果采纳率和二次搜索率放在一起看，任何单一指标都不足以支撑结论。
无结果率低也不等于内容齐全。用户可能在多次无果后放弃搜索，转而通过目录浏览或直接询问同事，这类行为不会进入搜索日志。因此无结果率应结合搜索会话总量和入口来源一起看：如果某段时间搜索会话总量明显下降，而无结果率同时下降，需要确认是内容改善还是用户流失。
不同内容域、不同用户角色的指标不宜直接横向比较。研发文档与制度流程的查询意图、结果形态和使用动作不同，有效使用率的基线天然存在差异。比较应在同类对象之间进行，或先按角色、内容域分层，再在层内比较。
样本量、埋点覆盖和同期其他因素都会影响结论。改版上线、入口位置调整、组织架构变化都可能在同期发生，指标变化不能直接归因于检索优化。建议在报告中列出同期发生的其他变更，并在结论中说明可能的干扰因素。
阈值设定应基于自身基线和改进目标，不设通用达标线。可行的做法是：先取过去若干周期的指标分布，确定当前基线；再结合业务目标设定改进幅度，例如下一周期将某查询簇的有效使用率提升若干个百分点；最后在复算时用同一口径验证。阈值的作用是判断改进是否发生，而非给团队排名。
常见问题
知识库刚上线、历史数据不足时，怎么评估搜索结果使用情况？
历史数据不足时，先建立口径再积累数据。可以先用较短周期（如两周）跑通会话切分和事件采集，确认点击、有效动作、无结果、二次搜索等事件能稳定上报，再开始正式统计。初期指标只作方向性参考，重点看异常查询簇，例如无结果集中的查询词，而不是急着和外部基准比较。等积累三到四个周期后，再设定基线和改进目标。
有效动作应该选哪几种行为？选多了会不会虚高？
有效动作的选择取决于知识库的实际使用方式。打开文档、复制内容、下载附件、引用到工作项、收藏都可以作为候选，但应选那些能表明结果被实际使用的行为。选得过多确实可能虚高，例如把“打开文档”单独作为有效动作，在文档篇幅长、打开后很快关闭的场景下会高估使用率。可行的做法是：先列出候选动作，用抽样会话回放验证每种动作与“解决问题”的关联程度，再固定两到三种关联较强的动作写入口径文档，并在多个周期内保持一致。
无结果率很低，但用户反馈搜不到东西，怎么解释？
这种情况通常说明用户已经减少了搜索行为。用户多次无果后可能转向目录浏览或直接询问同事，这些行为不进入搜索日志，无结果率因此显得很低。可以结合搜索会话总量的变化判断：如果会话总量同期明显下降，而无结果率也下降，需要确认是内容改善还是用户放弃搜索。补充手段包括查看目录浏览量和入口点击分布，或对高频提问用户做访谈，确认他们当前的查找路径。
不同部门的知识库指标可以直接放在一起排名吗？
不建议直接排名。研发文档与制度流程的查询意图、结果形态和使用动作不同，有效使用率的基线天然存在差异。直接横比容易把内容类型差异误判为部门表现差异。可行的做法是先按内容域或用户角色分层，在层内比较；跨层比较时只作为参考，并注明分层依据。如果确实需要跨部门对比，应使用同一口径、同一时间窗，并同时呈现各层的基线水平。
复盘发现的改进项怎么跟踪，才能在下个周期验证效果？
改进项需要写明三件事：对应的查询簇或内容域、当前指标基线、计划验证的时间。登记之后分配到具体责任人，下个周期用同一口径复算同一查询簇的指标，观察是否变化。可以用 ONES 工作项登记这些改进项，关联查询簇、指标基线和验证时间，把发现问题、分配改进、下周期复算串成可跟踪的流程，避免复盘结论停留在文档里。
