衡量知识查找体验和导航发现效果，需要把“找得到”“逛得到”“改得动”拆成三层口径：查找体验看有明确目标时能否快速找到并确认结果，导航发现看没有明确关键词时能否通过目录、标签和关联内容发现内容，搜索结果优化看改动前后是否出现可比变化。三层应共用同一批查询集与时间窗，指标要固定分子、分母和排除项，并配合任务式走查作为定性证据，单指标变化不能直接当作体验改善的结论。
要点总览（TL;DR）
- 衡量知识查找与导航发现效果要分三层：查找体验看有目标时能否快速找到并确认结果，导航发现看无明确关键词时能否通过目录、标签、关联内容发现知识，结果优化看改动前后是否出现可比变化。
- 指标必须写清分子、分母、时间窗与排除项，例如检索成功率＝有有效点击或采纳的搜索次数÷有效搜索次数，零结果率、二次改写率、首次命中率同理，导航发现类则看导航入口访问占比与发现型访问占比。
- 前后对照的关键是固定查询集：从真实日志分层抽样一批代表性查询，改动前后用同一批查询执行，并核对查询集构成与访问来源结构是否变化。
- 定性证据用任务式走查补充，记录是否找到、耗时与路径，通过标准相对基线设定；指标改善与走查证据一致时才可判断改动有效。
- 单指标变化不构成因果保证，点击率高也可能来自结果少；指标宜用于改进方向判断，不宜直接作为个人绩效考核依据。
先明确要评估什么：查找体验、导航发现与结果优化
知识查找体验的评估容易混在一起：有人看搜索框的点击量，有人看知识库的访问量，有人看某次改版后的满意度反馈。这些数据回答的是不同问题，放在一起比较会得出互相矛盾的结论。开始计算之前，先把评估对象分成三类，每类对应一个明确的问题。
| 评估对象 | 要回答的问题 | 典型场景 | 主要证据类型 |
|---|---|---|---|
| 查找体验 | 用户有明确目标时，能否快速找到并确认结果 | 输入产品名、流程名、故障现象等关键词后检索 | 搜索日志、点击与采纳记录、任务式走查 |
| 导航发现 | 用户没有明确关键词时，能否通过目录、标签、关联内容发现所需知识 | 浏览空间目录、按标签筛选、从相关文档跳转 | 导航入口访问记录、访问路径、走查观察 |
| 搜索结果优化 | 一次搜索或导航改动前后，是否出现可比的变化 | 调整排序、补充同义词、重构目录或标签 | 固定查询集前后对照、指标快照 |
三类对象共用同一套查询集与时间窗，结论才能互相对照。例如搜索排序调整后，检索成功率上升，同时导航入口访问占比下降，这可能说明用户从“逛目录”转向“直接搜”，属于路径迁移而非体验退化；如果两套口径的时间窗和统计范围不同，就无法做这种判断。评估范围应限定在具体的知识空间和角色群体内，避免把一次局部改动的效果写成整体知识管理水平的结论。
指标与范围：分子、分母、时间窗怎么定
可复算的指标需要写清四件事：分子是什么、分母是什么、统计多长时间、排除哪些记录。以下定义以“有效搜索次数”为共同分母，便于横向比较。
| 指标 | 公式 | 分子 | 分母 | 单位 | 时间窗 | 排除项 |
|---|---|---|---|---|---|---|
| 检索成功率 | 有有效点击或采纳的搜索次数 ÷ 有效搜索次数 | 结果被点击、打开或标记为有用的搜索次数 | 有效搜索次数 | 百分比 | 按周或按月 | 测试账号、爬虫、重复提交 |
| 首次命中率 | 首个结果被点击或采纳的搜索次数 ÷ 有效搜索次数 | 用户点击或采纳了排名第一结果的搜索次数 | 有效搜索次数 | 百分比 | 按周或按月 | 同上 |
| 二次改写率 | 同一会话内改写关键词再次搜索的次数 ÷ 有效搜索次数 | 同一会话中发生关键词改写的搜索次数 | 有效搜索次数 | 百分比 | 按周或按月 | 同上，另排除会话超时后的新会话 |
| 零结果率 | 返回空结果的搜索次数 ÷ 有效搜索次数 | 结果列表为空的搜索次数 | 有效搜索次数 | 百分比 | 按周或按月 | 同上 |
| 导航入口访问占比 | 从目录、标签、首页导航进入内容的访问次数 ÷ 内容访问总次数 | 经导航入口进入内容的访问次数 | 内容访问总次数 | 百分比 | 按周或按月 | 测试账号、爬虫、直接链接分享打开 |
| 发现型访问占比 | 无搜索直接进入内容的访问次数 ÷ 内容访问总次数 | 未经过搜索、直接经目录或关联跳转进入内容的访问次数 | 内容访问总次数 | 百分比 | 按周或按月 | 同上 |
“有效搜索”需要单独定义，通常指用户提交了非空关键词、且系统返回了结果列表的搜索行为；同一用户短时间内重复提交相同关键词，只计一次。统计范围要写明覆盖哪些知识空间、哪些角色，是否包含外部访客；范围一旦变化，前后数据就不可比。时间窗建议与业务节奏对齐，按周观察波动、按月做正式对照，避免用单日数据判断趋势。
导航发现类指标还需要一个补充口径：零结果后的路径转化。用户搜索无结果后，是转向目录浏览、联系他人，还是直接离开，这决定了零结果对发现体验的实际影响。该指标可以按“零结果后 10 分钟内是否发生导航入口访问或内容打开”来统计，分子分母与上表保持同一时间窗。
数据口径与证据：定量日志加定性走查
定量数据主要来自三类记录：搜索日志（关键词、时间、结果数量、是否点击）、点击与采纳记录（打开了哪条结果、是否标记有用或引用到文档）、导航入口访问记录（从哪个目录、标签或关联位置进入内容）。导出前先确认字段是否齐全，缺少“是否点击首条结果”这类字段时，首次命中率就无法计算，应改用可获得的替代指标并注明口径差异。
固定查询集是保证前后可比的关键。从真实日志中按频次和类型分层抽样一批代表性查询，例如高频业务词、低频长尾词、曾出现零结果的查询各取若干条，形成一份带编号的查询清单。改动前后都用这同一批查询执行，记录结果数量、首条结果是否相关、是否零结果。查询集本身要版本化管理，新增查询时保留旧版本，避免前后对照时清单已经变化。
定性证据采用任务式走查：给参与者一个查找任务，例如“找到某类故障的处理步骤”，记录是否找到、耗时、经过的路径（搜索、目录、标签或关联跳转）、是否发生二次改写。走查记录模板可包含以下字段：
- 任务编号与任务描述
- 参与者角色与使用经验
- 是否完成、耗时（秒）
- 实际路径：搜索关键词、点击的目录或标签、跳转的关联内容
- 遇到的障碍与主观说明
通过标准相对基线设定，例如任务完成率不低于基线、平均耗时较基线下降，且走查记录可由第二人复核。数据缺失或统计范围发生变化时，在评估记录中标注“不可比”，并说明原因，不用估算值填补。
计算与评估步骤：从基线到复评
评估按固定顺序执行，保证前后数据在同一口径下比较。
- 确定评估范围与时间窗：写明知识空间、角色、起止日期，导出基线期数据。
- 按指标定义计算基线值，同时记录分母规模。分母过小（例如一周有效搜索不足百次）时，指标波动大，应延长窗口或扩大范围后再计算。
- 实施搜索或导航改动，记录改动内容与上线时间，避免复评期混入其他变更。
- 在相同范围与相同长度的时间窗内复算全部指标，形成基线/复评对照表。
- 对变化做抽样走查验证，并核对查询集构成、访问来源结构是否发生变化，排除流量结构变化带来的干扰。
| 指标 | 基线值 | 复评值 | 变化 | 分母规模 | 备注 |
|---|---|---|---|---|---|
| 检索成功率 | 62.0% | 66.7% | +4.7 个百分点 | 10000 / 10500 | 查询集构成已核对 |
| 零结果率 | 9.0% | 6.0% | -3.0 个百分点 | 同上 | — |
| 二次改写率 | 18.0% | 14.0% | -4.0 个百分点 | 同上 | — |
分母为零或样本过小时标注“不计算”，不用零值参与比较；延长窗口或扩大统计范围后重新评估，并在对照表中保留原始记录，便于复评时追溯。
一个算例：搜索改版前后的对照
假设某知识空间在改版前一个月内有效搜索 10000 次，其中检索成功 6200 次，检索成功率为 6200 ÷ 10000 = 62%。改版后一个月有效搜索 10500 次，检索成功 7000 次，成功率为 7000 ÷ 10500 ≈ 66.7%，较基线上升约 4.7 个百分点。
同一时期，零结果率从 9% 降到 6%，即零结果搜索次数从约 900 次降到约 630 次；二次改写率从 18% 降到 14%，即改写次数从约 1800 次降到约 1470 次。三项指标方向一致，说明用户更少遇到空结果、更少反复改写关键词。
解读前还要核对查询集构成：如果复评期新增了大量高频简单查询，成功率上升可能来自查询变简单，而非检索质量提升。做法是用固定查询集单独跑一遍前后对照，比较同一批查询的结果数量与首条结果相关性；同时查看走查记录中任务完成率与耗时是否同步改善。指标改善幅度与走查证据一致时，才可以判断改版有效；两者不一致时，优先排查数据口径和流量结构，暂不下结论。
解读与限制：哪些结论不能下
指标能指出改进方向，但不能单独证明因果。以下情形需要特别谨慎：
- 点击率高可能来自结果数量少、用户别无选择，需结合零结果率与走查记录判断结果是否真的相关。
- 检索成功率受查询集构成影响，前后查询集不可比时，成功率变化可能只是查询难度变化。
- 导航发现类指标受内容新增、目录调整、分享链接等多种因素影响，难以直接归因于某一次改动。
- 单指标变化不构成因果保证，需要多指标与定性证据交叉验证，才能形成较可靠的判断。
- 指标适合用于判断改进方向和验证改动效果，不宜直接作为个人绩效考核依据，否则容易诱发只优化指标数字的行为。
当指标之间出现矛盾时，例如检索成功率上升但走查耗时没有下降，应回到原始日志和走查记录查找原因，而不是挑选有利指标作为结论。评估记录中保留基线值、复评值、分母规模与不可比说明，后续复评才有可追溯的依据。
把评估口径落到知识库日常运营
评估口径只有写进日常运营动作，才能持续发挥作用。建议把指标定义、固定查询集和走查模板整理成一份知识库运营文档，随口径调整做版本化更新，并在文档中注明每版适用的时间范围。每次评估结束后，把发现的零结果查询、低点击结果和走查障碍转为待办事项，进入工作项跟踪，明确责任人与复评时间。
走查记录、指标快照与改进项需要在同一空间内关联，复评时才能从改进项直接追溯到当初的证据。ONES 提供 Wiki 知识库管理与项目管理的组合，可将评估口径文档、走查记录存放在知识空间，把改进项作为工作项跟踪状态与负责人；ONES Assistant 支持在 Wiki 页面、附件等知识上下文中进行全局知识检索与页面问答，便于评估人员按固定查询集核对内容是否可被找到。具体的数据统计与导出方式需结合组织实际配置确认，评估口径本身不依赖某一工具。
复评节奏建议与改动节奏绑定：每次搜索或导航调整上线后，在约定时间窗内完成一次复评，并约定责任人在评估记录上签字确认。口径文档、查询集版本与改进项状态保持一致，评估结论才能在下一次改动时继续作为可比基线使用。
常见问题
有效搜索次数怎么界定，重复搜索要不要去重？
有效搜索通常指用户提交了非空关键词、且系统返回了结果列表的搜索行为。同一用户短时间内重复提交相同关键词，只计一次，否则高频重试会放大分母、压低成功率。会话超时后重新发起的搜索按新会话计算，二次改写率统计的是同一会话内的关键词改写。统计范围要写明覆盖哪些知识空间、哪些角色、是否包含外部访客，范围一旦变化，前后数据就不可比。
一周的有效搜索只有几十次，指标还能用吗？
样本过小时指标波动很大，单周数据不足以判断趋势。处理方式有两种：延长统计窗口，例如从按周改为按月；或扩大统计范围，把更多知识空间或角色纳入评估。分母为零时标注“不计算”，不用零值参与比较，并在对照表中保留原始记录。延长窗口后重新计算基线值与复评值，两者窗口长度保持一致，结论才有可比性。
没有明确关键词的浏览行为，怎么判断是有效发现？
导航发现类指标关注路径而非关键词：导航入口访问占比看用户是否从目录、标签、首页导航进入内容，发现型访问占比看用户是否未经搜索直接经目录或关联跳转打开内容。还可以补充零结果后的路径转化，例如统计零结果后 10 分钟内是否发生导航入口访问或内容打开，用来判断空结果对发现体验的实际影响。这些指标受内容新增、目录调整、分享链接等多种因素影响，适合观察趋势，难以直接归因于某一次改动。
指标改善了，但走查中用户仍说找不到，该信哪个？
两者不一致时，先排查数据口径：查询集构成是否变化、统计范围是否调整、排除项是否一致。如果口径没有问题，再看走查记录中的具体障碍，例如用户使用的关键词与文档用词不一致、首条结果相关但内容过时。指标反映的是整体趋势，走查反映的是具体任务中的卡点，两者结合才能定位问题。此时不宜直接宣布改动有效，应把障碍转为改进项，在下一轮复评中验证。
这套评估口径需要什么工具支撑，能否手工执行？
评估口径本身不依赖特定工具，核心是搜索日志、点击与采纳记录、导航入口访问记录三类数据，以及一份版本化的固定查询集和走查记录模板。工具的作用在于让证据可追溯：把口径文档、查询集版本、指标快照与改进项放在同一空间关联，复评时能从改进项直接回到当初的证据。ONES 提供 Wiki 知识库管理与项目管理的组合，可将评估文档与走查记录存放在知识空间，把改进项作为工作项跟踪状态与负责人；ONES Assistant 支持在 Wiki 页面、附件等知识上下文中进行全局知识检索与页面问答，便于按固定查询集核对内容是否可被找到。具体的数据统计与导出方式需结合组织实际配置确认。
