用无结果率与零点击率评估知识搜不到问题

要判断“知识搜不到”有多严重,可以先把搜索行为拆成两个可复算的指标:搜索无结果率反映知识覆盖缺口,零点击率反映结果相关性或呈现问题;再结合同一会话内的补充查询次数,识别连续失败。本文给出公式、日志口径、计算步骤、分级方法和一个可复算的月度示例,并说明这些指标的解释边界。



要点总览(TL;DR)


  • 把“知识搜不到”拆成两个独立指标:搜索无结果率=无结果搜索次数÷有效搜索次数,零点击率=有结果但未点击的搜索次数÷有结果搜索次数,两者分母不同,不能相加。
  • 无结果率偏高指向知识覆盖缺口,零点击率偏高指向结果排序、标题摘要或权限呈现问题;再结合同一会话内的补充查询次数识别连续失败。
  • 严重程度按指标水平、影响面和持续时长三个维度分级,阈值以自身历史基线为准,不设通用达标线。
  • 改善验证用同一口径做前后等长周期对比,并按查询类型、业务域、入口分组观察,目标分组下降而其他分组稳定时改善信号较强。
  • 指标下降不等于内容改善,需排除入口变化、页面改版、词表调整和埋点缺失等干扰因素。


评估目标:把“搜不到”拆成可回答的问题


评估对象是知识库搜索行为日志,也就是用户在知识库或文档平台里输入查询词、看到结果列表、决定是否点击这一完整过程。评估要回答三个问题:缺口有多大、问题出在哪一层、改善是否真实发生。三个问题对应不同的分析动作,不能用一个总数代替。


“缺口有多大”看无结果搜索的规模。用户输入查询词后系统返回零条结果,说明知识库中可能没有对应内容,也可能有内容但没被检索到。这类搜索直接中断了信息查找,是覆盖层面的信号。


“问题出在哪一层”需要把无结果和有结果但未点击分开。有结果却没人点击,问题往往在结果排序、标题摘要、权限可见性或查询词与内容的表述差异上。两层问题对应不同的修复动作:前者补内容或补同义词,后者调排序、改标题、优化摘要。


“改善是否真实发生”要求用同一口径做前后对比,并按查询类型、业务域、入口分组观察。整体指标下降可能只是某个高频查询类型变化带来的,分组后才能确认改善发生在预期位置。评估结果用于定位内容缺口和验证治理动作,不宜直接作为个人绩效依据,否则用户可能减少搜索或改变点击行为,导致数据失真。



指标与范围:无结果率、零点击率与补充查询次数


三个指标各有独立的分子分母,分开统计才能互相印证。下表给出定义、公式和单位,统计周期建议按周或按月,单位统一为“次”和“百分比”。


指标 公式 分子 分母 单位
搜索无结果率 无结果搜索次数 ÷ 有效搜索次数 返回结果数为 0 的搜索次数 有效搜索次数(排除空查询、测试账号、爬虫、重复提交) 百分比
零点击率 有结果但未点击的搜索次数 ÷ 有结果搜索次数 结果数大于 0 且会话内未点击任何结果的搜索次数 有结果搜索次数 百分比
用户补充查询次数 同一会话内上一次搜索后限定时间窗内再次发起查询的次数 满足条件的后续查询次数 不适用(计数指标) 次/会话

无结果率的分母是有效搜索次数,不是全部请求数。空查询、测试账号、爬虫流量和短时间内重复提交同一查询都应排除,否则分母被稀释,指标偏低。零点击率的分母只含有结果的搜索,与无结果率不共用分母,两个指标相加也不等于 100%。


补充查询次数按会话统计:同一用户在限定时间窗内(例如 5 分钟)于上一次搜索后再次发起查询,计为一次补充查询。它用来识别“搜了没找到、换个词再搜”的连续失败。统计时可按会话汇总补充查询次数,再计算人均或会话均值,并与无结果率、零点击率交叉观察。


范围上建议按查询类型分组,例如产品文档、流程制度、故障排查、项目资料;也可按业务域和搜索入口分组。分组维度在评估启动时确定,前后对比保持一致。测试账号、空查询、爬虫和重复提交属于固定排除项,不随周期调整。



数据口径与证据:日志字段和可比性前提


指标能否复算,取决于日志字段是否齐全、判定规则是否统一。每次搜索至少需要记录以下字段:查询词、结果数、是否点击及点击位置、会话标识、用户标识、搜索时间、搜索入口、查询类型标签。缺少会话标识就无法统计补充查询,缺少结果数就无法区分无结果与零点击。


判定规则要写成明确约定。无结果指结果数等于 0;零点击指结果数大于 0 且该次搜索在会话内没有产生任何结果点击。点击以结果链接的实际打开为准,预览悬浮不计入点击。同一查询在短时间内重复提交,只保留首次,避免用户反复刷新抬高分母。


缺失值和埋点不全需要单独处理。结果数字段缺失的搜索无法判定归属,建议单列为“不可判定”并披露占比,不并入分子或分母。点击埋点缺失的周期,零点击率不具备可比性,应暂停该周期的前后对比,先补齐埋点再计算。用户标识缺失时,补充查询只能按会话粗略统计,需在结论中注明口径差异。


前后对比需要保持稳定条件:查询类型词表和分组规则不变、搜索入口范围不变、统计周期长度一致、排除项一致。如果期间新增了搜索入口或调整了结果页布局,应在对比说明中标注,并把变化前后的数据分段呈现,避免把入口扩张带来的查询量变化误读为内容改善。



计算与评估步骤:从统计到严重程度分级


计算按固定顺序推进,每一步产出可复核的中间结果。第一步,按统计周期汇总有效搜索次数、无结果搜索次数、有结果搜索次数和有结果未点击次数,代入公式得到两个比率。第二步,按查询类型、业务域、入口分别计算,观察哪个分组的指标明显高于整体。第三步,统计同一会话内的补充查询次数,重点看无结果搜索之后是否紧跟补充查询,这类会话是连续失败的强信号。


严重程度分级综合三个维度,不设通用达标线。指标水平与自身历史基线比较,例如连续三个周期高于基线一定幅度;影响面看受影响查询量占总查询量的比例,或受影响用户数;持续时长看指标高于基线已持续多少个周期。三个维度都高的分组优先处理,指标高但影响面小的分组可以排后。


分级可参考以下规则,阈值需结合自身基线确定:


  • 高:无结果率或零点击率连续三个周期高于基线,且该分组查询量占比不低于 10%,同时伴随补充查询次数上升。
  • 中:指标高于基线但持续不足三个周期,或影响面在 5% 至 10% 之间。
  • 低:指标接近基线,或影响面低于 5% 且无补充查询上升迹象。

分母为零时不做比率计算。某分组在统计周期内没有有效搜索,无结果率记为“不适用”,不写 0%;有结果搜索次数为零时,零点击率同样记为“不适用”。汇总层面若有效搜索次数过少,比率波动大,应延长统计窗口或合并相邻周期,并在报告中说明样本量。


改善验证沿用同一口径:选取治理动作前后的等长周期,比较整体和分组的无结果率、零点击率、补充查询次数变化。若目标分组指标下降而其他分组基本稳定,改善信号较强;若所有分组同步下降,需排查是否由入口、词表或埋点变化引起。



例子:一次月度评估的完整演算


以下为演示数据,用于说明计算过程,不代表任何真实组织。某月知识库有效搜索 20,000 次,其中无结果搜索 1,600 次;有结果搜索 18,400 次,其中有结果未点击 5,520 次。代入公式:无结果率 = 1,600 ÷ 20,000 = 8.0%;零点击率 = 5,520 ÷ 18,400 = 30.0%。


按查询类型分组后,结果如下表。故障排查类的无结果率明显偏高,流程制度类的零点击率偏高,两类问题指向不同层。


查询类型 有效搜索次数 无结果率 零点击率 会话平均补充查询次数
产品文档 9,000 4.0% 22.0% 0.6
流程制度 5,000 6.0% 41.0% 1.1
故障排查 4,000 18.0% 28.0% 1.8
项目资料 2,000 5.0% 25.0% 0.7

故障排查类无结果率 18%,查询量占比 20%,会话平均补充查询 1.8 次,说明用户搜不到后会连续换词重试,属于覆盖缺口且影响面较大,可判为高优先级。流程制度类零点击率 41%,补充查询 1.1 次,问题更可能出在结果排序或标题摘要与查询意图不匹配,属于相关性与呈现层,可判为中高优先级。产品文档类指标接近整体水平,暂列观察。


假设下月针对故障排查补充了 60 篇排障文档并配置同义词,同口径复算:故障排查类有效搜索 4,200 次,无结果率降至 9.0%,会话平均补充查询降至 0.9 次;其他分组指标基本持平。目标分组下降、非目标分组稳定,改善信号成立。若同期还上线了新搜索入口,则需在结论中注明入口变化的影响,不能把全部下降归因于内容补充。


评估结论落到内容治理时,需要把缺口转成可跟踪的工作项:列出高频无结果查询词、对应缺失主题、责任人和补充期限,补充完成后进入评审再发布。ONES Wiki 可用于承载知识条目与评审记录,ONES Project 可把补充任务作为工作项跟踪状态,ONES Assistant 支持在 Wiki 页面、附件等统一知识上下文中进行全局知识检索,便于补充后复核检索效果;具体统计报表与日志字段口径需以实际部署和产品资料为准。



解读与限制:指标能说明什么、不能说明什么


无结果率高不等于知识一定缺失。常见原因是查询词与文档用词不一致、缺少同义词配置、分词或索引未覆盖附件内容。此时补同义词或调整索引比新增文档更有效。判断方法是抽取高频无结果查询词,人工核对库内是否已有对应内容,再决定补内容还是补词表。


零点击率高可能来自结果排序靠后、标题摘要无法判断相关性、权限限制导致结果不可见,也可能是用户已从摘要中获得答案而无需点击。解读时应结合点击位置分布和摘要展示情况,不能直接归因为内容质量差。


指标下降与内容改善之间需要谨慎归因。搜索行为受入口变化、页面改版、用户构成和季节因素影响,单看比率下降不能证明是内容治理的功劳。较稳妥的做法是保留治理记录,选取未受治理影响的分组作为对照,并检查同期是否有其他变更。


阈值应按自身基线和业务影响确定,不设通用达标线。不同知识库的内容规模、用户习惯和查询结构差异很大,8% 的无结果率在一个库可能正常,在另一个库可能已属严重。建议先积累两到三个周期的基线数据,再结合影响面和持续时长设定分级阈值,并定期复核。



常见问题


无结果率和零点击率能不能加总成一个“搜不到率”?


不建议加总。两个指标的分母不同:无结果率的分母是有效搜索次数,零点击率的分母只含有结果的搜索次数,两者相加没有明确含义,也不会等于 100%。


更稳妥的做法是并列呈现两个比率,再按查询类型分组观察。如果某个分组无结果率高,优先查覆盖缺口;如果零点击率高,优先查排序、标题摘要和权限可见性。两个指标同时偏高时,说明该分组既有内容缺口,也有结果呈现问题,需要分别处理。


统计周期内有效搜索次数很少,比率波动很大怎么办?


样本量过小时,比率容易被个别查询拉偏。可以延长统计窗口,例如把周统计改为月统计,或合并相邻周期;也可以把查询量过少的分组合并到上级分类再计算。


报告中应同时披露分子、分母和样本量,分母为零时记为“不适用”,不写 0%。如果某个分组长期样本不足,建议只做定性观察,不参与严重程度分级,避免因小样本得出过度结论。


补充查询次数怎么判定才算一次连续失败?


通常按会话统计:同一用户在上一次搜索后限定时间窗内(例如 5 分钟)再次发起查询,计为一次补充查询。时间窗需要在评估启动时确定,前后对比保持一致。


补充查询次数本身只说明用户换了词继续搜,是否属于连续失败要结合前一次搜索的结果状态看。前一次无结果、紧接着补充查询,是较强的失败信号;前一次有结果但未点击、随后换词,更可能指向结果不相关。用户标识缺失时只能按会话粗略统计,需在结论中注明口径差异。


治理后指标下降了,怎么确认是内容改善带来的?


先确认对比口径一致:查询类型词表、搜索入口范围、统计周期长度和排除项都没有变化。然后看分组变化结构,目标分组指标下降、未受治理影响的分组基本稳定,改善信号较强。


同期如果上线了新搜索入口、调整了结果页布局或修改了埋点,需要把变化前后的数据分段呈现,并在结论中标注。保留内容补充记录和评审记录,与指标变化一并解读,比单看比率下降更可靠。


评估结果能不能直接用于考核搜索使用情况或内容负责人?


不建议直接挂钩个人绩效。指标一旦与考核绑定,用户可能减少搜索、改变点击习惯,内容负责人也可能倾向于堆砌文档数量,导致数据失真。


更合适的定位是定位内容缺口和验证治理动作:把高频无结果查询词转成待补充主题,明确责任人和期限,补充后进入评审再发布。评估结论用于排优先级和复盘,考核另设与内容质量、评审通过率相关的口径。