用户补充查询次数如何衡量知识搜不到问题的改善效果

用户补充查询次数衡量的是首次检索没有满足需求后,用户在同一会话里继续改写或追加查询的行为。用它评估知识搜不到问题的改善效果,需要把补充查询次数与搜索无结果率、零点击率、会话解决标记放在一起读:追问减少且后三项没有变差,才能说明检索结果更贴近用户需求;追问减少但无结果率上升,更可能是用户放弃了搜索。



要点总览(TL;DR)


  • 补充查询次数按会话统计:同一会话中上一次搜索之后追加的查询次数之和,除以会话数得到人均补充查询次数,同时可算补充查询会话占比。
  • 改善判定用组合条件:补充查询次数与补充查询会话占比下降,搜索无结果率、零点击率没有变差,会话解决标记率没有下降。
  • 单看补充查询次数会误判,用户搜不到后直接离开也会让追问减少,需结合零点击率、解决标记率和无结果查询词抽样复核。
  • 会话切分阈值、清洗规则和统计范围要在基线与观察期保持一致,否则前后数据不可比。
  • 指标是相关性证据,建议用同一批查询词或分层抽样做前后对照,并连续观察两个以上周期。


评估目标:补充查询次数要回答什么问题


补充查询次数回答的是一个具体问题:用户在第一次搜索之后,是否还需要换词、加词或缩小范围再搜一次。一次搜索就能拿到可用结果,用户通常不会追加查询;连续追问,往往说明首轮结果与需求存在差距。这个指标因此适合用来观察“知识搜不到”这类问题的变化趋势。


评估方向应当设定为:在知识库内容、搜索入口和用户群体基本稳定的前提下,补充查询行为是否减少,同时用户能否更快拿到可用结果。指标服务于检索质量判断,不用于评价某个人的搜索习惯,也不宜直接作为团队绩效考核依据,否则容易诱导人为减少查询次数而掩盖真实问题。


单独看补充查询次数会产生两类误判。一类是改善被低估:用户查到了答案但顺手多点开几个页面,追问次数没有明显下降。另一类是改善被高估:知识确实搜不到,用户试了两次就离开,追问次数反而下降。因此评估目标要明确写成组合判断——补充查询次数下降,同时搜索无结果率、零点击率没有变差,会话解决标记率没有下降。



指标与范围:三个指标的定义与统计边界


三个指标需要先固定分子、分母和单位,再谈前后对比。下表给出建议口径,实际使用时把阈值和统计范围写进评估方案,基线与观察期保持一致。


指标 定义与公式 单位 分母与统计边界
补充查询次数 同一会话中,在上一次搜索之后追加的查询次数之和;人均补充查询次数 = 补充查询总次数 / 会话数 次/会话 分母为纳入统计的搜索会话数;会话按固定时间间隔切分
补充查询会话占比 至少发生一次补充查询的会话数 / 搜索会话数 百分比 与补充查询次数使用同一批会话
搜索无结果率 结果条数为零的查询数 / 总查询数 百分比 分母为该时间窗内全部有效查询,含补充查询
零点击率 无点击的搜索结果页会话数 / 有结果的搜索会话数 百分比 分母只含有返回结果的会话,避免与无结果率重复计算

会话切分规则决定补充查询次数的口径。常见做法是:同一用户标识下,相邻两次查询间隔不超过设定阈值(例如 30 分钟)视为同一会话,超过则开启新会话。阈值一旦确定,基线与观察期不得更改,否则前后数据不可比。若产品支持显式“新搜索”入口,也可以按入口行为切分,但同样需要固定。


统计范围要写清四件事:覆盖哪些搜索入口(全局搜索、知识库内搜索、页面内搜索)、覆盖哪些知识库或空间、纳入哪些用户群体(全员或特定部门)、统计的时间窗。范围变化会直接改变分母,例如新开一个知识库会带来大量新查询,补充查询次数随之波动,这类变化不能当作检索质量变化解读。



数据口径与证据:日志字段和采集要求


要复算上述指标,搜索日志至少需要以下字段:会话 ID、用户标识、查询文本、查询时间、结果条数、点击记录(点击了哪条结果、点击时间)、搜索入口标识、知识库或空间标识。会话 ID 可以由系统生成,也可以由用户标识加时间间隔规则推导,两种方式选一种并全程沿用。


  • 缺失值处理:结果条数字段缺失的查询不计入无结果率分子,但要在报告中单列缺失量;缺失比例过高时先修采集,再谈指标。
  • 流量清洗:剔除爬虫、监控探针和内部测试账号的查询,清洗规则在基线与观察期保持一致。
  • 重复查询处理:用户连续提交完全相同的查询词,按一次查询计;改写或追加不同查询词,按补充查询计。
  • 点击判定:以结果页上的有效点击为准,翻页、复制标题等行为是否计入需事先约定,避免零点击率口径漂移。

定量指标之外,还需要两类定性证据。一是无结果查询词抽样:按周抽取一定数量的零结果查询,人工判断属于词表问题、内容缺失还是权限导致不可见。二是用户反馈记录:收集“搜不到”“结果不对”之类的反馈,与日志中的会话对应起来。定性证据用于解释指标变化的原因,不能替代指标本身。


在知识管理工具中,查询词与检索日志的管理可以和知识内容维护放在同一套协作流程里。ONES 提供 Wiki 页面、附件等内容的统一知识上下文与全局知识检索,团队可以把高频无结果查询词整理成待补充的知识条目,在文档空间中指派维护人跟进,让指标发现的问题落到具体的内容补充动作上。检索日志字段的导出方式与报表能力,建议在选型或实施时向厂商确认。



计算与评估步骤:从基线到改善验证


评估按以下步骤执行,每一步的产物都可以被他人复算。


  1. 确定基线期与观察期。基线期取优化上线前连续若干周(例如 4 周),观察期取上线后同等长度的时间窗,两期使用相同的会话阈值、清洗规则和统计范围。
  2. 按会话汇总补充查询次数,输出分布(0 次、1 次、2 次及以上的会话占比)和均值。分布比均值更能反映问题集中度:如果少数会话贡献了大量追问,说明问题集中在特定主题。
  3. 计算同期搜索无结果率与零点击率,与基线对比。两项指标的分母口径必须与基线一致。
  4. 做可比对照。优先取同一批查询词在前后两期的表现;做不到时,按查询主题或用户群体分层抽样,比较同层内的变化,减少查询结构变化带来的干扰。
  5. 设定改善判定条件并规定观察周期。建议写成组合条件:人均补充查询次数下降,补充查询会话占比下降,无结果率与零点击率未上升,会话解决标记率未下降。观察周期覆盖至少两个完整周期,避免单周波动被当成趋势。

判定时区分三种结果:三项指标同向改善,可以认为知识搜不到问题得到缓解;补充查询次数下降但无结果率上升,需要排查是否用户提前放弃;补充查询次数未降但解决标记率上升,说明用户仍在追问,只是最终找到了答案,改善有限。三种情形对应的后续动作不同,不能只报一个“下降”结论。



算例:一次知识库检索优化的前后对比


以下数值为演示情景,用于说明公式与分母的用法,不代表任何真实产品数据。


项目 基线期 观察期
搜索会话数 10,000 10,000
补充查询总次数 6,000 4,500
至少一次补充查询的会话数 4,000 3,000
总查询数 16,000 14,500
零结果查询数 1,600 1,450
有结果的搜索会话数 9,200 9,300
无点击会话数 2,300 2,325

逐项代入公式:基线期人均补充查询次数为 6,000 / 10,000 = 0.60 次/会话,观察期为 4,500 / 10,000 = 0.45 次/会话,下降 25%。补充查询会话占比从 4,000 / 10,000 = 40% 降至 3,000 / 10,000 = 30%。搜索无结果率从 1,600 / 16,000 = 10.0% 降至 1,450 / 14,500 = 10.0%,持平。零点击率从 2,300 / 9,200 = 25.0% 升至 2,325 / 9,300 = 25.0%,同样持平。


这组结果的解读是:追问行为明显减少,无结果率与零点击率没有变差,属于较可信的改善信号,但仍需核对会话解决标记率是否同步上升,以及无结果查询词抽样中是否出现新的高频缺失主题。若观察期无结果率不降反升,例如从 10.0% 升到 12.0%,而补充查询次数下降,则更可能是用户搜不到后直接离开,此时应判定为未改善,先排查内容覆盖与权限配置。


边界情形要单独处理。某分层样本的会话数为零或极少时,不计算比率,只报告绝对次数并标注样本不足;总查询数为零的时间窗同样不计算无结果率。样本量较小时,建议延长观察期或合并相邻周期,避免把随机波动读成趋势。



解读与限制:哪些变化不能归因于改善


补充查询次数是相关性证据,不能单独证明检索质量提升。最常见的误判是用户放弃搜索:知识确实搜不到,用户试一两次就关闭页面,追问次数下降,指标看起来变好。识别方法是同时看零点击率与解决标记率,并对无结果查询词做抽样复核,确认下降来自“一次搜到”而不是“搜不到就走”。


以下变化会干扰前后可比性,解读时需要排除或校正:查询量结构变化,例如某类高频问题集中爆发;搜索入口调整,例如新增页面内搜索导致会话切分改变;知识库权限变化,部分内容对部分用户不可见,查询结果条数随之变化;用户群体变化,例如新团队加入带来不同的搜索习惯。出现这些情况时,应重新划分基线或做分层对比,而不是直接比较总均值。


验证建议有三条。第一,分层对比:按查询主题、用户群体、搜索入口分别计算,观察改善是否集中在预期范围。第二,抽样复核:每周抽取零结果查询与高追问会话,人工判断原因,形成问题清单并跟踪闭环。第三,持续观察:指标至少连续观察两个以上周期,结合内容补充的完成情况判断改善是否稳定。把这三条与组合判定条件一起使用,补充查询次数才能成为判断知识搜不到问题是否缓解的可靠依据。



常见问题


会话切分阈值定多少合适,改了会怎样?


阈值没有统一标准,常见做法是同一用户相邻两次查询间隔不超过 30 分钟视为同一会话,超过则开启新会话。关键是阈值一旦写进评估方案,基线与观察期都不得更改。阈值调大,更多查询被并入同一会话,人均补充查询次数会上升;调小则相反。前后两期使用不同阈值,指标变化里就混入了口径变化,无法判断检索质量是否真的改善。


补充查询次数下降,但用户反馈“还是搜不到”,该信哪个?


两者都要看,并且优先排查指标是否被“放弃搜索”拉低。可以抽取观察期的零结果查询词和高追问会话做人工复核,确认下降来自一次搜到,还是用户试一两次就离开。若零点击率同期上升、会话解决标记率下降,更可能是后者,应判定为未改善,先排查内容覆盖与权限配置,再重新观察。


知识库新增了一个空间,前后数据还能直接比吗?


不建议直接比总均值。新增空间会带来新的查询和新的用户,分母结构发生变化,补充查询次数与无结果率都会随之波动。处理方式有两种:一是把新增空间排除在统计范围外,只比较原有范围;二是按知识库或空间分层,比较同层内的前后变化。无论选哪种,都要在报告中写明范围调整,避免把结构变化读成质量变化。


样本量很小的时候怎么算才不至于误判?


会话数极少的分层不计算比率,只报告绝对次数并标注样本不足;总查询数为零的时间窗同样不计算无结果率。样本量小时可以延长观察期或合并相邻周期,让分母达到可比较的量级。单周的小幅波动不宜直接下结论,至少覆盖两个完整周期再判断趋势。


这些检索日志和指标,ONES 里能直接拿到吗?


ONES 提供 Wiki 页面、附件等内容的统一知识上下文与全局知识检索,团队可以把高频无结果查询词整理成待补充的知识条目,在文档空间中指派维护人跟进。检索日志字段的导出方式、是否内置无结果率与零点击率看板,输入资料未涉及,建议在选型或实施时向厂商确认,再决定指标采集靠系统报表还是日志导出后自行计算。