知识搜索成功率没有通用定义，口径需要结合自身知识库和决策场景确定，并写清统计单位、成功判定和分母剔除项。本文给出一套可复算的口径设计方法：先定“一次搜索”和“成功”两个判定对象，再说明证据来源、计算步骤和解读边界，最后用一个月的数据演示完整算法。
要点总览（TL;DR）
- 知识搜索成功率没有通用定义，口径需自行确定并写清统计单位、成功判定和分母剔除项。
- 建议以一次查询提交为统计单位，同一会话内的改写、翻页、二次筛选归并为同一次搜索；分母剔除空查询、测试账号、系统重试和爬虫流量。
- 成功判定优先用行为证据（打开文档并停留达阈值、复制或引用、收藏、标记有用），再用分层抽样人工标注校准自动规则。
- 计算按清洗、会话归并、逐次判定、汇总、分维度拆分、人工复核六步执行，并保留中间结果便于复算。
- 成功率只反映查找结果，不反映原因；跨团队、跨时期比较前需对齐口径，口径变更要版本化记录。
评估目标：这个指标要回答什么问题
知识搜索成功率衡量的是用户提交查询后能否找到并使用所需知识，它服务于知识库运营决策，不用于评价搜索算法本身的优劣。把用途写清楚，口径才有取舍依据。
这个指标通常服务三类决策。第一类是内容缺口识别：哪些查询反复无结果或结果未被使用，说明对应主题缺少文档或文档质量不足。第二类是检索入口优化：搜索框位置、默认范围、筛选条件是否让用户更快定位内容。第三类是培训与文档治理优先级：哪些知识域的成功率明显偏低，需要优先补充或重写。
指标使用者一般包括知识库运营负责人、文档治理团队和业务部门的知识管理员。使用节奏建议按月复盘，观察趋势和分维度变化；在知识库改版、检索入口调整或大规模文档迁移前后，可做专项评估，用同一口径对比前后差异。
需要明确不纳入的范围：底层搜索算法与排序模型的实现效果、AI 问答与生成答案的质量评估。这两类问题有各自的评估方法，混入搜索成功率会让指标失去可解释性。本文讨论的是信息查找环节的度量。
指标与范围：分子、分母和统计对象怎么定
可复算的指标需要先固定统计单位，再定义分子和分母。建议以“一次搜索”为基本单位，即一次查询提交；同一会话内的查询改写、翻页、二次筛选归并为同一次搜索，避免同一信息需求被重复计数。会话可按用户标识加固定时长间隔切分，例如连续操作间隔超过 30 分钟视为新会话，具体间隔按自身使用习惯确定并写入口径文档。
分子是判定为成功的搜索次数，判定依据在下一节展开。分母是有效搜索次数，即总查询数剔除空查询、测试账号、系统重试和爬虫流量后的数量。剔除项要逐条写明规则，例如测试账号以账号名单或标记字段识别，系统重试以请求来源标识识别。
| 项目 | 定义 |
|---|---|
| 指标名 | 知识搜索成功率 |
| 公式 | 成功搜索次数 ÷ 有效搜索次数 × 100% |
| 统计单位 | 一次搜索（一次查询提交，同会话内改写、翻页、二次筛选归并） |
| 时间窗 | 按自然月统计，查询提交时间落在当月内 |
| 剔除项 | 空查询、测试账号、系统重试、爬虫流量 |
| 拆分维度 | 知识域、终端（PC/移动）、用户群体、查询类型（导航型/信息型） |
拆分维度决定指标能否指导行动。只报一个总数，很难判断问题出在哪个知识域或哪类用户。建议至少按知识域和终端拆分，用户群体可按部门或角色划分，查询类型可按查询长度、是否包含文档标题等规则粗分。各维度的口径与总数保持一致，拆分结果之和应能还原总数，便于核对。
数据口径与证据：成功行为从哪里取、怎么判
成功判定优先使用行为证据，再用人工抽样校准。行为证据来自搜索日志与内容访问日志的关联，常见信号包括：点击结果并打开文档、文档停留时长达到阈值、复制或引用内容、收藏文档、点击“有用”标记。相反信号包括：无结果后直接离开、连续多次改写查询仍未点击、点击后短时间内返回并继续搜索。
停留时长等阈值不能拍脑袋。可行做法是取历史数据中“点击后产生复制、收藏等强行为”的样本，观察其停留时长分布，取一个能区分有效阅读与误点返回的分位值作为初始阈值，再用小样本人工试标验证。阈值确定后写入口径文档，随口径版本一起管理。
人工证据用于校准自动规则。按查询分层抽样，由标注人员判断“该次搜索是否找到了所需信息”，标注前统一判定说明，并计算标注一致性（如两名标注人员的一致率）。自动判定与人工复核的一致率偏低时，调整行为规则或阈值，而不是直接采用自动结果。
| 字段 | 用途 |
|---|---|
| 查询文本 | 识别查询类型、归并同会话改写 |
| 查询提交时间 | 确定统计时间窗、切分会话 |
| 会话标识 | 归并同一会话内的多次查询 |
| 用户标识 | 剔除测试账号、按用户群体拆分 |
| 结果位次与点击对象 | 判断是否点击、点击了哪条结果 |
| 文档打开与停留时长 | 判定有效使用行为 |
| 复制、引用、收藏、有用标记 | 强行为证据 |
缺失数据要有明确处理原则。会话标识缺失的记录无法归并，可单独计数并在报告中说明占比；停留时长缺失的记录不参与时长阈值判定，改用点击后是否产生强行为作为替代证据；用户标识缺失的记录保留在总数中，但不进入按用户群体的拆分。任何处理方式都写入口径文档，保证下次计算可复现。
计算与评估步骤：从原始日志到可解读结果
从原始日志到可解读的成功率，按以下六步执行。每步都保留中间结果，便于复核和口径变更时重算。
- 日志清洗与无效记录剔除。输入为原始搜索日志和账号名单，操作包括去除空查询、匹配测试账号、识别系统重试与爬虫流量，输出为清洗后的查询记录集，并记录剔除数量。
- 按会话归并多次查询。输入为清洗后的记录，按会话标识和时间间隔切分会话，同一会话内的改写、翻页、二次筛选合并为一次搜索，保留首次查询文本和会话内全部行为，输出为“一次搜索”粒度的记录表。
- 按成功规则逐次判定。输入为搜索记录及关联的内容访问日志，按行为证据规则逐条标记成功或未成功，输出带判定结果和判定依据字段的记录表。
- 计算成功率并给出误差范围。输入为判定结果，计算成功次数除以有效搜索次数，并按样本量给出置信区间或抽样误差，输出总体成功率和区间。
- 分维度拆分与环比对比。输入为带维度字段的记录表，按知识域、终端、用户群体、查询类型分别计算，并与上月同口径结果对比，输出分维度结果表。
- 人工抽样复核并校准规则。输入为分层抽样样本，人工标注后与自动判定比对，计算一致率；一致率不达预期时调整规则或阈值并重算，输出复核报告和规则修订记录。
如果知识库承载在协作平台上，日志字段是否可得会直接影响这套流程能否落地。以 ONES 为例，ONES Assistant 在 Wiki 页面、附件、音视频和个人协作数据中建立统一知识上下文，支持全局知识检索，知识问答和任务执行基于 ONES 权限体系，输出过程可追踪、结果可审计。这意味着检索行为与文档访问发生在同一权限体系内，便于把查询记录与文档打开、停留等行为关联起来做成功判定；具体日志字段构成和导出方式需在选型或实施时向厂商核验。文档治理侧，ONES Wiki 承载知识库内容，内容缺口的补充和文档状态更新可以在同一平台完成，使“发现缺口—补文档—下月复算”形成闭环。
算例：一个月的数据如何得出成功率
以下为演示情景，数字用于说明算法，不代表任何真实团队的表现。
某月原始查询记录共 52,000 条。剔除空查询 1,800 条、测试账号查询 600 条、系统重试 400 条、爬虫流量 200 条，合计剔除 3,000 条，有效搜索次数为 49,000 次。按会话归并后，同一会话内的改写和翻页合并，有效搜索次数调整为 41,000 次。按行为规则判定，成功搜索 24,600 次。
成功率 = 24,600 ÷ 41,000 × 100% ≈ 60.0%。若某维度当月有效搜索次数为 0，该维度成功率记为“不适用”，不按 0% 计入总体，也不参与环比计算，避免把无流量误读为全部失败。
| 知识域 | 有效搜索次数 | 成功次数 | 成功率 |
|---|---|---|---|
| 产品文档 | 18,000 | 12,600 | 70.0% |
| 研发规范 | 12,000 | 7,200 | 60.0% |
| 运维手册 | 7,000 | 3,500 | 50.0% |
| 行政制度 | 4,000 | 1,300 | 32.5% |
分层抽样 400 次搜索做人工复核，自动判定与人工标注一致 356 次，一致率 89%。不一致的样本中，多数是“打开文档后快速返回但实际已获得答案”的情形，说明当前停留时长阈值偏严，可在下一版口径中下调或增加“复制标题”等替代证据。
从分维度结果看，行政制度成功率 32.5%，明显低于总体水平，是当月主要拖累项；运维手册 50.0% 也低于总体。结合无结果查询清单，可优先检查这两个知识域是否存在文档缺失、标题与用户用词不一致或权限范围过窄的问题。产品文档成功率较高，可作为文档写法的参照样本。
解读与限制：哪些结论能下、哪些不能
成功率是结果指标，能说明“查找环节有多少需求被满足”，不能说明原因，也不能代表知识库整体绩效。解读时注意以下边界。
- 成功率高低受查询构成影响。导航型查询多、文档标题规范的团队，成功率天然偏高；跨团队、跨时期比较前必须先对齐统计单位、成功规则和剔除项，否则差异可能来自口径而非实际效果。
- 行为判定会漏掉“看了摘要就够、无需点击”的场景，这类搜索会被判为未成功。需要用人工抽样估算漏判比例，并在报告中说明，必要时调整规则。
- 指标反映结果不反映原因。要定位问题，需结合无结果查询清单、高频改写查询和内容缺口分析，把成功率下降拆解到具体知识域和具体文档。
- 口径变更需版本化记录。每次调整成功规则、阈值、剔除项或会话切分方式，都记录版本号、变更内容和生效时间，历史数据按原版本标注，避免新旧数据直接混算。
- 不设通用达标线。目标值应基于自身历史基线、业务要求和改进节奏确定，例如以连续三个月的基线为参照设定提升幅度，而不是套用外部数字。
把口径文档、计算脚本和复核记录一起归档，下个月复算时只需替换数据即可得到可比结果。指标的价值在于持续、同口径地观察变化，并据此推动内容补充和检索入口改进。
常见问题
同一用户在搜索框里连续改写几次关键词，应该算几次搜索？
建议按会话归并，算一次搜索。判定规则是：同一用户标识下，连续操作间隔未超过设定时长（例如 30 分钟）的查询改写、翻页、二次筛选，视为同一信息需求，合并为一次搜索，保留首次查询文本和会话内全部行为。间隔超过设定时长则切分为新会话，另计一次。
这样处理可以避免同一需求被重复计数，也能让分母更接近真实的信息查找次数。会话切分间隔要写入口径文档，变更时记录版本。
用户看了搜索结果摘要就得到答案、没有点击文档，这种搜索算成功吗？
按纯行为证据判定，这类搜索通常会被判为未成功，因为缺少点击和停留记录。这是行为判定的已知盲区，需要在报告中说明，并用人工抽样估算漏判比例。
可行的改进方式有两种：一是在抽样标注中把“摘要已满足需求”单独标记，据此估算漏判率；二是在结果页增加“有用”标记等轻量反馈入口，为这类场景补充证据。是否调整规则，取决于漏判比例是否足以影响结论。
停留时长阈值定多少合适，可以直接参考外部经验值吗？
不建议直接套用外部数值。阈值应基于自身数据确定：取历史数据中点击后产生复制、收藏等强行为的样本，观察其停留时长分布，选一个能区分有效阅读与误点返回的分位值作为初始阈值，再用小样本人工试标验证。
阈值确定后写入口径文档，随口径版本一起管理。后续人工复核发现一致率偏低时，调整阈值并重算，同时保留旧版本结果以便对比。
某个知识域当月没有搜索记录，成功率应该记 0% 吗？
不应记 0%。有效搜索次数为 0 时，成功率记为“不适用”，不按 0% 计入总体，也不参与环比计算，避免把无流量误读为全部失败。
如果该知识域本应有访问却出现零搜索，更值得排查的是入口配置、权限范围或文档是否被迁移，而不是指标数值本身。
调整了成功判定规则后，历史数据还能直接和新数据比较吗？
不能直接混算。每次调整成功规则、阈值、剔除项或会话切分方式，都应记录版本号、变更内容和生效时间，历史数据按原版本标注。
需要跨版本对比时，可以用新规则重算历史数据，或在新旧口径下各报一组结果并说明差异来源。口径文档、计算脚本和复核记录一起归档，下月复算只需替换数据。
