评估服务目录清单，需要同时回答两个问题：该纳入的服务是否都已纳入且信息可用，用户能否在自助入口找到并正确选中服务。前者是覆盖度，后者是可发现性。两条线共用同一份目录快照和同一时间窗，先确定分母，再取数、复算和解读，才能避免用单一指标代替整体判断。当服务目录、入口访问与工单记录在同一平台承载时，ONES 的工作项与文档能力可以辅助留存快照和取数依据。
要点总览（TL;DR）
- 覆盖度看清单全不全：用服务项覆盖率、关键字段完整率、入口分流覆盖率衡量，分母分别是应纳入服务项数、已发布服务项数、应配置入口数。
- 可发现性看用户找不找得到、用得对不对：用搜索命中率、零结果率、目录点击路径深度、自助分流率、错选率衡量，访问类指标以有效访问次数为分母。
- 两条线共用同一份目录快照和同一时间窗，先冻结快照、确认应纳入基准，再取数、复算、抽样复核，最后并列呈现结论并标注不确定项。
- 分母为零统一记为“不适用”并说明原因，日志缺失时段整段排除，不用零值代替缺失，避免把“没有数据”误读为“表现很差”。
- 不设通用达标线，阈值结合自身历史基线确定；高命中率不等于选对服务，覆盖度高也不代表用户能找到，两组指标需互相印证。
评估要回答的两个问题：清单全不全、用户找不找得到
覆盖度回答的是目录清单本身是否完整、可用。具体包括：业务中实际在提供的服务，是否都已作为服务项进入目录；每个服务项的名称、服务说明、适用对象、申请入口、责任团队等关键字段是否填写完整；用户从各个入口进入后，是否都能被引导到目录中的对应服务项。覆盖度不足通常表现为服务缺失、字段残缺或入口指向目录之外。
可发现性回答的是用户侧的实际体验：用户在自助入口输入关键词时，能否搜到对应服务；搜不到的情况有多少；从进入入口到选中服务需要经过几层目录；最终有多少访问完成了自助提交，而不是转人工；以及用户选中的服务项是否真的是其需要的那个。可发现性差不一定意味着目录缺项，常见原因是命名与用户说法不一致、分类层级过深、搜索结果排序不合理。
两条线共同服务于一个目标：让用户尽量在自助入口完成服务请求，减少不必要的转人工。覆盖度决定“有没有可选项”，可发现性决定“选项能不能被找到并用对”，只评估其中一条，结论都会偏。本文聚焦这两组指标的定义、取数、计算和解读；知识内容的编写与维护、工单流转与状态管理细节不在本文范围内。
指标与范围：分子、分母和时间窗怎么定
两组指标都需要明确分子、分母、单位和统计时间窗，否则不同人算出的结果无法比较。建议以“服务目录快照版本”作为统计对象基准，以自然月或连续四周作为统一时间窗；访问类指标以“有效访问次数”为分母，即排除爬虫、内部测试账号和明显误触后的访问记录。
| 指标 | 公式 | 分子 | 分母 | 单位 | 缺失或分母为零 |
|---|---|---|---|---|---|
| 服务项覆盖率 | 已纳入服务项数 ÷ 应纳入服务项数 | 目录快照中状态为“已发布”的服务项数 | 依据业务系统服务清单与历史工单主题归类确定的应纳入服务项数 | 百分比 | 分母为零时记为“不适用”，并说明基准清单为空的原因 |
| 关键字段完整率 | 关键字段齐全的服务项数 ÷ 已发布服务项数 | 名称、说明、适用对象、申请入口、责任团队五项均非空的服务项数 | 已发布服务项数 | 百分比 | 字段为空按“不完整”计，不剔除该服务项 |
| 入口分流覆盖率 | 已配置目录跳转的入口数 ÷ 应配置的入口数 | 点击后能定位到目录服务项的入口数量 | 盘点确认的对外服务入口总数 | 百分比 | 入口无法验证时单列为“待核实”，不计入分子 |
| 搜索命中率 | 有结果且点击的搜索次数 ÷ 有效搜索次数 | 返回至少一条结果且用户发生点击的搜索次数 | 有效搜索次数 | 百分比 | 日志缺失的时段整段排除，并记录排除范围 |
| 零结果率 | 返回零条结果的搜索次数 ÷ 有效搜索次数 | 结果数为零的搜索次数 | 有效搜索次数 | 百分比 | 与搜索命中率同口径，二者分母一致 |
| 目录点击路径深度 | 从入口到选中服务项的平均点击层数 | 各次成功选中服务项的点击层数之和 | 成功选中服务项的访问次数 | 层 | 无成功选中记录时记为“不适用” |
| 自助分流率 | 自助提交次数 ÷ 服务请求总次数 | 通过入口完成自助提交的次数 | 自助提交次数与同期转人工次数之和 | 百分比 | 转人工记录缺失时标注口径不完整，不单独下结论 |
| 错选率 | 被退回或改选的服务项提交次数 ÷ 自助提交次数 | 提交后被退回、撤销或改选其他服务项的次数 | 自助提交次数 | 百分比 | 无退回记录时说明该指标暂不可算，不用零代替 |
时间窗需要统一：覆盖度三项指标对应目录快照时点，可发现性五项指标对应同一时间窗内的访问日志。若快照时点与日志窗口不一致，应在结论中注明，不能直接合并解读。分母为零时统一记为“不适用”并说明原因，不用零值参与汇总，避免把“没有数据”误读为“表现很差”。
数据从哪里取：口径来源与证据要求
覆盖度的数据来自三类来源：服务目录导出文件，提供已发布服务项及字段值；业务系统或服务责任团队提供的服务清单，用于确定应纳入基准；历史工单的主题归类，用于发现目录中遗漏的高频服务请求。三类来源合并时，以服务项名称为主键，辅以别名映射表处理同一服务的不同叫法，例如“账号开通”与“新员工账号申请”应归并为同一服务项。
可发现性的数据来自入口侧日志：搜索日志提供查询词、结果数和点击记录；目录点击日志提供访问路径和层级；自助提交与转人工记录用于计算分流率和错选率。取数时需要确认日志是否覆盖全部入口，是否存在多个入口版本并行的情况；若存在，应按入口版本分别统计，不能混算。
评估过程应留存四类证据：冻结时点的目录快照文件、日志导出文件及其时间范围说明、服务项名称与别名的匹配对照表、以及应纳入基准清单的确认记录。留存证据的目的在于让其他人能按同一口径复算，并在结果出现争议时回溯到原始数据。
评估步骤：从快照到结论的五步走法
第一步，冻结服务目录快照。导出评估时点的目录数据，记录导出时间和版本号，同时确认应纳入服务项基准清单，基准清单需由服务责任团队确认，避免评估者单方面扩大或缩小范围。
第二步，计算覆盖度三项指标。按上一节的公式逐项计算服务项覆盖率、关键字段完整率和入口分流覆盖率，每项结果附上分子、分母和计算日期。对未纳入基准清单的服务项，逐条记录遗漏原因，如“新上线服务未登记”“由其他团队维护未同步”。
第三步，计算可发现性五项指标。在同一时间窗内统计搜索命中率、零结果率、目录点击路径深度、自助分流率和错选率。零结果率可与搜索命中率对照校验，两者分母一致时结果应能相互印证。
第四步，抽样复核。从零结果搜索词和高频搜索词中各抽取若干条，人工在入口中复现搜索与选中路径，核对日志记录与实际体验是否一致；同时抽取若干服务项，检查其字段在入口展示中是否完整。抽样数量和抽取规则应记录在评估说明中。
第五步，汇总结论并标注不确定项。将两组指标结果并列呈现，指出覆盖度的短板方向（缺项、字段残缺或入口未覆盖）和可发现性的短板方向（搜不到、路径过深或错选偏高），对数据缺失、口径不一致的部分明确标注，不强行给出单一总分。
算一遍：一个服务目录的示例数据
以下为演示用示例数据，不代表任何真实组织的实际水平。设定：应纳入服务项 120 项，目录中已发布 102 项；已发布服务项中关键字段齐全 86 项；盘点确认对外入口 8 个，其中 6 个已配置目录跳转。同一自然月内有效搜索 5000 次，有结果且点击 3600 次，零结果 400 次；成功选中服务项的访问 4200 次，点击层数合计 8400 层；自助提交 3000 次，同期转人工 2000 次；自助提交中被退回或改选 240 次。
| 指标 | 代入计算 | 结果 |
|---|---|---|
| 服务项覆盖率 | 102 ÷ 120 | 85.0% |
| 关键字段完整率 | 86 ÷ 102 | 84.3% |
| 入口分流覆盖率 | 6 ÷ 8 | 75.0% |
| 搜索命中率 | 3600 ÷ 5000 | 72.0% |
| 零结果率 | 400 ÷ 5000 | 8.0% |
| 目录点击路径深度 | 8400 ÷ 4200 | 2.0 层 |
| 自助分流率 | 3000 ÷ (3000 + 2000) | 60.0% |
| 错选率 | 240 ÷ 3000 | 8.0% |
若该月某入口的点击日志缺失，则目录点击路径深度在剔除缺失入口后重算，并在结论中注明“该指标未覆盖全部入口”。若某类服务当月无自助提交记录，错选率分母为零，应记为“不适用”，不能用 0% 表示表现良好。从示例结果看，覆盖度的主要短板在入口分流覆盖率（75.0%）和字段完整率（84.3%），可发现性的主要短板在搜索命中率（72.0%）与零结果率（8.0%），路径深度 2.0 层属于可接受范围但仍有压缩空间。这些判断只针对示例数据，实际评估需以自身基线对照。
怎么读结果：阈值、可比性与常见误读
本文不设通用达标线。覆盖度和可发现性的合理水平取决于服务种类、用户构成和入口成熟度，阈值应结合自身历史基线确定，例如以连续三个月的滚动均值为参照，观察指标变化方向，而不是套用外部数字。首次评估没有基线时，可先记录现状值作为后续比较起点。
不同时间窗、不同入口版本之间的数据不能直接比较。入口改版、搜索排序调整或目录分类重构都会改变用户行为，跨版本对比时应说明变更内容，必要时分段统计。目录快照时点与访问日志窗口不一致时，覆盖度与可发现性的结果只能分别解读，不能合并成单一结论。
高搜索命中率不等于服务被正确使用。命中只说明用户点到了结果，是否选对服务要看错选率，是否真正完成自助要看自助分流率。同样，覆盖度高也不代表用户能找到服务，目录缺项少但命名与用户习惯不符时，零结果率仍可能偏高。因此两组指标需要并列呈现，互相印证。
这些指标反映的是评估时点的现状，不能单独证明自助分流改善的因果。分流率上升可能来自入口推广、服务范围调整或用户结构变化，要判断某项改动的效果，需要结合改动前后的对照数据和抽样复核记录。评估结论应写明适用范围和不确定项，供后续决策参考。
常见问题
首次评估没有历史基线，阈值该怎么定？
首次评估可以先记录现状值，作为后续比较的起点，不必急于判断好坏。具体做法是：把两组指标的结果连同分子、分母、时间窗和目录快照版本一起存档，注明取数口径和排除范围；下一期评估沿用同一口径复算，观察变化方向。若需要设定关注线，可参考自身连续三个月的滚动均值，或选取业务上可接受的最低水平，并在结论中写明该线是内部约定，不具外部通用性。
服务目录和入口日志不在同一平台，评估还能做吗？
可以做，但需要额外处理口径对齐。目录侧导出快照文件并记录导出时间；入口侧导出搜索、点击和提交日志，记录时间范围与覆盖的入口清单。两侧以服务项名称为主键，通过别名映射表归并同一服务的不同叫法。评估说明中要写明数据来自不同系统、快照时点与日志窗口是否一致；若不一致，覆盖度与可发现性只能分别解读，不能合并成单一结论。当服务目录、入口访问与工单记录在同一平台承载时，ONES 的工作项与文档能力可以辅助留存快照和取数依据，减少跨系统对齐的工作量。
零结果率高，是否说明目录缺项？
不一定。零结果率高可能来自三种情况：目录确实缺少用户需要的服务项；服务项存在但命名与用户说法不一致，例如用户搜“开账号”而目录写“账号开通”；搜索配置或排序规则导致结果未返回。区分方法是抽取零结果搜索词，逐条在目录中人工查找对应服务项，并记录属于哪一类。若多数搜索词在目录中有对应项，问题在命名与搜索配置；若确实找不到，才归为覆盖度缺项。两类原因的改进动作不同，混在一起会导致改错方向。
自助分流率上升，能否说明服务目录改版有效？
不能单独下这个结论。分流率变化可能来自入口推广、服务范围调整、用户结构变化或同期转人工规则调整。要判断改版效果，需要保留改版前后的对照数据：同一时间窗长度、同一批入口、同一套指标口径，并说明改版内容；同时结合抽样复核记录，确认用户路径确实发生变化。若改版期间还有其他变动，应在结论中标注，把分流率变化归因于单一改动会高估效果。
错选率没有退回记录时怎么处理？
错选率依赖提交后被退回、撤销或改选其他服务项的记录。若这类记录缺失，应说明该指标暂不可算，不用零代替，也不把它计入汇总。替代做法是抽样复核：抽取若干自助提交记录，人工核对用户所选服务项与实际需求是否一致，用抽样结果描述错选情况，并注明样本量和抽取规则。等退回或改选记录可获取后，再按公式计算完整口径的错选率。
