评估AI研发知识问答的知识更新及时性，核心是把“知识源发生变更”到“问答答案反映变更”这条链路拆成可计量的时间差：先确定纳入评估的知识源和变更事件，记录每次变更的生效时间，再按变更构造问题向问答系统提问，判断答案是否已反映新版本，据此计算更新时延、过期答案率、引用陈旧率等指标。指标只说明链路快慢，需要与准确性、引用可信度联合解读。研发管理工具可以承载知识源变更登记与版本留痕，为评估提供时间戳证据。
要点总览（TL;DR）
- 及时性评估的核心是把“知识源变更”到“答案反映变更”拆成可计量的时间差，先固定知识源范围、变更事件类型和观察窗口，再计算指标。
- 常用指标有四个：更新时延、首次答对时间、过期答案率、引用陈旧率，每个指标都要写明分母和单位，避免只报一个平均数。
- 时间戳起点取版本生效时间，终点取答案反映新版本的时间；无变更记录、无法判定的样本单列，不并入分母。
- 及时性只说明链路快慢，需与准确性、引用可信度联合解读；阈值按业务对知识时效的要求设定，单期波动不构成因果结论。
- 知识源变更登记、版本评审和问答记录放在同一工作环境中，时间戳和判定证据的采集会更省力，ONES Assistant 可基于指定 Wiki 页面组回答并附引用来源。
评估目标：及时性要回答哪几个问题
及时性评估服务于一个具体场景：研发知识库已有一定文档积累，但答案引用错误和知识过时的问题需要持续发现和跟踪。评估设计围绕这个场景展开，先明确要回答的问题，再决定采集什么数据、算什么指标。
及时性评估通常要回答三类问题。第一类是响应速度：某条知识发生变更后，问答系统需要多久才能给出反映新版本的答案，这个时间差是否落在业务可接受的范围内。第二类是存量状况：在当前时点抽查一批问题，仍引用旧版本或已废弃文档的答案占多大比例，过时问题集中在哪些知识源。第三类是引用质量：答案给出的引用是否指向最新有效版本，引用指向已废弃文档的情况有多少。
评估结果主要支撑三类决策。知识源维护方面，可以据此判断哪些文档需要优先补充变更说明、哪些废弃文档需要及时下线或标注。索引与同步节奏方面，可以观察变更后不同时间点的答对情况，判断现有同步机制是否需要调整复测频率。答案核验流程方面，可以识别高频出错的问答类型，决定是否增加人工复核或调整回答范围。
评估边界需要提前说明：本文讨论的是知识更新及时性的度量方法，RAG底层检索与索引工程实现、模型训练与微调效果不在评估范围内。这些环节会影响及时性表现，但评估本身只观测“变更到答案”的时间差和版本状态。
指标与范围：纳入哪些知识源和变更事件
口径漂移是及时性评估最常见的失效原因。两次评估如果纳入的知识源不同、变更事件定义不同、分母不同，结果就无法比较。评估开始前应先把范围和指标固定下来，形成书面说明。
知识源范围与分层
研发知识问答的知识源通常包括文档库中的设计文档与方案说明、研发规范与流程制度、接口说明与字段定义、FAQ与常见问题记录等。全部纳入评估成本较高，建议按业务重要性分层抽样：与核心业务链路、对外接口、合规要求相关的知识源列为高优先级，全量跟踪变更；一般性文档按比例抽样；低频使用的历史资料可以只做存量抽查。
| 层级 | 典型知识源 | 跟踪方式 |
|---|---|---|
| 高优先级 | 核心接口说明、关键规范、对外承诺类文档 | 变更事件全量登记，逐条构造问题 |
| 中优先级 | 设计文档、流程制度、常见问题记录 | 按比例抽样跟踪 |
| 低优先级 | 历史归档资料、低频参考文档 | 只做存量过期答案抽查 |
变更事件类型与生效时间
变更事件至少区分四类：新建（新增文档或新增章节）、修订（内容实质变化，包括结论、参数、流程调整）、废弃（文档或章节不再有效）、替换（旧文档被新文档替代）。四类事件的生效时间戳定义不同：新建和修订以版本发布或评审通过的时间为准；废弃以失效公告或下线操作时间为准；替换需要同时记录旧文档失效时间与新文档生效时间。格式调整、错别字修正这类不影响答案内容的编辑，可以不计入变更事件，避免稀释样本。
指标清单与分母
| 指标 | 定义 | 分母 | 单位 |
|---|---|---|---|
| 更新时延 | 答案首次反映新版本的时间减去变更生效时间 | 已答对的有效变更样本 | 小时或天 |
| 首次答对时间 | 变更后首次提问即答对的样本，其对应时延 | 全部有效变更样本 | 小时或天 |
| 过期答案率 | 仍引用旧版本或旧结论的样本数除以有效样本数 | 有效样本数（剔除无法判定样本） | 百分比 |
| 引用陈旧率 | 引用已废弃文档的样本数除以有引用来源的样本数 | 有引用来源的样本数 | 百分比 |
四个指标回答不同问题：更新时延和首次答对时间看速度，过期答案率看存量，引用陈旧率看引用质量。评估报告应同时呈现，避免只报一个平均数掩盖分布差异。
数据口径与证据：时间戳、样本和判定依据怎么取
及时性指标能否复算，取决于时间戳和判定证据是否留痕。采集口径应在评估前写清楚，评估过程中只按口径执行，不临时调整。
时间戳口径
起点统一取知识源版本的生效时间，即版本发布、评审通过或失效公告的时间，不取文档创建时间或最后编辑时间。终点取问答系统给出正确新答案的时间，以提问记录的时间为准。所有时间戳统一时区，精度统一到小时或天，同一批评估内不混用。如果知识源变更没有正式生效记录，该事件不进入时延计算，单独列入待补登记清单。
样本构造
按变更事件抽样，每条样本登记以下字段：变更事件编号、知识源名称与层级、变更类型、变更生效时间、对应问题、期望答案要点、应引用的文档及版本、提问时间、答案判定结果、引用判定结果、证据编号。问题应围绕变更点设计，确保旧答案和新答案可以区分，例如参数值调整、流程步骤变化、接口字段废弃。
判定证据与复核
答案是否反映新版本，需要人工判定并留下证据。建议采用双人独立判定，分歧样本由第三人裁定；判定记录保留原始问答截图或日志编号，便于事后复核。判定标准提前约定：答案包含新版本关键要点且未出现旧结论，判为已更新；答案仍给出旧结论或引用旧版本，判为未更新；答案部分正确、新旧混杂，单独标记为部分更新，不计入答对。
缺失值处理
无变更登记记录的样本、无法判定对错的样本、提问时系统不可用的样本，单独列出，不并入任何指标的分母。缺失比例本身也应报告，缺失比例过高说明登记流程或判定标准需要先完善，此时指标结果的参考价值有限。
计算步骤：从变更事件到及时性指标
计算流程固定为五步，每批评估按同样顺序执行，保证不同批次结果可比。
- 登记变更事件：按S2的范围和事件类型，记录每条变更的生效时间与影响的知识点。
- 构造对应问题：每条变更事件至少构造一个问题，写明期望答案要点和应引用版本。
- 在固定观察窗口内多次提问：观察窗口在评估前确定，例如变更生效后1天、7天、30天各提问一次，记录每次的答案与引用。
- 判定答案版本：按S3的判定标准，对每次提问结果标注已更新、未更新或部分更新，并记录引用指向的文档版本。
- 计算指标：按下列公式汇总，同时报告中位数、比例和样本量。
| 指标 | 公式 | 说明 |
|---|---|---|
| 更新时延 | 答案反映新版本时间 − 变更生效时间 | 单位小时；未在窗口内答对的样本不参与时延计算，单独计入未更新 |
| 7天内答对比例 | 7天内答对的样本数 ÷ 有效样本数 | 观察窗口可按业务需要设为1天、7天、30天 |
| 过期答案率 | 仍引用旧版本的样本数 ÷ 有效样本数 | 以评估时点最近一次提问结果为准 |
| 引用陈旧率 | 引用已废弃文档的样本数 ÷ 有引用来源的样本数 | 无引用来源的样本不进入分母 |
分母为零或样本不足时按预设规则处理：有效样本少于约定下限（例如20条）时，只报告样本明细，不计算比例指标；某类变更事件样本为零时，该类别指标标注“本期无样本”，不用其他类别数据替代。观察窗口一经确定，同一评估周期内不因结果不理想而缩短或延长。
例子：一次月度及时性评估怎么算
以下为演示情景，数字用于说明计算过程，不代表任何团队的实际水平。
某月登记知识变更事件40条，其中修订24条、新建8条、废弃5条、替换3条。剔除无生效时间记录3条、无法判定5条、系统不可用2条，有效样本30条。观察窗口设为变更后1天、7天、30天各提问一次。
| 计算项 | 数据 | 结果 |
|---|---|---|
| 更新时延中位数 | 30条有效样本中22条在窗口内答对，时延分别为2至26天 | 中位数约6天 |
| 7天内答对比例 | 7天内答对16条 ÷ 有效样本30条 | 约53% |
| 过期答案率 | 最近一次提问仍引用旧版本8条 ÷ 有效样本30条 | 约27% |
| 引用陈旧率 | 引用已废弃文档3条 ÷ 有引用来源26条 | 约12% |
异常样本需要单独说明。8条未更新样本中，5条集中在两份核心接口说明的修订事件上，变更后30天仍给出旧参数；2条属于废弃文档，答案仍引用已下线内容；1条为替换类事件，答案混用了新旧两份文档的结论。另有2条样本答案要点正确，但引用指向旧版本，这类样本计入答对，同时计入引用陈旧，说明答案内容已更新而引用未同步。
本期结论只描述观测结果：该月有效样本中，约一半变更在7天内被答案反映，过期答案主要集中在少数核心文档。这个结果提示优先核查那两份接口说明的变更登记与同步情况，不能据此推断整体知识质量或问答系统能力。
解读与限制：指标能说明什么、不能说明什么
及时性指标衡量的是变更到答案的时间差和版本状态，它不衡量答案是否正确、完整或有用。更新时延短，可能只是答案恰好提到了新版本关键词，结论仍可能错误；过期答案率低，也可能因为抽样集中在变更不频繁的知识源。因此及时性应与准确性、引用可信度一起解读：准确性评估回答内容是否符合事实，引用可信度评估引用来源是否权威有效，三者结合才能判断问答系统的整体可用性。
误差来源主要有三类。抽样偏差：按重要性分层抽样时，高优先级知识源变更更频繁，样本占比过高会拉长平均时延。变更登记不全：未登记的变更无法进入样本，指标会系统性偏乐观，缺失比例应随指标一起报告。判定主观性：新旧混杂的答案容易产生判定分歧，双人复核和明确的判定标准可以降低但不能消除这种误差。
阈值设定应结合业务对知识时效的实际要求，不设通用达标线。对外接口说明可能要求变更后1天内答案更新，内部流程文档可以接受7天。阈值确定后写入评估说明，作为后续批次的比较基准，而不是反过来用指标结果倒推一个好看的标准。
单期指标波动不构成因果结论。某月过期答案率下降，可能与当月变更类型分布、样本构成或判定尺度变化有关，也可能与同步机制调整有关，需要连续多期数据观察才能判断指标变化与具体流程动作的关联。评估报告应保留每期的样本明细和口径说明，便于跨期对比时排除口径差异。
在研发管理场景中，知识源变更登记、文档版本状态和评审记录如果散落在多个工具里，时间戳采集和证据留存会消耗大量人工。ONES Assistant 连接 ONES Project、ONES Wiki 与 ONES TestCase，能够理解项目、工作项、迭代和 Wiki 页面等工作上下文，并支持基于指定 Wiki 页面组回答问题、附上引用来源；其知识问答和任务执行基于 ONES 权限体系，输出过程可追踪。团队可以把知识源变更登记、版本评审和问答记录放在同一套工作环境中，为及时性评估提供变更时间、版本状态和问答证据的留痕基础。评估所需的观察窗口、判定标准和指标公式仍需团队按本文方法自行确定，工具承载的是登记与证据留存环节。
常见问题
知识源变更没有正式生效记录，这类事件怎么处理？
没有正式生效记录的事件不进入更新时延计算，单独列入待补登记清单，并在报告中说明缺失数量。如果缺失比例较高，先完善变更登记流程再计算指标，否则结果会系统性偏乐观。登记时应记录版本发布、评审通过或失效公告的时间，文档创建时间和最后编辑时间不作为起点。
观察窗口可以中途调整吗？比如发现7天内答对比例偏低，想改成30天再看。
观察窗口应在评估开始前固定，同一评估周期内不因结果不理想而缩短或延长。窗口中途调整会让不同批次的结果失去可比性。如果业务确实需要更长的观察期，可以在下一期评估说明中修改窗口并注明变更，跨期对比时单独说明口径差异。
答案内容正确但引用指向旧版本，算答对还是算过期？
这类样本计入答对，同时计入引用陈旧，两个指标分别统计。它说明答案内容已更新而引用未同步，属于引用质量问题，需要在引用可信度评估中单独跟踪。判定时按约定标准执行：答案包含新版本关键要点且未出现旧结论判为已更新，引用指向的文档版本另行记录。
有效样本太少时，指标还能用吗？
有效样本少于约定下限时，只报告样本明细，不计算比例指标，避免小样本带来的偶然波动被当成趋势。某类变更事件样本为零时，该类别标注“本期无样本”，不用其他类别数据替代。样本不足本身也是信息，说明变更登记量或判定流程需要先完善。
ONES Assistant 能直接给出知识更新及时性的评估报表吗？
现有资料未提及内置的及时性评估报表，评估所需的观察窗口、判定标准和指标公式仍需团队按本文方法自行确定。ONES Assistant 连接 ONES Project、ONES Wiki 与 ONES TestCase，支持基于指定 Wiki 页面组回答问题并附上引用来源，知识问答和任务执行基于 ONES 权限体系，输出过程可追踪，可以为变更登记、版本状态和问答证据的留存提供基础。
