评估AI研发知识问答的可信度，需要把“答案对不对”和“引用靠不靠得住”拆成可复算的指标：用抽样题集核对答案与权威文档的一致性，用引用可追溯率、引用支持率、引用时效合格率衡量来源质量，再用知识更新及时性和人工核验通过率验证持续效果。所有指标都要固定题集、时间窗、分母和判定人，并处理分母为零与文档版本不可比的情况。评估结果最终要回流到文档维护流程，ONES 可作为承载工作项与评审动作的系统之一。
要点总览（TL;DR）
- 把可信度拆成四类可复算目标：答案正确性、引用可追溯性、引用支持度、知识时效性，分别对应不同的待验证问题。
- 指标要能复算，先固定题集、时间窗、分母与判定人；引用类指标以含引用作答数为分母，答案准确率以有效作答数为分母，分母为零时只报计数不报比率。
- 判定依据锁定权威文档的指定版本，引用分三层取证：能定位到段落、段落确实支持结论、文档在有效期内并已复审。
- 单次得分只说明抽样范围内的表现，准确率与引用可信度要结合看，文档本身错误会传导为答案错误，需靠文档评审发现。
- 评估结果按文档域回流给文档负责人，过时文档进入更新与复审状态流转，问答与引用记录留存作复核证据，形成持续闭环。
评估目标：先明确要回答哪几个可信问题
研发知识库积累到一定规模后，AI问答最常见的两类问题是“答案说错了”和“引用指错了或指向过时文档”。这两类问题需要分开评估，因为一个答案可能结论正确但引用失效，也可能引用链接有效但内容并不支持结论。评估目标可以拆成四类，每类对应一个待验证问题。
| 评估目标 | 待验证问题 | 与知识过时场景的对应 |
|---|---|---|
| 答案正确性 | 答案结论是否与权威文档的当前版本一致？ | 文档已更新而答案仍引用旧结论时，正确性下降 |
| 引用可追溯性 | 答案给出的引用能否定位到具体文档和段落？ | 文档迁移或删除后引用失效，可追溯性下降 |
| 引用支持度 | 被引段落是否确实支持答案中的结论？ | 文档改版后原段落含义变化，支持度下降 |
| 知识时效性 | 被引文档是否在有效期内、是否经过复审？ | 过期文档被继续引用，时效性下降 |
这套评估服务于持续监测，而非一次性验收。研发知识库的文档在持续增删改，问答系统的检索范围和行为也会随配置调整，单次得分只能说明当次抽样范围内的表现。评估对象界定为问答输出及其引用，RAG检索链路、模型训练与微调不在本文口径内。
指标与范围：题集、时间窗和分母怎么定
指标要能复算，前提是题集、时间窗和分母在评估开始前就固定下来，跨期对比时保持同一口径。题集建议从真实问答记录中抽样，再补充少量人工设计的边界题，按文档域（如需求规范、接口文档、测试规范、运维手册）和问题类型（事实查询、流程说明、版本差异、故障排查）分层，保证每个分层都有足够样本。规模上，每个分层至少保留能支撑比率稳定的题量，样本过少时只报告计数、不报告比率。
时间窗按评估周期设定，例如月度评估统计当月1日至月末的作答记录，引用时效以判定当日为基准日。统计单位统一为“题次”，一题多次作答分别计数。分母定义是口径漂移的高发点，需要在指标定义表中逐项写明。
| 指标 | 公式 | 分母 | 单位与时间窗 |
|---|---|---|---|
| 答案准确率 | 判定正确的题次数 ÷ 有效作答题次数 | 有效作答题次数（排除无权威答案题、文档缺失题） | 百分比，按评估周期统计 |
| 引用可追溯率 | 引用可定位到文档及段落的题次数 ÷ 含引用作答题次数 | 含引用作答题次数 | 百分比，按评估周期统计 |
| 引用支持率 | 被引段落确实支持结论的题次数 ÷ 可定位引用的题次数 | 可定位引用的题次数 | 百分比，按评估周期统计 |
| 引用时效合格率 | 被引文档在有效期内的题次数 ÷ 可定位引用的题次数 | 可定位引用的题次数 | 百分比，基准日为判定当日 |
| 知识更新及时率 | 按期完成更新的应更新文档数 ÷ 应更新文档数 | 应更新文档数（按文档复审计划确定） | 百分比，按文档复审周期统计 |
排除项要在题集层面标注清楚：没有权威答案的开放讨论题、权威文档缺失或无法访问的题，不计入准确率分母，但单独记录数量，用于观察知识库覆盖缺口。引用类指标的分母是含引用作答数，答案未给引用的题次不进入引用指标计算，避免把“没引用”混入“引用错误”。
数据口径与证据：判定依据从哪里来
答案正确性的判定基准是权威文档的指定版本。判定时先锁定该题对应的权威文档及版本号，再比对答案结论与文档内容是否一致；文档存在多个版本时，以评估基准日生效的版本为准，并在记录中写明版本标识，避免后续文档更新导致判定无法复核。
引用可信度分三层取证，每层对应一个可核验的事实：链接或定位能否打开并指向具体段落；被引段落是否确实包含支持答案结论的内容；被引文档是否在有效期内、是否处于已复审状态。三层都通过，该题次的引用才计为可信。
判定人建议设置两类角色：文档负责人负责确认权威版本和文档有效期，问答评估人负责比对答案与引用。关键题次采用双人独立判定，分歧题单独记录并复核，分歧率本身可以作为判定口径是否稳定的观察项。判定记录至少包含以下字段，便于复算和追溯。
- 题次编号、问题原文、所属文档域与问题类型
- 答案原文、引用列表（文档标识、段落定位、文档版本）
- 权威文档标识与版本、判定基准日
- 答案正确性判定结果与理由
- 引用可追溯、引用支持、时效合格三项判定结果
- 判定人、复核人、分歧标记与处理结论
计算与评估步骤：从抽样到出分
计算流程按固定顺序执行，保证同一题集在不同周期可以复算和对比。
- 抽题：从评估周期内的问答记录中分层抽样，补充边界题，冻结题集清单并记录抽样规则。
- 作答：以冻结后的题集向问答系统提问，保存答案原文与引用列表；同一题多次作答分别记录。
- 逐题判定：按上一节的证据口径逐题填写判定字段，双人复核分歧题。
- 汇总计算：按指标定义表计算各比率，同时输出分子、分母的绝对数。
- 按维度拆分：按文档域、问题类型分别计算，定位问题集中区域。
缺失值和分母为零需要明确规则。某指标分母为零时，该期不计算比率，报告中标注“本期无有效样本”并给出计数，不用0%或100%代替。题次因文档缺失被排除时，计入覆盖缺口统计，不进入任何比率分母。文档版本在评估期内发生变更、导致同一题次前后判定基准不一致时，该题次标记为不可比，从跨期对比中剔除，并在当期报告中单列。
分组对比时保持分母口径一致：不同文档域的样本量差异较大时，同时报告比率和样本数，避免用小样本比率直接排名。跨期对比只比较题集和判定口径均未变化的指标。
示例：一次月度评估怎么算出来
以下为演示情景，数字仅用于说明计算方式。某月题集共120题，其中8题因权威文档缺失被排除，有效作答112题次；112题次中有96题给出了引用。
| 指标 | 分子 | 分母 | 结果 |
|---|---|---|---|
| 答案准确率 | 89 | 112 | 79.5% |
| 引用可追溯率 | 88 | 96 | 91.7% |
| 引用支持率 | 74 | 88 | 84.1% |
| 引用时效合格率 | 70 | 88 | 79.5% |
按文档域拆分后发现，接口文档域的引用时效合格率明显偏低，16题中有6题引用了已过复审期的文档；需求规范域的引用支持率偏低，部分引用指向的段落只描述了背景，未包含结论依据。这说明问题集中在两类文档：一类缺少复审维护，一类段落结构与问答所需证据不匹配。
分母为零的处置示例：测试规范域当月抽到5题，均未给出引用，该域引用类指标分母为零，报告标注“本期无含引用样本”，只记录5题次的答案准确性结果，不计算引用比率。不可比处置示例：运维手册域有3题在评估期内文档改版，判定基准前后不一致，这3题次标记为不可比，从跨期对比中剔除，当期仍保留其判定记录供复核。
解读与限制：指标能说明什么、不能说明什么
指标反映的是抽样范围内的表现，不能外推为全部问答质量。题集按文档域和问题类型分层，未覆盖的领域和问法不在结论范围内；样本量小的分层只适合观察趋势，不适合直接比较高低。
准确率与引用可信度需要结合看。答案准确率高但引用支持率低，说明结论可能来自模型已有知识而非知识库证据，这类答案在文档更新后容易失效；引用可追溯率高但时效合格率低，说明引用形式完整、来源已经过时。任何单一指标都不足以代表整体可信度。
文档本身的错误会传导为答案错误。判定时以权威文档为准，若权威文档内容有误，答案会被判为正确而实际业务结论错误，这类问题需要通过文档评审发现，不能靠问答评估指标识别。评估频率、题集更新节奏和判定人一致性同样影响结果：题集长期不更新会逐渐偏离真实提问分布，判定人更换后口径漂移会让跨期对比失真，分歧率上升时应先校准判定口径再解读得分。
把评估固化为持续机制：知识库与问答记录的衔接
评估要持续发挥作用，结果需要回落到文档维护和问答记录管理上，形成“评估发现问题—文档负责人处理—复审确认—下期复评”的闭环。具体动作包括：按文档域把引用时效不合格、引用支持不足的题次汇总给对应文档负责人；对过时文档打上待更新标记，进入更新与复审状态流转，复审通过后恢复为有效状态；问答记录与引用记录作为复核证据留存，支撑分歧题回溯和跨期对比。
这些动作可以借助研发管理工具承载。ONES Assistant 支持基于指定的 Wiki 页面组回答问题并附上引用来源，其问答与任务执行基于 ONES 权限体系，输出过程可追踪、结果可审计，便于把问答记录与引用记录纳入复核证据。评估中发现的过时文档和引用问题，可以在 ONES 中转为工作项分派给文档负责人，结合 Wiki 页面的状态流转与评审流程完成更新和复审，使评估结果直接进入文档维护流程，而不是停留在报告里。
常见问题
题集应该多久更新一次，更新后还能和上期得分直接比较吗？
题集更新节奏取决于真实提问分布的变化速度。文档域或问题类型发生明显调整时，应及时补充对应分层的新题；日常可按季度做一次题集复核，替换已失去代表性的题目。
题集一旦变动，跨期对比要谨慎：只有题集和判定口径都未变化的指标才适合直接比较。新增题目或调整分层比例后，建议同时报告新旧题集的得分，或把变动题次单独列出，避免把题集变化误读为问答质量变化。
答案没有给出引用，应该算引用错误还是单独统计？
建议单独统计，不计入引用类指标的分母。引用可追溯率、引用支持率、引用时效合格率的分母都是含引用作答数，未给引用的题次进入这些指标会混淆“没引用”和“引用错误”两类问题。
未给引用的题次可以单独记录数量与占比，并结合答案准确率一起看：准确率高但引用缺失多，说明答案可能依赖模型已有知识，文档更新后容易失效，这类题次值得在下一期重点抽样。
判定人之间分歧较大时，应该先调整指标还是先校准口径？
先校准口径。分歧率上升通常说明判定标准在执行层面出现了理解差异，例如对“段落是否支持结论”的宽严把握不一致，或对权威文档版本的确认方式不同。
处理方式可以是抽取分歧题集中复判，明确每类判定的边界示例，再回到正常评估。口径稳定之前，当期得分适合作为观察值，不宜直接与历史期做严格对比。
文档本身写错了，导致答案被判为正确，评估能发现吗？
常规问答评估难以发现这类问题。判定以权威文档为准，文档内容有误时答案会被判为正确，而实际业务结论错误。
这类问题需要通过文档评审和业务复核发现。可以把评估中反复被引用、影响面大的文档列入重点评审范围，由文档负责人结合业务确认内容准确性，再回到问答评估中观察答案是否随之变化。
评估结果怎么落到具体人身上，避免报告写完就结束？
按文档域把问题题次汇总给对应文档负责人，是最直接的回流方式。引用时效不合格的题次指向需要复审的文档，引用支持不足的题次指向段落结构或内容需要补充的文档，两类问题分别处理。
过时文档打上待更新标记，进入更新与复审状态流转，复审通过后恢复有效；问答记录与引用记录留存作复核证据。这些动作可以借助研发管理工具承载，例如在 ONES 中把问题转为工作项分派，结合 Wiki 页面状态流转与评审流程完成更新，使评估结果进入文档维护流程。
