知识问答准确率是回答正确的问题数占参与评估问题数的比例。要得到可复算、可比较的结果，先要把“正确”定义成可判定的标准，再固定题目集、判定人和时间窗；计算时用正确条数除以有效评估条数，分母剔除无法判定和题目本身有误的样本并单独记录。单看一个百分比不足以说明问答系统整体可用，还需要结合题型分布、检索命中与拒答表现一起解读。
要点总览（TL;DR）
- 知识问答准确率 = 判定正确条数 ÷ 有效评估条数 × 100%，分母剔除无法判定、题目有误和超纲样本，并单独披露剔除量。
- “答对”要先写成可判定标准：要点覆盖、事实无误、引用可追溯，配合双人复核与分歧仲裁，保留原始问答记录作为证据。
- 题目集需固定来源、规模、题型配比、知识库快照和时间窗，否则不同批次与版本的结果不能直接比较。
- 分母为零时不输出百分比，改为报告样本不足；总体准确率与分题型准确率应同时呈现。
- 准确率要结合拒答率、检索命中与可追溯性一起解读，单一百分比不能说明问答系统整体可用。
评估目标：准确率要回答哪个问题
准确率评估的对象应当是问答系统面向用户给出的最终回答，而不是检索排序结果，也不是模型训练过程中的损失值。检索排序衡量的是候选文档的排列质量，训练效果衡量的是模型在训练数据上的拟合程度，二者都可能与用户最终看到的回答质量不一致。把评估对象锁定在“用户提问—系统回答”这一层，后续的题目设计、判定标准和结论表述才有共同的落点。
同一个准确率数字，在不同用途下的严格程度并不相同。上线前验收关注的是系统能否达到约定的质量门槛，判定标准应提前固化，题目集应覆盖主要业务题型，避免用容易的题目凑出好看的数字。版本对比关注的是新旧版本之间的差异是否真实存在，要求两版使用同一题目集、同一判定人和同一知识库快照，否则差异可能来自题目或知识变化。日常监控关注的是质量是否出现异常波动，可以适当缩小题目集、提高评估频次，但需要保持题型结构稳定，便于纵向比较。
准确率能回答的问题是：在给定的题目集和判定标准下，系统回答正确的比例是多少。它不能回答的问题包括：回答是否及时、用户是否满意、系统在未覆盖题型上的表现如何、错误回答会造成多大业务影响。评估开始前把这些边界写清楚，可以避免后续把单一指标直接当成系统整体结论。建议在评估方案中形成一段目标陈述，写明评估对象、用途、结论的使用方式以及明确不纳入判断的内容。
指标与范围：题目集、题型与统计边界
分母的来源决定结果的可比性。题目集应说明来源、规模与抽样方式：来源可以是真实用户提问日志、业务专家编写、历史工单整理或几者组合；规模要写明总题数和实际参与评估的题数；抽样方式要说明是随机抽取、分层抽样还是全量纳入。若从提问日志中抽样，应记录抽样时间范围和去重规则，避免同一问题以不同措辞重复计入。
题型分类直接影响总体数值的含义。建议至少区分四类：事实型问题要求给出明确事实或数值；流程型问题要求说明步骤、条件或操作顺序；多跳问题需要综合多个文档或页面才能回答；需拒答类问题在现有知识范围内没有可靠答案，系统应当明确表示无法回答而不是编造。不同题型的难度差异明显，题型分布变化会改变总体准确率，因此题目集应固定题型配比，或在结果中同时披露分布。
| 题型 | 题数 | 来源 | 考察重点 |
|---|---|---|---|
| 事实型 | 80 | 业务专家编写 | 事实、数值、定义是否准确 |
| 流程型 | 50 | 历史工单整理 | 步骤完整性与条件说明 |
| 多跳 | 40 | 真实提问日志抽样 | 跨文档信息整合 |
| 需拒答类 | 30 | 业务专家编写 | 是否识别知识缺口并拒答 |
| 合计 | 200 | — | — |
统计边界需要固定三项内容：时间窗，即题目对应的提问时间和评估执行时间；版本，即被评估的问答系统版本；知识库快照，即回答所依据的文档、页面或数据在评估时的状态。知识库在评估期间发生更新，会让同一题目在不同时间得到不同回答，因此应记录快照标识，必要时在评估期间冻结知识库变更。本文讨论的是准确率的计算与解读，RAG 底层工程实现、向量库选型、模型训练与微调方法不在范围内，传统检索系统的排序与召回评估也不在此展开。
数据口径：什么算“答对”
正确性判定需要先写成可执行的标准，再交给判定人使用。建议从三个维度定义：要点覆盖，即参考答案中的关键信息是否在回答中出现，缺一不可或多答无关内容都应有明确规则；事实无误，即回答中的事实、数值、条件与知识库一致，不存在编造；引用可追溯，即回答给出的依据能够定位到具体文档或页面，便于复核。三个维度可以合并为“通过/不通过”的二值判定，也可以按维度分别记录，便于定位错误类型。
判定人安排影响结果稳定性。建议由熟悉业务的人员担任主判定，另设一名复核人对判定结果抽查或全量复核，两人意见不一致时由第三人仲裁并记录仲裁理由。判定前应进行校准，用同一批样例题让判定人独立判定，比较分歧点并统一口径。判定记录至少包含以下字段：题目编号、题型、提问内容、系统回答原文、参考答案、判定结论、判定依据、判定人、复核人、判定时间、知识库快照标识。原始问答记录应完整保留，作为结论的证据，不能只保留判定结论。
边界样本需要单独处理并记录，不能简单计入正确或错误。无法判定指参考答案本身存在歧义、判定人无法形成一致意见；题目有误指题目表述错误、参考答案与知识库冲突或题目超出评估范围；超纲题指题目涉及的知识不在本次知识库快照覆盖范围内。这三类样本应从分母中剔除，同时单独披露剔除数量和原因。剔除量过大时，说明题目集设计或知识库覆盖存在问题，应优先修正题目集，而不是直接报告一个基于少量样本的百分比。
计算步骤：公式、分母与缺失值处理
准确率的基本公式为：准确率 = 判定正确条数 ÷ 有效评估条数 × 100%。其中有效评估条数 = 参与评估总条数 − 无法判定条数 − 题目有误条数 − 超纲条数。分子只计入判定结论为“正确”的条数，判定为“错误”的条数留在分母中，不能因为回答质量差而剔除。
计算流程建议按以下步骤执行：
- 汇总原始记录，按题目编号核对每条记录是否具备完整字段。
- 标记无法判定、题目有误和超纲样本，移出分母并单独列表。
- 统计有效评估条数，确认其与总条数、剔除条数之和一致。
- 按题型分别统计正确条数和有效条数，计算分题型准确率。
- 用全部正确条数除以全部有效条数，得到总体准确率。
- 按版本和时间窗分组重复上述统计，形成可对比的结果表。
分母为零时不输出百分比，改为报告“样本不足，无法计算准确率”，并说明剔除原因和剔除量。分题型准确率与总体准确率应同时呈现：总体准确率反映题目集整体表现，分题型准确率揭示结构性差异，二者不一致时以分题型结果解释总体数值的来源。按版本、时间窗分组统计时，应保证各组使用相同的题目集和判定标准，否则只能作为参考，不能直接比较。
算例：一次 200 题评估的完整计算
以下为演示情景，用于说明计算过程，数字为示例数据。某次评估共纳入 200 题，题型分布为事实型 80 题、流程型 50 题、多跳 40 题、需拒答类 30 题。判定过程中发现无法判定 4 题、题目有误 3 题、超纲 3 题，合计剔除 10 题，有效评估条数为 190 题。
| 题型 | 纳入题数 | 剔除题数 | 有效条数 | 判定正确条数 | 分题型准确率 |
|---|---|---|---|---|---|
| 事实型 | 80 | 2 | 78 | 70 | 89.7% |
| 流程型 | 50 | 3 | 47 | 36 | 76.6% |
| 多跳 | 40 | 3 | 37 | 22 | 59.5% |
| 需拒答类 | 30 | 2 | 28 | 24 | 85.7% |
| 合计 | 200 | 10 | 190 | 152 | 80.0% |
总体准确率 = 152 ÷ 190 × 100% ≈ 80.0%。剔除的 10 题中，无法判定 4 题、题目有误 3 题、超纲 3 题，剔除量占纳入题数的 5.0%，应在结果中单独披露。若只看总体 80.0%，容易忽略多跳题型 59.5% 的明显偏低；结合分题型结果，可以判断短板集中在跨文档信息整合，后续应优先补充多跳题目的知识覆盖或改进回答组织方式。需拒答类 85.7% 说明多数知识缺口被识别，但仍有部分题目给出了不应给出的回答，需要结合拒答率进一步分析。
解读与限制：准确率之外要看什么
准确率需要与拒答率、检索命中情况和回答可追溯性一起看。拒答率反映系统在知识不足时是否选择不回答，准确率高但拒答率异常低，可能意味着系统倾向于编造；检索命中反映回答所依据的内容是否被正确找到，命中低而准确率尚可，说明回答可能依赖了题目集之外的偶然信息；可追溯性反映回答能否定位到依据，缺少引用会让复核和纠错变得困难。三项指标与准确率组合，才能形成对问答质量的较完整判断。
样本偏差是解读时最常见的风险。题型分布变化会直接改变总体数值：多跳题占比提高，总体准确率通常下降；事实型题占比提高，总体准确率通常上升。因此版本对比的前提是题目集、题型配比、判定标准和知识库快照保持一致，任何一项变化都应在新口径下重新建立基线。准确率是描述性指标，不构成因果保证，不能直接外推到全部业务问题，也不能据此推断系统在未测试题型上的表现。
结论表述建议采用限定语，例如“在本次 190 条有效样本、固定题型配比和知识库快照下，总体准确率为 80.0%，其中多跳题型为 59.5%，建议优先补充该题型相关知识覆盖后复测”。后续验证方向可以包括：扩大多跳题目样本、增加需拒答类题目的覆盖、对错误回答做归因分类、在知识库更新后按同一题目集复测。评估题目、判定记录和结论需要由工作项与文档承载，便于复核和版本对比。在 ONES 中，评估任务可以拆成工作项跟踪进度，判定记录与结论沉淀在 Wiki 页面，ONES Assistant 智能助手能够基于指定 Wiki 页面组回答问题并附上引用来源，便于在评估过程中快速核对知识依据；其知识问答和任务执行在 ONES 权限体系内进行，输出过程可追踪、结果可审计，为判定记录的留存和复核提供承载。
常见问题
题目集里既有事实型又有多跳题，总体准确率还能直接和上一版比较吗？
只有在题目集、题型配比、判定标准和知识库快照都保持一致时，两版总体准确率才具备直接可比性。如果新版题目集提高了多跳题占比，总体数值下降可能来自题目变难，而非系统变差。遇到题目集调整，建议在新口径下重新建立基线，同时保留分题型结果，用同一题型的准确率变化判断系统本身的差异。
判定人和复核人对同一道题意见不一致，这条记录怎么处理？
先由第三人仲裁并记录仲裁理由，形成最终判定结论，这条记录仍留在有效评估条数中。若分歧源于参考答案本身存在歧义，应将该题标记为无法判定，移出分母并单独披露。分歧集中的题目类型值得复盘，往往说明判定标准中某些维度写得不够具体，可以在下一轮评估前补充判定细则并重新校准判定人。
剔除样本占比多少算异常，需要停下来修题目集？
没有通用的阈值，判断依据是剔除原因的结构。若剔除主要来自题目有误或超纲，说明题目集设计与知识库覆盖不匹配，应先修题目集再报告准确率；若主要来自无法判定，说明判定标准或参考答案需要细化。剔除量较大时，即便算出一个百分比，其代表性也有限，建议在结论中同时给出剔除量和原因分布，供读者判断结果可信程度。
准确率不错，但用户仍反馈答非所问，该补看哪些指标？
可以补看三类信息：拒答率，判断系统在知识不足时是否倾向于给出编造回答；检索命中情况，判断回答依据是否被正确找到；回答可追溯性，判断回答能否定位到具体文档或页面。此外可对错误回答做归因分类，区分知识缺失、检索偏差和表述偏差，再决定是补知识覆盖还是改回答组织方式。
评估题目、判定记录和结论放在哪里，便于后续复测和版本对比？
评估题目和判定任务适合拆成工作项跟踪进度与责任人，判定记录和结论沉淀在文档页面中，保留题目编号、回答原文、判定依据和知识库快照标识。在 ONES 中，评估任务可以用工作项承载，判定记录与结论沉淀在 Wiki 页面；ONES Assistant 智能助手能够基于指定 Wiki 页面组回答问题并附上引用来源，便于评估过程中快速核对知识依据，其知识问答和任务执行在 ONES 权限体系内进行，输出过程可追踪、结果可审计。
