知识问答准确率通常按“判定为正确的回答数 ÷ 参与评估的回答总数”计算：分母是纳入评估的问题样本量，分子是同时满足答案内容正确、引用依据可追溯的回答数。要让这个比率可复算、可比较，先固定评估集与判定标准，再按问题类型分层统计，并单独报告无答案、拒答和引用缺失的情况，避免单一比率掩盖口径差异。
要点总览（TL;DR）
- 知识问答准确率 = 判定为正确的回答数 ÷ 参与评估的回答总数 × 100%，分子要求内容正确且引用可追溯，分母是完成标注、纳入本次评估的问题样本量。
- 先固定评估对象（回答内容、检索结果或端到端可用性）和用途（验收、版本对比或日常监控），口径一旦确定，评估过程中调整需重新计算。
- 按问题类型分层统计，总体准确率注明采用样本量加权还是简单平均；分母为零、标注缺失、样本剔除等边界情形按规则单独记录。
- 准确率需与覆盖率、拒答率、引用缺失率配合解读，版本对比要求同一评估集版本、同一判定规则和相近样本量。
评估目标：准确率要回答哪个问题
准确率是一个比率，分子和分母都可以随评估对象变化。动手设计评估集之前，先写清这份准确率要回答什么问题，否则同一套问答系统在不同团队手里会算出差异很大的数字。
评估对象通常有三种选择。第一种只看回答内容：答案中的事实、结论、步骤是否与权威资料一致，检索环节是否召回了正确文档不在考察范围内。第二种只看检索结果：正确依据是否出现在召回结果中，回答如何组织不作判定。第三种看端到端可用性：用户拿到这条回答，能否直接据此完成操作或做出判断，内容正确但引用缺失、格式混乱、答非所问都算失败。三种口径的分母可以相同，分子判定却完全不同，混用会让结果失去解释力。
评估用途决定口径的严格程度。上线验收关注系统是否达到约定的质量门槛，判定标准应事先冻结，样本覆盖高频与高风险问题；版本对比关注新旧版本在同一评估集上的差异，要求两版使用完全相同的题目、参考答案和标注人员；日常监控关注质量是否发生漂移，可以抽样、可以简化流程，但要保持抽样规则和判定规则稳定。结论的使用者同样影响呈现方式：给研发团队看，需要定位到具体失败类型；给业务负责人看，需要说明准确率对应的用户影响范围。
一份可用的评估目标说明至少包含四项内容：评估对象（内容、检索或端到端）、评估用途（验收、对比或监控）、结论使用者和决策场景、本次评估不覆盖的范围。这份说明应在评估开始前定稿，评估过程中如需调整，记录调整原因并重新计算，不把新旧口径的结果直接放在一起比较。
指标与范围：样本集、问题类型与统计单位
分母来自评估集，评估集的设计直接决定准确率代表什么。样本集应围绕真实使用场景构建：从用户实际提问中抽样，补充业务专家认为必须覆盖的高频问题和风险问题，再按问题类型分层配置。样本量没有统一标准，但需要与结论精度匹配——样本越小，单条回答对总体比率的影响越大，结论越容易被个别案例左右。
问题类型分层是让结果可解释的关键。常见分层包括：事实型问题（查询明确的事实、参数、定义）、流程型问题（操作步骤、审批路径、处理规范）、多跳问题（需要组合多份资料才能回答）、无答案问题（知识库中确实没有对应内容）、时效型问题（答案随版本或时间变化）。不同层级的准确率往往差异明显，只报总体数字会掩盖薄弱环节。
| 分层维度 | 示例类型 | 关注点 |
|---|---|---|
| 问题形态 | 事实型、流程型、多跳、无答案、时效型 | 各类型准确率差异，定位薄弱环节 |
| 业务领域 | 产品文档、研发规范、运维手册、人事制度 | 知识覆盖是否均衡 |
| 风险等级 | 高（涉及合规、安全、对外承诺）、中、低 | 高风险问题是否单独达标 |
| 提问方式 | 标准问法、口语化问法、含错别字问法 | 系统对真实表达的鲁棒性 |
统计单位需要明确到“一条什么”。以单条问答为统计单位时，一个问题的回答计一次，追问另起一条；以单轮会话为统计单位时，同一会话内的多轮问答合并判定，任一轮失败即整轮失败。前者适合定位问题，后者更接近用户实际体验，两者算出的比率不可直接比较。时间窗和版本范围同样要写进口径：评估覆盖哪个时间段内产生的回答、对应哪个系统版本或知识库版本，跨版本混合统计会让结果无法归因。
评估集与分层维度表建议记录：总样本量、各类型样本量及占比、抽样来源与抽样规则、评估时间窗、对应系统版本、评估集版本号。评估集一旦用于版本对比，后续增删题目应生成新版本号，旧结果保留原版本口径。
数据口径与证据：什么算“答对”
“答对”需要一份可复核的判定规则，让不同评估者对同一条回答得出相同结论。规则的核心是两件事：答案内容是否正确，引用依据是否支撑结论。
答案正确性的判定以参考答案为准。参考答案应来自权威资料，并在评估前由业务专家确认；对于存在多个正确表述的问题，参考答案记录判定要点而非唯一措辞。判定时对照要点逐项检查：关键事实是否准确、步骤是否完整可执行、结论是否与资料一致。引用依据要求回答标注的来源真实存在、可定位到具体段落，且内容确实支撑回答中的关键结论；引用存在但内容与结论无关，按引用不支撑处理。
| 情形 | 归类 | 是否计入分子 |
|---|---|---|
| 内容正确，引用可追溯且支撑结论 | 正确 | 计入 |
| 内容正确，引用缺失或无法定位 | 引用缺失 | 不计入，单独统计 |
| 关键结论正确，次要细节有误 | 部分正确 | 不计入，单独统计 |
| 内容正确但包含无关的冗余信息，不影响使用 | 冗余正确 | 计入，标注冗余 |
| 知识库无对应内容，系统明确说明无法回答 | 正确拒答 | 按无答案类单独计算 |
| 知识库有对应内容，系统拒答或答非所问 | 错误 | 不计入 |
| 回答包含错误事实或误导性结论 | 错误 | 不计入 |
部分正确与错误的边界最容易产生分歧。建议约定：影响用户据此行动的关键结论出错，判为错误；关键结论正确、辅助信息有偏差，判为部分正确。冗余正确是否计入分子取决于评估目标——验收场景可以计入，因为用户仍可正常使用；对比场景若关注回答简洁度，可单独统计冗余比例。
标注一致性通过双人标注与抽检校验保障。可先由两名标注者独立标注一批样本，计算一致率；对分歧样本组织讨论，形成补充规则并写入判定手册。正式标注阶段按一定比例抽检复核，记录复核发现的问题并回修。判定手册、参考答案、标注记录和分歧处理结论都应留存，作为结果可复核的证据。
计算步骤：公式、分母处理与分层汇总
基础公式为：准确率 = 判定为正确的回答数 ÷ 参与评估的回答总数 × 100%。分子是同时满足内容正确与引用可追溯的回答数，分母是完成标注、纳入本次评估的问题样本量。分子分母必须来自同一评估集版本、同一时间窗和同一系统版本。
分层准确率按问题类型分别计算，公式相同，分母换成该类型的样本量。总体准确率有两种汇总方式：一是直接用总正确数除以总样本量，各类型按样本量加权；二是对各类型准确率取简单平均，各类型权重相同。前者反映整体用户感受，后者便于观察小样本类型的变化。报告中应注明采用哪种方式，版本对比时两版使用同一方式。
边界情形按以下规则处理：
- 分母为零：某类型样本量为零时不计算该类型准确率，标注“无样本”，不按 0% 或 100% 填充，也不并入总体分子分母。
- 标注缺失：未完成标注的样本从分母中剔除，同时记录剔除数量；剔除比例过高时，结论需注明覆盖不完整。
- 样本剔除：因系统故障、数据损坏等原因无法评估的样本单独记录，不混入错误计数，避免把技术问题算成回答错误。
- 不可比样本：评估集版本、判定规则或系统版本发生变化的样本不参与跨版本对比，另建对比基线。
样本量影响结论的稳定性。可以用置信区间估计准确率的波动范围：样本量越小，区间越宽，两版之间几个百分点的差异可能只是抽样波动。报告准确率时同时给出样本量和区间，避免把微小差异解读为质量变化。对于高风险类型，即使样本量小，也应单独列出结果并说明不确定性。
算例：一组问答样本的完整计算
以下为演示情景，数字用于说明计算过程，不代表任何产品的实际表现。某团队构建了含 200 条问题的评估集，覆盖四个类型：事实型 80 条、流程型 60 条、多跳 40 条、无答案 20 条。评估对象为端到端可用性，判定规则采用上一节的表格。
标注结果如下：事实型正确 68 条、引用缺失 6 条、部分正确 4 条、错误 2 条；流程型正确 45 条、引用缺失 5 条、部分正确 6 条、错误 4 条；多跳正确 22 条、引用缺失 6 条、部分正确 7 条、错误 5 条；无答案类型中正确拒答 15 条、错误回答 5 条。全部样本完成标注，无剔除。
| 问题类型 | 样本量 | 正确数 | 类型准确率 |
|---|---|---|---|
| 事实型 | 80 | 68 | 85.0% |
| 流程型 | 60 | 45 | 75.0% |
| 多跳 | 40 | 22 | 55.0% |
| 无答案 | 20 | 15 | 75.0% |
| 合计 | 200 | 150 | 75.0% |
按样本量加权计算总体准确率：150 ÷ 200 = 75.0%。若对四个类型准确率取简单平均：(85.0% + 75.0% + 55.0% + 75.0%) ÷ 4 = 72.5%。两个结果相差 2.5 个百分点，原因是多跳类型样本占比低但准确率明显偏低，加权方式稀释了它的影响。报告时应注明采用加权口径，并单独披露多跳类型的 55.0%，提示这是薄弱环节。
引用缺失共 17 条（6 + 5 + 6），占全部样本的 8.5%，这部分回答内容可能正确但依据不可追溯，未计入分子。若团队决定将引用缺失视为可接受，准确率会升至 83.5%，但这会改变口径定义，需在报告中明确说明并重新计算历史数据，不能与旧口径结果直接比较。部分正确共 17 条，错误共 16 条（含无答案类型中的 5 条错误回答），三类合计 50 条，与 150 条正确数相加正好等于 200，可据此核对标注完整性。
解读与限制：准确率能说明什么、不能说明什么
准确率回答的是“在给定评估集上，回答正确的比例是多少”。它不回答知识库覆盖了多少用户问题，也不回答回答是否及时、是否易读。覆盖率低时，系统可能对大量问题拒答，而拒答在无答案类型中算正确，总体准确率看起来不低，用户实际体验却受限。因此准确率应与覆盖率、拒答率、引用可追溯率配合报告。
样本偏差会直接影响结论。评估集若以标准问法为主，口语化提问的失败不会被发现；若集中在某一业务领域，其他领域的质量无从判断。标注主观性同样存在，尤其是部分正确与错误的边界，不同评估者可能给出不同归类。通过双人标注、一致率校验和判定手册迭代，可以降低但不能消除这种偏差，报告中应说明标注方式和一致率水平。
版本间对比需要满足可比条件：同一评估集版本、同一判定规则、同一统计单位、相近的样本量和时间窗。任何一项变化都应视为新口径，重新建立基线。准确率提升也不构成因果保证——它说明在该评估集上表现更好，不能推断所有用户场景都同步改善，更不能替代对具体失败案例的分析。
建议将准确率与以下指标配合使用：分层准确率定位薄弱类型，引用缺失率反映依据质量，拒答率与覆盖率反映系统可用范围，错误类型分布指导后续优化方向。单一准确率适合作为质量概览，不适合作为唯一验收依据或绩效结论。
当评估从一次性验收转为持续监控，评估集、标注结果、版本对比记录需要在团队间稳定流转。可以在 ONES 中把每条评估样本建为工作项，记录问题、参考答案、标注结论和证据链接，按评估集版本和系统版本分组管理；判定手册与评估报告以文档形式随版本归档，版本对比时直接引用同一评估集下的历史结果。这样准确率的计算口径、样本范围和结论依据都有据可查，后续复算和交接不必依赖个人记忆。
常见问题
评估集里的问题应该从哪里来，抽多少条才够用？
问题来源以真实使用场景为主：从用户实际提问中抽样，再补充业务专家认为必须覆盖的高频问题和风险问题。样本量没有统一标准，需要与结论精度匹配——样本越小，单条回答对总体比率的影响越大。可以用置信区间估计波动范围，报告准确率时同时给出样本量和区间，避免把几个百分点的差异直接解读为质量变化。
同一个问题有多个正确表述时，怎么判定回答是否正确？
参考答案记录判定要点而非唯一措辞，评估前由业务专家确认。判定时对照要点逐项检查：关键事实是否准确、步骤是否完整可执行、结论是否与资料一致。关键结论正确、辅助信息有偏差的归为部分正确；影响用户据此行动的关键结论出错，判为错误。分歧样本组织讨论后形成补充规则，写入判定手册。
系统对知识库中没有的内容明确拒答，这条算答对还是答错？
这属于无答案类型，应单独计算，不并入常规准确率的分子分母。知识库确实没有对应内容、系统明确说明无法回答，按正确拒答统计；知识库有对应内容却拒答或答非所问，按错误统计。把无答案类型混入总体比率，会让拒答行为和内容正确性互相稀释，结果难以解释。
两个版本的准确率相差 3 个百分点，可以直接说新版本更好吗？
需要先确认可比条件：同一评估集版本、同一判定规则、同一统计单位、相近的样本量和时间窗。条件满足后，还要看差异是否超出抽样波动范围——样本量较小时，3 个百分点可能只是随机波动。建议同时查看分层准确率，确认提升集中在哪些问题类型，并结合具体失败案例分析，再下结论。
日常监控阶段还需要每次都做双人标注吗？
日常监控可以简化流程，但抽样规则和判定规则要保持稳定，否则前后结果无法比较。双人标注主要用于建立和校准判定标准：初期通过独立标注计算一致率、处理分歧、完善判定手册；进入稳定期后可按比例抽检复核，记录发现的问题并回修。判定手册和标注记录持续留存，便于复算和交接。
