知识问答准确率的统计口径，核心是先固定三件事：判定对象是答案整体还是答案中的关键事实，判定依据是标准答案还是可核验的原文出处，分母是全部提问还是只统计有标准答案的提问。这三项确定后，把判定规则写成可复算的形式，准确率才能在不同批次、不同评审人之间保持一致。本文给出公式、判定规则、计算步骤和一个完整算例，评估范围聚焦知识获取与可信回答环节，不涉及检索排序调优和模型训练。
要点总览（TL;DR）
- 先固定三件事：判定对象是答案整体还是关键事实，判定依据是标准答案还是可核验原文出处，分母是全部提问还是仅有标准答案的提问。
- 公式为准确率=判定正确的有效题数÷有效题数×100%，无标准答案、题目歧义、系统故障三类题目不计入分母，拒答题单独报告。
- 判定规则要要点化：每题列出必须命中的事实要点并标注知识库原文出处与版本，同义表述可算对，数值与单位必须一致，采用双人独立判定加分歧仲裁。
- 结果按场景、问题类型、难度分组汇总，跨版本比较须同口径、同题目集、同一知识库快照，样本过少时只报题数与正确数。
- 准确率用于定位问题和验证改进，需结合拒答率、无答案题占比、引用可核验率一起解读，不能单独作为系统整体质量结论。
评估目标：准确率要回答哪个问题
准确率是一个结果指标，它回答的是“系统给出的回答中，有多少条在事实层面站得住”。在确定口径之前，先写清楚这个数字要支撑什么决策，否则分子分母的取舍会随场景漂移。常见的决策用途有三类：上线准入，判断当前版本是否达到可发布状态；版本对比，判断一次知识库更新或提示词调整是否带来改善；场景可用性判断，判断某类业务问题是否适合交给问答系统处理。三类用途对题目集构成和判定严格度的要求不同，应在评估目标说明中分别写明。
评估对象是问答结果本身，即用户提问后系统给出的答案文本及其引用。检索环节的召回排序、向量索引参数、模型训练与微调属于另外的评估范畴，不纳入本口径。这样划分的原因是：准确率衡量的是最终交付给用户的内容质量，底层工程指标改善未必同步反映在答案正确性上，混在一起统计会让结论无法归因。
准确率需要与几个配套指标分工使用，单独看准确率容易误判系统状态。建议在同一份评估目标说明中列出以下指标清单：
| 指标 | 回答的问题 | 与准确率的关系 |
|---|---|---|
| 准确率 | 有效题目中判定正确的比例 | 主指标，衡量答案事实质量 |
| 拒答率 | 系统明确表示无法回答的比例 | 拒答题目通常不计入准确率分母，需单独报告 |
| 无答案题占比 | 题目集本身在知识库中找不到依据的比例 | 反映题目集与知识库的匹配度，影响分母有效性 |
| 引用可核验率 | 答案所附出处能在知识库中定位到原文的比例 | 支撑准确率判定的可信度，编造出处应计为错误 |
| 覆盖率 | 真实提问分布中被题目集代表的比例 | 约束准确率结论的外推范围 |
评估目标说明建议包含四段内容：评估对象（问答结果）、决策用途（准入、对比或场景判断）、配套指标清单、明确排除的范围。这份说明是后续所有口径讨论的依据，口径调整时应同步修订。
指标与范围：分子分母怎么定
准确率的基本公式为：准确率 = 判定正确的有效题数 ÷ 有效题数 × 100%。分子是判定为正确的题目数量，分母是有效题数，两者都以单条提问为统计单位。若一次提问包含多个子问题，应在题目集中拆分为独立条目，避免一条记录内混合对错而无法计数。
有效题数的定义直接决定分母大小，需要逐项写明排除规则。以下三类题目不计入分母：题目在知识库中确实没有标准答案，属于超出知识范围的问题；题目本身表述有歧义，不同评审人无法就“正确答案是什么”达成一致；评估期间出现系统故障、超时或返回空内容等非正常结果。排除项必须在评估记录中逐条标注原因，便于复核时还原分母构成。
统计单位与时间窗同样需要固定。统计单位建议采用单条提问，多轮会话中若后续追问引入新事实，追问单独计为一条题目。时间窗指同一版本、同一知识库快照下的统计区间：知识库在评估期间发生内容更新，应重新冻结快照后统计，否则同一题目在不同时间点可能得到不同判定。版本口径应记录系统版本号、知识库快照标识和题目集版本号三项，缺一项则结果不可复算。
题目集通过分层抽样构成，而不是随手收集。分层维度建议包括业务场景（如产品文档、测试规范、运维手册）、问题类型（事实查询、流程说明、对比判断、数值计算）和难度（单文档可直接回答、需跨文档整合、需理解上下文）。每层设定最低题目数量，保证分组统计时有足够样本。题目来源应覆盖真实用户提问记录与业务方补充的典型问题，前者保证代表性，后者补齐低频但重要的场景。
| 口径项 | 定义 | 记录要求 |
|---|---|---|
| 分子 | 判定正确的有效题数 | 逐题判定结果与命中要点 |
| 分母 | 有效题数 = 总题数 − 无标准答案题 − 歧义题 − 系统故障题 | 排除项及原因逐条标注 |
| 统计单位 | 单条提问 | 多子问题拆分记录 |
| 时间窗 | 同一系统版本、同一知识库快照 | 版本号、快照标识、题目集版本 |
| 题目集构成 | 按场景、问题类型、难度分层抽样 | 各层题目数量与来源 |
数据口径与证据：判定依据从哪里来
判定一条回答是否正确，依据应来自知识库原文，而不是评审人的个人经验。做法是为每道题准备一张判定规则卡，卡上列出该题必须命中的事实要点，每个要点标注对应的知识库文档段落及文档版本。评审时逐条核对答案是否覆盖要点、表述是否与原文一致，判定结果和依据一并记录。这样即使换一位评审人，也能沿同一份证据得出相同结论。
标准答案要点化是保证可复现的关键。一道题通常列出二到四个必须命中的要点，要点应写成可判断的事实陈述，例如具体数值、适用条件、责任角色或操作步骤顺序。要点过多会让判定趋于苛刻，过少则无法区分部分正确与完全正确，建议在题目集设计阶段由业务方与评估负责人共同确认。
允许表述差异的规则需要提前写明。同义表述、语序调整、详略不同的解释，只要事实要点一致即可判为正确；数值、单位、时间范围、版本号必须与原文完全一致，出现偏差即判为错误。涉及条件限定的回答，遗漏限定条件按遗漏关键要点处理，因为脱离条件的结论在实际使用中可能产生误导。
错误分级建议分为四类，便于后续定位问题来源：事实错误，答案与原文矛盾；遗漏关键要点，答案方向正确但缺少必要条件或数值；答非所问，答案未回应问题所问；编造出处，引用的文档或段落无法在知识库中定位。四类错误对应不同的改进方向，汇总时应分别计数，而不是只给一个错误总数。
评审人一致性通过双人独立判定加分歧仲裁实现。两名评审人先各自独立判定，不互相参考；判定不一致的题目进入仲裁环节，由第三人或评估负责人依据规则卡裁定，并记录分歧原因。分歧原因本身是有价值的产出，若某类分歧反复出现，说明判定规则需要补充说明，应在下一轮评估前修订规则卡。
判定记录建议包含以下字段：题目编号、问题原文、标准答案要点、出处文档与版本、系统回答、命中要点数、判定结果、错误类型、评审人、分歧原因、仲裁结论。这些字段构成一条完整的证据链，支撑准确率数字被他人复核。
计算与评估步骤：从题目集到准确率
计算流程按五步执行，每一步都留下可检查的产物，保证结果可复算。
第一步，冻结题目集与知识库版本。确认题目集版本号、系统版本号和知识库快照标识，将三者写入评估记录首页。冻结后评估期间不再增删题目，如需补充题目，另开一轮评估。
第二步，逐题判定并记录命中要点数与错误类型。评审人对照规则卡核对答案，填写判定结果；判定为错误的题目标注四类错误中的具体类型；拒答、无答案、系统故障的题目单独标记，不进入正确或错误的计数。
第三步，按公式汇总总体准确率。统计有效题数、判定正确题数，计算比值并保留一位小数。同时汇总拒答题数、无答案题数和无法判定题数，作为单独报告项列出。
第四步，按场景、问题类型分组计算。对每个分层分别计算准确率，观察层间差异。分组样本过少时（例如少于十题），只报告题数与正确数，不单独给出百分比，避免小样本比例造成误读。
第五步，抽样复核与分歧复盘。从已判定题目中抽取一定比例由未参与初判的人员复核，核对判定与证据是否一致；汇总本轮分歧原因，判断是否需要修订规则卡。复核发现系统性偏差时，应修正判定并重新汇总，同时在记录中保留修正前后的数字。
汇总表建议按以下结构组织：总体一行，各场景、各问题类型、各难度分层各一行，列包括总题数、排除题数、有效题数、正确题数、准确率、拒答数、主要错误类型分布。这张表既是计算产物，也是向他人解释结果的载体。
评估题目集、判定记录和仲裁结论需要有一个稳定的承载位置，供多人协作和后续追溯。ONES Assistant 可基于指定的 Wiki 页面组回答问题并附上引用来源，团队可以把评估题目、标准答案要点和判定记录整理在 Wiki 页面中，让评审人围绕同一份材料工作；其知识问答基于 ONES 权限体系运行，输出过程可追踪、结果可审计，便于在复核环节还原判定依据。需要说明的是，这套承载方式服务于评估流程的管理动作，准确率的计算方法本身仍按前述口径执行。
例子：一次可复算的准确率统计
以下为演示情景，数字用于说明计算过程，不代表任何真实系统的评估结果。
假设某团队构建了一个包含一百二十道题的知识问答评估集，按场景分为产品文档四十题、测试规范四十题、运维手册四十题；按问题类型分为事实查询六十题、流程说明三十六题、数值计算二十四题。评估在某一系统版本和固定知识库快照下完成。
判定结果如下：一百二十题中，有六题在知识库中找不到依据，判为无答案题；有三题因表述歧义无法确定标准答案，判为无法判定题；有一题因系统超时未返回内容，判为系统故障题。三项合计十题不计入分母，有效题数为一百一十题。
有效题中，判定正确八十八题，判定错误十四题，系统明确拒答八题。拒答题不计入分子，也不计入分母中的正确与错误计数，单独报告。因此总体准确率为 88 ÷ 110 × 100% ≈ 80.0%。
分组计算时，产品文档场景有效题三十七题、正确三十四题，准确率约 91.9%；测试规范场景有效题三十六题、正确二十八题，准确率约 77.8%；运维手册场景有效题三十七题、正确二十六题，准确率约 70.3%。三组差异提示运维手册类问题的回答质量偏弱，可进一步查看该组错误类型分布，若以遗漏关键要点为主，说明答案覆盖不完整；若以事实错误为主，则需检查知识库内容是否过期。
错误类型分布为：事实错误五题、遗漏关键要点六题、答非所问两题、编造出处一题。编造出处虽然只有一题，但属于可信度问题，应单独列出并在改进清单中优先处理。
分母为零或样本过少的情况需要明确处理方式。若某一分层在排除后有效题数为零，该组不计算准确率，只报告题目数与排除原因；若有效题数少于十题，报告正确数与有效题数，不给出百分比，或在给出百分比的同时标注样本量。跨组比较时，应确认各组使用同一题目集版本和同一知识库快照，否则差异可能来自口径变化而非系统表现。
解读与限制：准确率能说明什么、不能说明什么
准确率反映的是在给定题目集上，答案在事实层面正确的比例。它能支撑版本间的相对比较和问题定位，但不能单独作为系统整体质量的结论。解读时应同时查看拒答率、无答案题占比和引用可核验率，任何一个指标异常都可能改变对准确率的理解。例如准确率较高但拒答率也高，说明系统对不确定的问题选择不答，实际可用范围可能小于数字给人的印象。
准确率对题目集构成敏感。同一系统在两套题目集上可能得到明显不同的数字，因此跨版本比较必须使用同一题目集、同一口径、同一知识库快照。题目集更新后，新旧数字不具备直接可比性，应重新建立基线。对外汇报时应注明题目集版本和样本量，避免读者把单次数字当作长期水平。
样本量和场景覆盖决定结论的置信程度。题目总数较少、分层样本不足或场景单一时，准确率的波动区间较大，适合作为方向性参考，不适合作为准入的唯一依据。若评估目的是上线准入，建议设定最低题目数量和分层覆盖要求，并在结果中标注未覆盖的场景。
准确率用于定位问题和验证改进，不直接等同于业务效果。答案正确率提升，未必同步带来用户采纳率或问题解决率的提升，后者还受回答速度、呈现方式和使用场景影响。把准确率作为改进闭环中的一环，配合错误类型分析和分组对比，才能形成可执行的优化清单。评估流程中的题目管理、判定记录和分歧仲裁属于协作动作，可以在 ONES 中依托 Wiki 页面和权限体系承载，让每轮评估的依据可追溯、结论可复核。
常见问题
题目集里有部分问题在知识库中找不到依据，这些题应该算错还是排除？
这类题目属于无答案题，应从分母中排除，不计入正确也不计入错误，同时在评估记录中逐条标注原因并单独报告占比。理由是：题目本身超出知识库覆盖范围，系统无论怎么回答都无法判定对错，计入错误会低估答案质量，计入正确则虚高。无答案题占比本身是有价值的指标，它反映题目集与知识库的匹配度；如果占比过高，说明题目集设计或知识库覆盖需要先调整，再谈准确率。
系统拒答的题目，在准确率里怎么处理？
拒答题不计入分子，也不计入分母中的正确与错误计数，作为单独报告项列出。这样处理的原因是拒答代表系统主动表示无法回答，与答错是两种不同的行为，混在一起会掩盖真实问题。解读时要同时看拒答率和准确率：准确率高但拒答率也高，说明系统对不确定的问题选择不答，实际可用范围可能小于数字给人的印象。若业务上希望减少拒答，应把拒答题单独作为改进对象分析，而不是通过调整分母来改变准确率。
两轮评估之间知识库更新了内容，准确率还能直接比较吗？
不能直接比较。准确率的可比性依赖同一题目集、同一口径、同一知识库快照三个条件同时成立。知识库更新后，同一道题的标准答案要点和原文出处可能已经变化，判定结果随之改变，数字差异无法区分是系统改进还是知识库变化带来的。正确做法是：知识库更新后重新冻结快照，用同一题目集重新评估并建立新基线，新旧数字并列展示时注明各自的快照标识和题目集版本。若必须评估知识库更新本身的影响，应固定系统版本，只变更知识库快照，单独做一轮对照。
评审人对某道题判定不一致时，怎么处理才不影响整体口径？
先由两名评审人各自独立判定、不互相参考，不一致的题目进入仲裁，由第三人或评估负责人依据判定规则卡裁定，并记录分歧原因。分歧原因要分类统计：如果某类分歧反复出现，说明规则卡对该情形的说明不足，应在下一轮评估前补充规则，而不是逐题临时裁定。仲裁结论和分歧原因都要写入判定记录，保证他人复核时能还原判定过程。若分歧集中在标准答案本身有歧义，该题应按无法判定题排除出分母，并回到题目集设计环节修订。
分组样本很少时，还要不要给出分组准确率？
有效题数少于十题的分层，建议只报告题数与正确数，不单独给出百分比；确需给出时，必须在同一位置标注样本量。小样本的比例波动很大，一题之差就可能让百分比变化数个点，容易被误读为系统表现的显著差异。若某一分层排除后有效题数为零，该组不计算准确率，只报告题目数和排除原因。跨组比较前还要确认各组使用同一题目集版本和同一知识库快照，否则差异可能来自口径变化而非系统表现。
