评估中文研发知识问答的准确率，先要把“准确”拆成可判定的口径：答案结论是否正确、引用是否支撑答案、关键字段是否齐全、无法回答时是否如实拒答。本文给出一套可复算的评估方法，包括指标定义、评测集与标注规则、计算公式和一份20题的完整算例，并说明结果能支持哪些结论、在哪些条件下需要谨慎。
要点总览（TL;DR）
- 评估中文研发知识问答准确率，先把“答对”拆成结论正确、引用支撑、边界诚实三层，分别对应答案准确率、引用可核验率和拒答正确率。
- 评测集由真实提问、文档派生题和人工边界题三类样本构成，每条样本固定标准答案要点、可接受引用、应拒答标记和关键字段清单，双人标注加仲裁保证可复核。
- 四个指标各有独立分母：答案准确率按参评样本计，字段准确率按应填字段计，引用可核验率只统计有引用的答案，拒答正确率分应拒答与不应拒答两个方向。
- 分母为零记为不适用，样本量小时同时给出分子分母原始数字；分组结果与整体结果并列，整体比例由各组合并计算，不做各组简单平均。
- 单次准确率是特定评测集和时间窗内的点估计，版本对比需保持评测集、标注规则和时间窗一致，上线验收的通过标准应在评估前约定。
评估目标：先定义“答对”在研发场景里指什么
评估对象是知识库问答系统的输出，包括答案正文和随答案给出的引用片段，不涉及模型训练过程、向量检索参数或排序策略。评估要回答的问题是：给定一道中文研发问题，系统给出的答案在业务上能否被直接采用。把这个问题落到可判定的层面，需要同时看三层。
第一层是结论正确。答案中的技术判断、配置步骤、接口说明、版本约束等核心内容与知识库中的权威资料一致，没有事实错误。第二层是引用支撑。答案引用的文档片段确实包含支撑该结论的内容，读者点开引用能够完成核验，引用与结论之间不存在错位或断章取义。第三层是边界诚实。知识库中没有依据、问题超出范围或资料存在冲突时，系统明确说明无法确认或提示需要人工确认，而不是给出看似完整的推测。
三层含义对应不同的失败模式：结论错误会直接误导研发动作，引用不支撑会让核验成本上升，边界不诚实则会把不确定性隐藏起来。只统计第一层，会把“答得对但无法核验”和“答错了但看起来有出处”两类情况混在一起。
评估结论通常有三种用途，用途不同，对样本和口径的要求也不同。上线验收关注整体是否达到约定水平，需要覆盖主要问题类型并事先约定通过标准；版本对比关注两次改动之间的差异，需要两次使用同一评测集和同一标注规则；问题定位关注具体哪类问题容易出错，需要按问题类型、知识域分组统计。评估开始前应写明本次用途，避免算完之后再挑指标。
指标与范围：准确率、引用可核验率与拒答正确率
本文使用四个指标，各自判定对象不同，不能互相替代。答案准确率衡量整条答案的结论是否正确；字段准确率衡量答案中可拆分的关键要素是否齐全正确；引用可核验率衡量引用是否真正支撑答案；拒答正确率衡量系统在应当拒答时是否拒答。四个指标的分母都来自同一评测集，但纳入计算的样本子集不同。
| 指标 | 判定对象 | 单位 | 主要用途 |
|---|---|---|---|
| 答案准确率 | 单条答案的整体结论是否正确 | 百分比（正确条数/参评条数） | 整体质量概览、版本对比 |
| 字段准确率 | 答案中预设关键字段（如适用版本、前置条件、操作对象）是否正确齐全 | 百分比（正确字段数/应填字段数） | 定位答案缺项、验收字段完整性 |
| 引用可核验率 | 答案给出的引用是否支撑其结论 | 百分比（可核验条数/有引用条数） | 核验成本评估、引用质量改进 |
| 拒答正确率 | 应拒答样本中正确拒答的比例，以及不应拒答样本中正常作答的比例 | 百分比（分两个方向分别计算） | 评估边界诚实度、防止过度拒答 |
评测集范围需要在评估前固定，至少写明三项。问题类型覆盖事实查询、操作步骤、排障诊断、规则约束、对比选择等，并标注每类题量；知识域覆盖本次评估涉及的文档集合，例如构建配置、接口规范、发布流程；时间窗写明知识库快照日期和问题采集时间段，跨版本对比时两次评估应使用同一时间窗口径，否则知识更新本身会污染对比结果。
指标之间的分工需要说清楚。答案准确率高而引用可核验率低，说明答案可能来自模型已有知识而非知识库，这类答案在知识更新后会失效，不能作为知识库质量的证明。拒答正确率高但正常作答样本被大量拒答，说明系统过于保守，需要结合不应拒答样本的作答率一起看。字段准确率低而答案准确率高，说明结论方向对但缺少可执行细节，研发人员仍需回查文档。任何单一指标都不足以概括整体质量，报告中应至少同时给出答案准确率、引用可核验率和拒答双向结果。
数据口径与证据：评测集怎么建、标注怎么判
评测集建议由三类样本构成，比例按评估用途调整。真实提问来自研发人员在群聊、工单或问答入口的实际问题，反映真实分布；知识库文档派生题从权威文档中抽取关键结论反向构造问题，保证有标准答案可依；人工构造边界题专门覆盖知识库无依据、资料冲突、问题含糊、超出范围等情况，用于检验拒答行为。只使用文档派生题会高估准确率，因为问题表述与原文接近；只使用真实提问则容易缺少可判定的标准答案。
每条样本需要固定以下字段，标注时逐项填写，保证结果可复算、可复核。
| 字段 | 填写内容 | 作用 |
|---|---|---|
| 问题编号与原文 | 原始中文问题，保留原始表述 | 复现与追溯 |
| 问题类型与知识域 | 事实查询、操作步骤、排障等；所属文档集合 | 分组统计 |
| 标准答案要点 | 拆成若干可判定的要点，逐条列出 | 判定结论正确性 |
| 可接受引用 | 能够支撑答案的文档及片段标识，可列多个 | 判定引用可核验性 |
| 应拒答标记 | 应拒答/不应拒答，以及理由 | 判定拒答正确性 |
| 关键字段清单 | 该题必须出现的要素，如版本号、前置条件 | 判定字段完整性 |
| 标注结果与标注人 | 判定结论、判定依据、标注人及日期 | 分歧处理与审计 |
标注规则要写成可执行的判定说明。答案准确按“要点是否全部命中且无错误结论”判定，允许表述不同但语义一致；引用可核验按“引用片段是否包含支撑结论的原句或等价表述”判定，引用存在但内容不相关记为不可核验；拒答判定区分“明确说明无法确认”“给出推测但标注不确定”“直接给出确定答案”三种情形，只有第一种在应拒答样本中记为正确。中文表述多样性会带来判定分歧，例如同义术语、省略主语、口语化提问，规则中应给出两三个典型示例说明如何归类。
标注一致性用双人标注检验。抽取一定比例样本由两名标注人独立判定，计算两人判定一致的比例；对不一致样本由第三人仲裁并记录理由，仲裁结论回写规则说明。分歧集中的题目类型往往也是系统容易出错的类型，值得在报告中单列。
证据留存包括原始问答记录（问题、答案全文、引用片段原文）、标注表、仲裁记录和知识库快照标识。留存的作用是让任何一次指标结果都能回到具体样本复核，也让下一次评估能够判断差异来自系统变化还是标注口径变化。评测集、标注任务和评审结论可以放在研发管理工具中承载：把每道题建成一个工作项，标注结论作为字段，仲裁作为评审流转，评估批次作为版本或迭代管理。ONES 支持工作项自定义字段、评审流转和按字段筛选统计，可用于承载这类评测集与标注流程，使样本收集、标注、仲裁和结论归档在同一处留痕。
计算步骤：公式、分母与缺失值处理
计算前先确定参评样本集合。剔除重复题、问题原文缺失题和知识库快照之后新增且未纳入标注的题，剔除数量与原因写入报告。以下公式中的分母均指剔除后的参评样本，单位均为条或字段，结果以百分比表示，保留一位小数。
| 指标 | 公式 | 分母说明 |
|---|---|---|
| 答案准确率 | 判定为正确的答案条数 ÷ 参评样本条数 | 参评样本不含应拒答题；应拒答题单独统计 |
| 字段准确率 | 正确且齐全的关键字段数 ÷ 应填关键字段总数 | 按字段计数，不按题计数；某题无关键字段则不纳入 |
| 引用可核验率 | 引用可核验的答案条数 ÷ 给出引用的答案条数 | 分母为有引用的答案，未给引用的答案不计入分母，单独报告数量 |
| 拒答正确率（应拒答方向） | 正确拒答条数 ÷ 应拒答样本条数 | 只含标记为应拒答的样本 |
| 拒答正确率（不应拒答方向） | 正常作答条数 ÷ 不应拒答样本条数 | 只含标记为不应拒答的样本，用于观察过度拒答 |
分母为零时该指标记为“不适用”，不写0%，也不并入其他指标。例如某批样本全部为应拒答题，答案准确率的分母为零，报告中应说明该批次无法评估答案准确率。样本量过小时，百分比波动很大，建议同时给出分子分母原始数字，例如“12/15”，而不是只给百分比；样本量低于约定阈值时，结论只作方向参考，不用于版本对比的胜负判断。
多标注人时的合并规则需要事先约定。推荐做法是：两人判定一致直接采用；不一致时由仲裁人判定并以仲裁结果为准，同时记录分歧；若无法仲裁，按较严格口径计入，即答案存在争议时记为不正确，引用存在争议时记为不可核验。合并后每条样本只有一个最终判定，保证公式可复算。
分组统计按问题类型和知识域分别计算上述指标，分组结果与整体结果并列呈现。整体准确率是各组合并后的比例，不是各组比例的简单平均；各组样本量不同时，简单平均会扭曲整体结果。报告中同时给出各组的分子分母，便于读者判断哪一组拉低了整体。
算例：20 道研发问答的完整计算过程
以下为演示情景，数字用于说明计算过程，不代表任何真实系统的评估结果。假设某次评估采集20道中文研发问题，其中16道为不应拒答样本（事实查询6道、操作步骤5道、排障诊断5道），4道为应拒答样本（知识库无依据2道、资料冲突1道、超出范围1道）。
不应拒答的16道样本标注结果为：答案正确12道，不正确4道；这16道中有14道给出了引用，其中11道引用可核验，3道不可核验，另有2道未给引用；关键字段方面，16道题共应填40个字段，正确且齐全31个。
代入公式计算：
- 答案准确率 = 12 ÷ 16 = 75.0%
- 字段准确率 = 31 ÷ 40 = 77.5%
- 引用可核验率 = 11 ÷ 14 = 78.6%，另有2道未给引用，单独报告
- 拒答正确率（应拒答方向）= 3 ÷ 4 = 75.0%，1道应拒答题给出了确定答案
- 拒答正确率（不应拒答方向）= 16 ÷ 16 = 100.0%，未出现过度拒答
分组结果与整体结果存在差异。按问题类型拆分：事实查询6道中正确5道，准确率83.3%；操作步骤5道中正确4道，准确率80.0%；排障诊断5道中正确3道，准确率60.0%。整体75.0%接近各组的中位水平，但排障诊断明显偏低，若只看整体会掩盖这一组的短板。字段准确率也可按组拆开，排障诊断组缺少“适用版本”字段的情况较集中，是后续改进的具体入口。
异常样本需要单独说明。3道引用不可核验的样本中，2道引用片段与结论主题相关但不含支撑原句，1道引用了过期版本文档；2道未给引用的样本答案结论正确，但读者无法核验，若把它们计入引用可核验率的分母会人为拉低该指标，因此单独列示。1道应拒答题给出了确定答案，属于边界不诚实，虽然只占4道应拒答样本的25%，但对研发动作的误导风险高于普通答错，应在报告中单独提示。
解读与限制：哪些结论能下，哪些不能
单次评估的准确率是对特定评测集、特定时间窗内系统表现的点估计，不是质量保证。20道样本的算例中，75.0%的答案准确率对应的置信区间很宽，换一批同分布样本结果可能明显不同。样本规模较小时，建议把结论表述为“在本批样本中正确12道”，并说明样本构成，避免用单一百分比做跨团队比较。
抽样偏差会直接影响结论方向。若评测集以文档派生题为主，问题表述接近原文，准确率通常偏高；若真实提问占比高，口语化、省略上下文的问题会拉低结果。报告中应写明三类样本的比例，跨版本对比时保持比例一致，否则差异可能来自样本构成变化而非系统变化。
中文表述多样性带来的判定分歧需要正视。同一技术结论可能有多种说法，标注规则若过严会把语义正确的答案判为错误，过松则会放过实质性错误。双人标注一致比例和仲裁记录是判断口径稳定性的依据；两次评估之间若修改了标注规则，指标不可直接比较，应重新标注或至少对重叠样本重判后再对比。
准确率与引用可核验率不一致时，解读方向不同。答案准确率高、引用可核验率低，说明部分正确答案缺少可核验依据，随着知识库更新，这类答案的可靠性会下降，应优先改进引用质量；答案准确率低、引用可核验率高，说明引用机制本身可用，问题出在答案组织或知识覆盖，应优先排查知识缺口和答案生成环节。两个指标同时偏低时，先检查评测集与标注口径是否稳定，再判断系统问题。
用于版本对比时，两次评估应使用同一评测集、同一标注规则、同一时间窗口径，并报告差异的样本级明细，而不只报告两个百分比。用于上线验收时，通过标准应在评估前约定，并同时约定答案准确率、引用可核验率和拒答双向结果的最低要求；没有事先约定的达标线，事后从结果反推标准会让验收失去约束力。评估结论适合支持“本批次表现如何、哪类问题偏弱、下一步改哪里”这类判断，不适合单独作为系统整体质量的因果证明。
常见问题
评测集里真实提问、文档派生题和边界题的比例应该怎么定？
比例取决于评估用途。用于上线验收时，真实提问应占主体，因为它反映实际分布，文档派生题用于保证有可判定的标准答案，边界题按知识库中确实存在的无依据或冲突情况配置。用于版本对比时，两次评估保持同一比例即可，比例本身可以按团队情况调整。需要避免的是全部使用文档派生题，这类问题表述接近原文，会系统性高估准确率。报告中写明三类样本的实际条数，读者才能判断结果的可比性。
标注规则改过之后，还能和上一次的评估结果直接对比吗？
不能直接对比。标注口径变化会改变分子，两次百分比之间的差异可能来自规则而非系统。可行的做法有两种：一是对重叠样本按新规则重新判定后再比较；二是保留旧规则下的判定，只在新规则下评估新批次，并在报告中说明口径差异。无论哪种做法，都应保留仲裁记录和规则版本标识，让后续读者能判断两次结果是否同口径。
答案正确但没给引用，应该算进引用可核验率吗？
不计入分母。引用可核验率的分母是给出引用的答案条数，未给引用的答案单独报告数量。把无引用答案计入分母会人为拉低该指标，掩盖“引用质量差”和“根本没有引用”两类不同问题。报告中可以并列给出两个数字：有引用答案中的可核验比例，以及无引用答案的条数，前者衡量引用质量，后者衡量引用覆盖率。
拒答正确率两个方向的结果应该怎么一起看？
应拒答方向偏低，说明系统在缺少依据时仍给出确定答案，风险是把不确定性隐藏起来；不应拒答方向偏低，说明系统过度保守，把本可回答的问题推回给人工。两个方向要同时报告，只看其中一个会得出片面结论。若应拒答方向高而不应拒答方向低，优先排查拒答判定是否过严；若两个方向都低，先检查边界题的标注是否清晰，再判断系统问题。
20 道题这样的样本量，结论能用到什么程度？
小样本适合验证评估流程是否跑通、发现明显偏弱的题型，不适合做跨团队比较或胜负判断。报告中建议给出分子分母原始数字，例如“12/16”，并说明样本构成。样本量低于团队事先约定的阈值时，结论只作方向参考；若要用于上线验收或版本对比，应扩大样本量并保持问题类型覆盖，使各组的样本量足以支撑分组结论。
