AI答案核验要回答的是“这批答案在给定样本和口径下表现如何”，而不是“模型能力有多强”。落地时先确定评估目标与通过标准，再为每个指标写清分子、分母和样本边界，统一判定对错所需的证据与标注口径，最后按抽样、标注、计算、复核的步骤得出可复算的结果，并在解读时说明置信区间和适用限制。下文给出一套可直接套用的指标定义、执行流程和算例。
要点总览（TL;DR）
- AI答案核验先定评估目标与通过标准，再写清每个指标的判定规则、分子、分母、单位和时间窗，避免不同批次口径漂移。
- 常用四类指标：答案正确率、引用可追溯率、关键信息完整率、越界回答率，分别对应“对不对、有没有据、全不全、该不该答”。
- 执行按六步走：确定问题集、分层抽样、独立标注、分歧仲裁、计算指标、二次抽样或交叉复核，换人执行也能得到可比结果。
- 样本量小时报告置信区间，无法判定样本单独列出、不按错误处理；单次指标只说明给定样本与口径下的表现，不外推为能力承诺。
- 核验问题集、标注记录与结论需要留痕，可在 ONES 工作项与 Wiki 中集中管理，便于按批次统计和回溯。
核验要回答什么问题：评估目标与通过标准
核验对象是知识问答场景下的答案输出，即用户提问后系统给出的那段回答，以及回答所附的引用。模型训练过程、检索召回排序、向量索引参数这些底层工程环节不在核验范围内，它们的问题应通过工程侧日志和离线检索评测单独排查。把核验对象限定在答案层，才能保证不同批次、不同人做出来的结果可以相互比较。
评估目标需要落到可判定的指标上。常见的四类目标是：答案正确率，衡量结论与权威来源一致的比例；引用可追溯率，衡量答案结论能否定位到具体文档与段落；关键信息完整率，衡量回答是否覆盖了该问题必须给出的要点；越界回答率，衡量回答是否超出知识范围或权限范围给出内容。四类目标分别对应“对不对、有没有据、全不全、该不该答”，合起来构成一次完整核验。
通过标准由业务方在核验开始前书面确定，写进核验方案并留档。知识问答没有通用的达标线，一个内部制度问答场景要求正确率不低于90%，另一个面向客户的技术支持场景可能要求更高，这取决于答错的代价。标准一旦确定，本批次核验过程中不再调整，否则结果失去可比性。
单次验收与持续监控是两类不同目标。单次验收用于上线前或版本切换前的一次性判定，关注是否达到约定阈值，样本可以按验收方案固定抽取。持续监控用于上线后按周期观察质量走势，关注指标是否稳定、是否出现退化，需要固定抽样节奏和同一套口径。两类目标的样本量、复核强度和结论表述方式都不同，方案里应明确本次属于哪一类。
| 评估目标 | 对应指标 | 阈值（示例，需业务方书面确认） | 责任人 |
|---|---|---|---|
| 答案结论可靠 | 答案正确率 | 由业务方按答错代价设定 | 知识库负责人 |
| 结论有据可查 | 引用可追溯率 | 由业务方设定 | 知识库负责人 |
| 回答覆盖要点 | 关键信息完整率 | 由业务方设定 | 业务域专家 |
| 回答不越界 | 越界回答率 | 由业务方设定，通常要求尽量低 | 业务方与安全负责人 |
指标与范围：分子、分母和样本边界
每个指标都要写成可计算的完整定义，至少包含六项：指标名、判定规则、分子、分母、单位、时间窗。判定规则说明什么情况算“命中”，分子是命中样本数，分母是参与判定的样本数，单位是“条”或“%”，时间窗说明这批样本对应的时间范围。缺少任何一项，不同人算出来的数就可能不一致。
以答案正确率为例，判定规则可写为“答案的核心结论与权威来源一致，且无实质性错误陈述”；分子为判定为正确的答案条数；分母为完成判定的答案总条数，不含无法判定样本；单位为百分比；时间窗为样本抽取所覆盖的提问日期区间。引用可追溯率的判定规则可写为“答案中至少一处关键结论能定位到具体文档及段落”，分子为满足该条件的答案条数，分母同上。关键信息完整率需要先为每类问题定义必答要点清单，分子为要点全部覆盖的答案条数。越界回答率的分子为给出超出知识范围或权限范围内容的答案条数。
样本范围要写清四件事：问题集来源、难度分层、业务域覆盖、去重规则。问题集来源可以是真实用户提问日志，也可以是业务方按场景编写的评测集，两者结论的适用范围不同，需在报告中注明。难度分层建议至少区分事实查找类、多文档综合类、需要推理判断类，并按分层比例抽样，避免简单问题占比过高拉高整体指标。业务域覆盖要列出本次覆盖的域和未覆盖的域。去重规则要说明近似重复问题如何合并，通常按语义相似度合并后保留一条代表问题。
分母为零和样本不足要单独规定处理方式。某个业务域抽样后没有可判定样本时，该域指标记为“不适用”，不参与总体汇总，也不写成0%。总体样本量偏小时，应报告置信区间或直接标注“样本不足，结论仅供参考”，不给出精确到小数点的比率制造确定感。
核验范围之外的内容要在方案中写明：模型训练与微调效果、检索召回率与排序质量、向量库性能、系统响应时延，这些属于工程评测范畴，与答案质量核验分开进行，避免把工程问题和答案问题混在一个指标里讨论。
| 指标名 | 判定规则 | 分子 | 分母 | 单位 | 时间窗 |
|---|---|---|---|---|---|
| 答案正确率 | 核心结论与权威来源一致，无实质性错误 | 判定正确的答案条数 | 完成判定的答案条数（不含无法判定） | % | 样本覆盖的提问日期区间 |
| 引用可追溯率 | 至少一处关键结论可定位到具体文档与段落 | 满足条件的答案条数 | 完成判定的答案条数 | % | 同上 |
| 关键信息完整率 | 该问题必答要点全部覆盖 | 要点全覆盖的答案条数 | 完成判定的答案条数 | % | 同上 |
| 越界回答率 | 给出超出知识范围或权限范围的内容 | 越界的答案条数 | 完成判定的答案条数 | % | 同上 |
数据口径与证据：标注规则和可追溯材料
判定一条答案对错，前提是先确定“对”的依据。参考答案优先来自经业务方确认的权威文档，例如正式发布的制度文件、产品规格说明、经评审的技术方案；没有单一权威文档时，由业务域专家在标注前给出判定要点，并注明依据的文档与段落。参考答案的版本要与提问时间对应，文档更新后旧答案按当时版本判定，避免用新文档否定旧时点的正确回答。
引用可追溯性的判定需要具体证据：答案中的关键结论能否在引用的文档里定位到段落，段落内容是否直接支持该结论。仅附了文档链接但链接内容与结论无关，不算可追溯；引用指向整篇长文档而无法定位到相关段落，按“部分可追溯”单独记录，是否计入分子由方案事先规定。这一条最容易产生口径分歧，必须在标注前写清楚。
多人标注采用独立标注加分歧仲裁的方式。每条答案至少两人独立判定，判定一致直接采纳；不一致的进入仲裁，由第三人或有权限的业务专家裁定，仲裁结论和理由一并记录。仲裁比例本身也是质量信号，分歧率过高说明判定规则不够清晰，应回头修订口径而不是强行出数。
标注记录要保留可复算所需的最小字段集：问题原文、答案原文、判定结果、判定依据（文档名与段落）、标注人、标注时间、是否经过仲裁。缺少依据字段的记录无法复核，等于没有完成标注。这些记录建议以结构化表格或工作项形式集中管理，便于按批次统计和回溯。在 ONES 中，核验问题集可以作为工作项批量建立，标注记录与仲裁结论随工作项字段和 Wiki 文档留存，ONES 的输出过程可追踪、结果可审计，适合承载这类需要留痕的评估过程；具体字段设计仍需按团队流程确定。
计算与评估步骤：从抽样到出数
执行顺序固定为六步，换人执行也应得到可比结果。第一步确定问题集，明确来源、分层比例和总量。第二步抽样，按分层比例随机抽取，记录抽样种子或抽样规则以便复现。第三步独立标注，两名标注人各自完成判定，互不参考。第四步分歧仲裁，汇总不一致条目交专家裁定。第五步计算指标，按定义表逐项代入。第六步复核，用二次抽样或交叉复核检查标注质量。
计算公式统一为“指标值 = 分子 ÷ 分母 × 100%”。以答案正确率为例，若完成判定80条、判定正确68条，则正确率为68÷80=85.0%。引用可追溯率若满足条件62条，则为62÷80=77.5%。关键信息完整率若要点全覆盖55条，则为68.75%。越界回答率若越界3条，则为3.75%。四个指标分母相同，便于横向对照，但含义各自独立，不能相加或平均成一个“综合得分”对外表述。
样本量与置信区间的基本处理：比率类指标在样本量较小时波动明显，建议报告95%置信区间。样本量80、观测比率85%时，区间大致在75%至92%之间（按正态近似估算），这意味着真实水平可能明显低于观测值。样本量低于30时，建议只报告区间并注明不确定性，不据此做通过与否的强判定。置信区间的计算方法应在方案中固定，不同批次用同一方法。
复核采用两种方式之一或并用：二次抽样，从已标注样本中随机抽取10%至20%由未参与原标注的人重判，计算一致率，一致率偏低则扩大复核范围；交叉复核，由另一名专家对仲裁条目全部复查。复核发现系统性偏差时，应修订口径并重算，而不是只修正个别条目。
算例：一次知识问答核验的完整计算
以下为演示情景，数字用于说明计算方法，不代表任何真实产品的实测结果。某团队对内部知识问答做一次上线前验收，问题集来自近三个月真实提问日志，去重后共600条，按事实查找、多文档综合、推理判断三类按5:3:2分层，抽取100条作为核验样本。两名标注人独立判定，其中8条出现分歧，经专家仲裁后确定结论；另有4条因参考答案缺失或问题本身歧义被标记为无法判定，不进入分母。
最终完成判定96条。答案正确72条，正确率72÷96=75.0%。引用可追溯58条，可追溯率58÷96=60.4%。关键信息完整64条，完整率64÷96=66.7%。越界回答2条，越界率2÷96=2.1%。无法判定的4条单独列出，注明原因，不计入任何指标的分子分母，也不按错误处理。
按95%置信区间估算，正确率75.0%在样本量96下的区间大致为66%至84%，可追溯率60.4%的区间大致为50%至70%。若业务方事先约定的正确率阈值为80%，观测值低于阈值且区间上界接近阈值，结论应表述为“本批次未达到约定阈值，且存在样本波动，建议扩大样本复测”，而不是直接判定系统不可用。结果表述建议统一格式：指标值、分子分母、样本量、置信区间、与阈值的比较、结论限定语。
| 指标 | 分子 | 分母 | 指标值 | 95%置信区间（近似） |
|---|---|---|---|---|
| 答案正确率 | 72 | 96 | 75.0% | 66%–84% |
| 引用可追溯率 | 58 | 96 | 60.4% | 50%–70% |
| 关键信息完整率 | 64 | 96 | 66.7% | 57%–76% |
| 越界回答率 | 2 | 96 | 2.1% | 0%–5% |
解读与限制：结论能说到什么程度
核验结果只说明在给定样本、给定口径下的表现。100条样本得出的75%正确率，描述的是这100条所代表的问题分布，不能直接外推为“系统对所有问题的正确率是75%”。对外表述应带上样本范围和时间窗，例如“在本次抽取的96条可判定样本中，答案正确率为75.0%”，避免写成能力承诺。
样本偏差和难度分布直接影响结论。若抽样偏向简单事实查找类问题，正确率会偏高；若问题集来自少数活跃用户，覆盖面有限。报告中应同时给出分层结果，让读者看到不同难度下的表现差异，而不是只看总体数字。问题集本身的质量也需要说明：题目是否有歧义、参考答案是否经过确认，都会影响判定结果的可信度。
指标之间存在权衡。提高引用可追溯率的一种做法是要求答案必须附可定位引用，这可能导致部分本可回答的问题因找不到明确出处而拒答，回答覆盖率随之下降；越界率压得很低，也可能让系统在边界问题上过度保守。核验方案应同时观察覆盖类指标，避免单指标优化带来另一侧的退化。
持续核验建议按固定周期执行，例如每个版本发布前做一次验收核验，上线后按月做一次监控核验，使用同一套指标定义和抽样规则，结果按批次留档，形成可对比的趋势记录。留档内容包括核验方案、问题集版本、标注记录、计算表和结论表述，便于后续复算和追溯。在 ONES 中，这类核验任务可以建立为工作项跟踪进度，标注记录和结论沉淀在 Wiki 页面，ONES Assistant 智能助手可基于指定 Wiki 页面组回答问题并附引用来源，团队在复核历史结论时能直接定位到原始文档；引用呈现的具体粒度需在实际使用中确认。
常见问题
问题集来自真实用户提问日志还是业务方编写，结论有什么不同？
两种来源都能用，但结论的适用范围不同。真实提问日志反映实际使用中的问题分布，结论更贴近线上表现，缺点是问题质量参差、存在重复和歧义；业务方编写的评测集可以覆盖特定场景和边界问题，适合验收，但覆盖不到用户真实问法。方案里要注明来源，报告中也要写清结论只对该问题分布成立。若两类问题集都用，建议分别出数，不合并成一个总体指标。
标注人之间分歧率很高，应该先改口径还是先扩大样本？
先改口径。分歧率高通常说明判定规则不够清晰，例如“部分可追溯”是否计入分子、多文档综合类问题以哪份文档为准，这些没写清，扩大样本只会放大分歧。处理顺序是：汇总分歧条目，找出争议集中的判定点，由业务域专家补充规则并写进标注口径说明，然后对已标注样本按新口径重判。重判后分歧率仍高，再考虑增加标注人或引入第三人仲裁。
观测指标低于约定阈值，能直接判定这批答案不合格吗？
要结合样本量和置信区间判断。样本量较小时，观测值与真实水平之间波动明显，例如96条样本、观测正确率75%，区间大致在66%至84%，若阈值是80%，观测值低于阈值但区间上界接近阈值，结论宜写成“本批次未达到约定阈值，存在样本波动，建议扩大样本复测”。样本量充足且区间整体低于阈值时，才适合给出明确的未通过判定。结论表述要带上样本范围、时间窗和口径版本。
持续监控核验和上线前验收，在抽样和复核上有什么差别？
验收核验是一次性判定，样本按验收方案固定抽取，复核强度可以高一些，重点是结论能否支撑上线决策。持续监控按周期执行，样本量通常更小，重点是同一套口径下的趋势可比，抽样规则和计算方式要固定，不随批次调整。监控发现指标退化时，再触发一次扩大样本的专项核验，而不是每期都做全量复核。两类核验的方案、问题集版本和结论都应分别留档。
核验记录需要留哪些内容，后续才能复算？
最小字段集包括问题原文、答案原文、判定结果、判定依据（文档名与段落）、标注人、标注时间、是否经过仲裁。缺少依据字段的记录无法复核。此外还要留存核验方案、问题集版本、抽样规则和计算表，保证换人按同一流程能算出同样的数。这类记录适合以结构化表格或工作项集中管理，在 ONES 中核验问题集可作为工作项批量建立，标注记录与仲裁结论随工作项字段和 Wiki 文档留存，ONES 的输出过程可追踪、结果可审计，便于按批次统计和回溯；具体字段设计仍需按团队流程确定。
