AI输出质量没有单一通用分数，需要按任务类型拆成可判定的维度，例如正确性、完整性、格式合规、可追溯性与人工采纳率，再为每个维度定义评分规则、样本范围、时间窗和分母。计算时先做人工或规则标注，得到各维度得分，再按任务权重合成综合分，并同时报告样本量、缺失值与置信区间。结果用于比较同一任务、同一口径下的版本或流程变化，不能直接当作模型能力的因果结论。
要点总览（TL;DR）
- AI输出质量没有单一通用分数，先按任务类型拆成正确性、完整性、格式合规、可追溯性、人工采纳率等可判定维度，再分别定义评分规则。
- 每个维度要写明评分量表、分母口径（按输出条数、任务数或采纳机会数）、证据形式和缺失值处理，口径固定后同一轮评估内不再调整。
- 单维度得分等于得分之和除以有效样本数，综合分为各维度换算到同一量纲后按权重加权求和，权重在评估启动前确定并写入规范。
- 综合分必须与样本量、剔除数量和置信区间一起报告；分母为零或样本过少时标注为不可计算，不记零分，也不做显著性判断。
- 分数只用于同一任务、同一口径下的版本或流程对比，不能直接当作模型能力的因果结论，权重或样本构成变化后需重算基线再比较。
评估目标：先明确要回答哪个质量问题
在选指标之前，先写清楚这次评估要回答什么问题。目标不同，指标、样本和对比方式都会不同。把“AI输出质量怎么样”直接当成评估问题，往往得到一堆互不对应的数字，最后无法支撑任何决策。
常见的评估目标可以归为三类，每类对应不同的判断方式和交付物：
| 评估目标 | 要回答的问题 | 主要判断方式 | 典型交付物 |
|---|---|---|---|
| 验收 | 当前版本的输出是否达到上线或交付要求 | 对照预设的维度阈值逐项判定，给出通过或不通过 | 验收结论与未达标项清单 |
| 版本对比 | 新版本或新提示词是否比旧版本更好 | 同一任务、同一口径下比较两个版本的综合分与分维度得分 | 版本对比报告，含样本量与区间 |
| 流程改进 | 哪个环节导致输出质量下降，改哪里收益最大 | 按环节、角色或任务类型拆分得分，定位薄弱维度 | 问题定位与改进优先级 |
目标确定后，指标选择随之收敛。验收目标需要每个维度都有明确的通过标准，样本要覆盖主要任务类型；版本对比要求两版使用完全相同的评分规则和样本范围，否则差异无法归因；流程改进则需要更细的拆分维度，例如按使用角色或输入来源分组统计。
同时要划定本文不处理的问题。技术模型基准测试与公开榜单评测关注模型在标准数据集上的表现，与业务场景下的输出质量评估是两套体系；交付周期、吞吐量等一般研发效能指标衡量的是研发流程效率，也不在本方法范围内。本文讨论的是：在具体业务任务中，如何为AI输出定义质量维度、计算得分并解释结果。
指标与范围：拆成可判定的质量维度
质量维度要满足一个条件：评审人看到一条输出，能依据规则给出确定判断。做不到这一点的维度，需要继续拆细或改写判定说明。以下五个维度覆盖多数文本与代码类AI输出场景，可按任务增删。
| 维度 | 定义 | 判定主体 | 单位 |
|---|---|---|---|
| 正确性 | 输出中的事实、结论或代码逻辑与事实或需求一致，无错误陈述 | 人工评审，必要时配合测试或规则校验 | 分/条 |
| 完整性 | 输出覆盖了任务要求的全部要点，无关键遗漏 | 人工评审对照需求清单 | 分/条 |
| 格式合规 | 输出符合约定的结构、字段、长度或语法约束 | 规则校验，可自动化 | 通过率 |
| 可追溯性 | 输出中的关键结论能对应到可核查的来源或依据 | 人工抽查，核对引用与原文 | 分/条 |
| 人工采纳率 | 输出被下游直接使用或仅作轻微修改后使用的比例 | 下游使用结果，如修改记录、采纳标记 | 比例 |
评估范围需要在开始评分前固定下来，至少写明四项：任务类型（例如代码评审建议、需求摘要、测试用例生成）、使用角色（哪些团队或岗位的输出被纳入）、时间窗（例如某两周内产生的输出）、样本纳入与排除规则（例如排除输入不完整的任务、排除重复提交）。范围一旦确定，同一轮评估内不再调整，否则前后得分不可比。
样本选取建议按任务类型分层，保证每类任务都有足够条数，避免某一类任务占比过高拉偏综合分。若某类任务样本过少，单独报告该类结果并标注样本不足，不并入总体综合分。
数据口径与证据：评分规则、分母与缺失值
口径决定结果能否复算。同一批输出，换一个分母或换一档评分量表，得分可能明显不同。因此每个维度都要写清评分量表、分母、证据形式和缺失值处理规则，并形成书面规范。
评分量表。二值量表（0/1）适合判定明确的条件，例如格式是否合规、结论是否有事实错误；1–5分量表适合需要区分程度的维度，例如完整性。使用多级量表时必须为每一档写出可观察的说明，例如完整性5分表示覆盖全部要点，3分表示遗漏一个次要要点，1分表示遗漏关键要点。评分说明越具体，不同评审人之间的一致性越高。
分母定义。分母有三种常见口径，选择哪一种要在规范中写明并保持稳定：按输出条数计，适合逐条评审的场景；按任务数计，适合一个任务产生多条输出、需要整体判定的场景；按采纳机会数计，适合计算采纳率，即有多少次输出被实际使用的机会。分母不同，得分含义不同，跨报告比较前必须确认口径一致。
证据形式。每条评分都应留下可核查的记录：人工评审记录包含评审人、评分、理由；规则校验保留校验日志与失败原因；采纳率依据下游修改记录或采纳标记。证据与输出条目一一对应，便于抽样复核。
缺失值与无效样本。输出缺失、评审未完成、输入本身不完整的样本，按预先规则处理：标记为缺失并从分母中剔除，同时单独报告剔除数量；不将缺失样本记为零分，否则会系统性压低得分。剔除比例过高时，应在结论中说明数据代表性受限。
计算步骤：从单维度得分到综合分
计算分四步：先算单维度得分，再确定权重，然后合成综合分，最后报告样本量与区间。
第一步，单维度得分。对采用评分量表的维度，单维度得分等于该维度所有有效样本得分之和除以有效样本数，单位为分/条：
维度得分 = Σ（单条得分）÷ 有效样本数
对采用通过判定的维度，得分为通过率：
通过率 = 通过条数 ÷ 有效样本数 × 100%
第二步，确定权重。权重按任务目标确定，反映各维度对业务结果的重要程度。例如代码评审建议场景中，正确性权重可设为0.4，完整性0.2，格式合规0.1，可追溯性0.1，人工采纳率0.2。权重在评估启动前确定并写入规范，同一轮对比中保持不变；调整权重意味着口径变化，需重新计算历史数据后才能比较。
第三步，合成综合分。先将各维度得分统一到同一量纲（例如都换算为0–100），再按权重加权求和：
综合分 = Σ（维度得分 × 权重），权重之和为1
第四步，报告样本量与区间。综合分必须与样本量一起报告。对比例类指标可计算置信区间，例如采用正态近似：区间 = 比例 ± 1.96 × √（比例 ×（1−比例）÷ 样本数），95%置信水平。样本量较小时区间会很宽，此时应说明结论的不确定性，不用点估计做版本优劣判断。
两种特殊情况需要明确处理：分母为零时，该维度标注为“不可计算”，不记零分，也不参与综合分合成；有效样本数低于预设下限（例如每类任务少于30条）时，只报告描述性结果，不做区间估计和显著性判断。
算例：一次代码评审建议输出的质量评估
以下为演示情景，数字用于说明计算过程，不代表任何真实产品的实测结果。
样本范围。某团队两周内由AI生成的代码评审建议共120条，排除输入不完整12条、重复提交8条，有效样本100条。评审由两名工程师按统一评分说明独立打分，分歧条目讨论后定分。
标注结果。正确性采用1–5分，100条合计380分；完整性1–5分，合计350分；格式合规按规则校验，88条通过；可追溯性1–5分，合计400分；人工采纳率按采纳机会数计，100条中有65条被直接采纳或轻微修改后采纳。
| 维度 | 原始数据 | 得分（换算为百分制） | 权重 | 加权得分 |
|---|---|---|---|---|
| 正确性 | 380 ÷ 100 = 3.8分 | 76.0 | 0.4 | 30.4 |
| 完整性 | 350 ÷ 100 = 3.5分 | 70.0 | 0.2 | 14.0 |
| 格式合规 | 88 ÷ 100 = 88% | 88.0 | 0.1 | 8.8 |
| 可追溯性 | 400 ÷ 100 = 4.0分 | 80.0 | 0.1 | 8.0 |
| 人工采纳率 | 65 ÷ 100 = 65% | 65.0 | 0.2 | 13.0 |
| 综合分 | — | — | 1.0 | 74.2 |
区间估计。以人工采纳率为例，65%的95%置信区间约为65% ± 1.96 × √（0.65 × 0.35 ÷ 100），即约55.7%至74.3%。样本量100条时区间宽度接近19个百分点，说明该指标的估计仍有较大不确定性。
结果呈现。报告应写明：综合分74.2，有效样本100条，剔除20条（输入不完整12条、重复8条），人工采纳率65%（95%置信区间约55.7%–74.3%），并附各维度得分与权重表。若下一版本在同一任务、同一口径下评估，可直接比较综合分与分维度得分，判断改进集中在哪个维度。
评估过程中的评审记录、评分说明与结论需要留存，便于复算和追溯。ONES Assistant 智能助手可将自然语言指令转化为 ONES 中可追踪的工作，并把结果保存为工作项、Wiki 页面等内容；基于指定 Wiki 页面组回答问题时附上引用来源。团队可以把评分规范、评审记录和评估结论放在 Wiki 页面与工作项中，使每轮评估的输入、判定和结论对应起来。ONES Performance 效能管理提供多维度、自定义的分析能力，并自动收录 ONES 系统内流转的研发数据形成分析指标，可用于承载与研发流程相关的统计视图；AI输出质量的维度定义与评分口径仍需团队按本文方法自行确定。
解读与限制：结果能说明什么、不能说明什么
综合分是一个在特定口径下得到的测量结果，它的用途和边界都由口径决定。解读时先确认三个前提：任务类型相同、评分规则相同、样本范围与分母相同。三个前提任一变化，分数之间就不具备可比性，需要重新计算基线后再比较。
单指标与综合分各有解读边界。单维度得分适合定位具体问题，例如完整性偏低说明输出遗漏要点，可针对提示词或输入规范改进；综合分适合在同一口径下做整体趋势观察，但它会掩盖维度间的差异，不能替代分维度分析。权重变化会直接改变综合分，因此报告综合分时必须同时给出权重表。
常见误读有两类。第一类是把分数当作模型能力的结论：分数反映的是特定任务、特定样本、特定评审规则下的输出表现，换任务或换评审人可能得到不同结果，不能据此推断模型的通用能力。第二类是把相关性当因果：版本对比中综合分上升，可能来自模型变化，也可能来自输入质量提升、评审标准放宽或样本构成变化，需要控制这些因素后才能讨论原因。
指标需要随任务维护。当任务类型扩展、输出形式变化或业务对质量的要求调整时，应重新审视维度定义、评分说明和权重，并保留旧口径下的历史结果作为对照。维护记录与评估结论一并留存，下一轮评估才能说清分数变化来自哪里。
常见问题
评估AI输出质量时，样本量多少才算够用？
没有统一门槛，取决于任务类型和要比较的差异大小。建议按任务类型分层抽样，每类任务至少保留30条有效样本，低于这个数量时只报告描述性结果，不做区间估计和显著性判断。样本量较小时置信区间会很宽，例如100条样本下65%的采纳率，95%区间约为55.7%至74.3%，此时用点估计判断版本优劣容易得出错误结论。若某类任务样本确实不足，单独报告该类结果并标注样本不足，不并入总体综合分。
多个评审人打分不一致时怎么处理？
先检查评分说明是否足够具体。多级量表要为每一档写出可观察的说明，例如完整性5分覆盖全部要点、3分遗漏一个次要要点、1分遗漏关键要点，说明越具体，评审人之间的一致性越高。仍出现分歧的条目，可以安排讨论后定分，并记录分歧原因；分歧集中的维度说明判定规则需要改写。评估开始前可先抽取少量样本做试评，统一理解后再进入正式评分，避免中途调整标准导致前后不可比。
分母为零或某维度数据缺失时，综合分还能算吗？
可以算，但要按预设规则处理。分母为零的维度标注为“不可计算”，不记零分，也不参与综合分合成，其余维度的权重需要相应归一化，并在报告中说明。输出缺失、评审未完成、输入本身不完整的样本，标记为缺失后从分母中剔除，同时单独报告剔除数量；把缺失样本记为零分会系统性压低得分。剔除比例过高时，应在结论中说明数据代表性受限，避免读者把分数当作完整样本的结果。
换了提示词或模型版本后，旧分数还能直接比较吗？
只有任务类型、评分规则、样本范围与分母三项前提都相同，分数之间才具备可比性。提示词或模型变化本身不影响可比性，但若同时调整了评分说明、权重或样本构成，就需要重新计算基线后再比较。版本对比中综合分上升，可能来自模型变化，也可能来自输入质量提升、评审标准放宽或样本构成变化，需要控制这些因素后才能讨论原因。调整权重意味着口径变化，报告综合分时必须同时给出权重表。
评估过程中的评审记录和结论怎么留存才便于复算？
每条评分都应与输出条目一一对应，记录评审人、评分、理由；规则校验保留校验日志与失败原因；采纳率依据下游修改记录或采纳标记。评分规范、权重表、样本纳入与排除规则也应与评估结论放在一起，形成可追溯的记录。团队可以把评分规范、评审记录和评估结论放在 ONES 的 Wiki 页面与工作项中，使每轮评估的输入、判定和结论对应起来；ONES Assistant 智能助手可将自然语言指令转化为 ONES 中可追踪的工作，并把结果保存为工作项、Wiki 页面等内容，基于指定 Wiki 页面组回答问题时附上引用来源。
