评估AI输出质量，核心是把“质量”拆成可判定的维度，再为每个维度固定评分规则、样本来源、时间窗和分母。本文给出一套可复算的方法：用固定抽样集做人工评分，用规则化检查做自动校验，两者交叉验证，并在结论中报告样本量、缺失值和分歧率。范围限于AI应用输出效果的评估，不涉及技术模型基准测试和一般研发效能指标。
要点总览（TL;DR）
- 先明确评估目标：判断单次输出是否可用、某类任务的整体质量水平，还是质量随版本或提示词的变化，三类目标对应不同的评估对象与结论用途。
- 把质量拆成正确性、完整性、可执行性、一致性、可追溯性五个维度，统一0/1/2评分档位，并在评估前书面固定档位含义。
- 抽样按任务类型或角色分层随机抽取，每条样本留存原始输入、AI输出、评分、评分理由和评分人五类证据，无法判定样本单列不计入分母。
- 得分按维度合计÷有效样本数计算，再加权汇总；同时报告评分者一致样本占比与分歧率，自动校验结果与人工评分逐条比对。
- 结论只适用于本批样本和同类任务，样本过少或分母为零时标注未计算，质量得分与业务结果之间的关联需另行验证。
评估目标：先明确要回答哪个质量问题
“AI输出质量”在不同语境下指向不同问题。评估开始前先写清本次要回答的问题，后续的抽样范围、评分维度和结论表述才有依据。常见目标有三类，评估对象和结论用途差异明显。
| 评估目标 | 评估对象 | 结论用途 |
|---|---|---|
| 单次输出是否可用 | 某一条具体输出及其输入上下文 | 决定这条输出能否直接采用、需要修改还是退回重做 |
| 某类任务的整体质量水平 | 某一任务类型在一个批次内的全部或抽样输出 | 判断该类任务当前是否适合交给AI承担，以及主要短板在哪个维度 |
| 质量随版本或提示词变化 | 同一任务类型在两个时间窗或两套提示词下的输出 | 比较改动前后的质量差异，支撑提示词迭代或版本切换决策 |
三类目标的评估对象不同：单次评估只看一条输出，批次评估看一个任务集合，变化评估需要两个可比的样本集合。目标一旦确定，就应同步写明本次评估不覆盖的内容。技术模型基准测试关注模型在标准数据集上的能力表现，一般研发效能指标关注交付周期、缺陷率等团队产出，两者与本文的AI输出质量评估属于不同口径，不混在同一份报告里。
指标与范围：把质量拆成可打分的维度
维度是评分的骨架。建议固定五个维度，每个维度对应一个判定问题，评分档位统一为0/1/2三档，便于不同评分人按同一口径判断。
| 维度 | 判定问题 | 0分 | 1分 | 2分 |
|---|---|---|---|---|
| 正确性 | 输出中的事实、结论和引用是否准确，是否存在错误陈述 | 存在影响使用的错误 | 基本正确，有轻微瑕疵 | 准确，无需修正 |
| 完整性 | 是否覆盖了任务要求的关键要素 | 缺失关键要素，无法使用 | 覆盖主要要素，有次要遗漏 | 关键要素齐全 |
| 可执行性 | 输出能否被直接执行或采用，步骤和条件是否明确 | 无法执行，缺少必要信息 | 经少量补充后可执行 | 可直接执行 |
| 一致性 | 输出内部是否自洽，与已有规范、上下文是否冲突 | 存在明显矛盾 | 有轻微不一致 | 内部自洽且与上下文一致 |
| 可追溯性 | 关键结论是否有来源、依据或可核验的引用 | 无任何依据 | 部分结论有依据 | 关键结论均有依据 |
评分档位含义需在评估前书面固定，避免评分人各自理解。若团队已有更细的1–5分制，也可沿用，但同一轮评估内不得混用两套档位。
纳入范围要写清三件事：任务类型（例如需求文档初稿、测试用例生成、代码注释补全）、使用角色（哪些岗位的输出被纳入）、时间窗（从哪天到哪天产生的输出）。排除范围同样要写明，例如与本次目标无关的探索性试用输出、明显超出AI职责范围的任务，以及输入本身不完整的样本。范围写清后，抽样框才可界定，分母才有意义。
数据口径与证据：样本怎么取、证据留什么
抽样方式决定结论能否外推。任务类型内部差异较大时，用分层抽样：先按任务类型或使用角色分层，再在每层内随机抽取。任务类型单一时，可直接随机抽样。样本量下限没有通用标准，可按两个条件确定：每层至少覆盖足够多的样本以观察维度分布，且样本量足以让主要维度的得分波动趋于稳定。实际操作中可先抽一批试评，观察得分分布后再决定是否扩大样本。
每条样本需留存五类证据，缺一不可：
- 原始输入：交给AI的完整提示词和上下文材料；
- AI输出：未经人工修改的原始输出；
- 评分：五个维度各自的档位；
- 评分理由：每个维度打分的简短依据，尤其是0分和1分；
- 评分人：姓名或标识，便于复核和计算一致性。
缺失值和无法判定样本要提前定规则。输入不完整导致无法判断的样本，标记为“无法判定”，不计入该维度分母，但要在报告中单列数量。评分人之间出现分歧的样本，先记录双方评分，再由第三人复核或协商定分，协商结果和原分歧一并留存。分歧样本不删除，它是评估一致性的原始材料。
计算与评估步骤：从评分到可解释的结果
计算按以下顺序进行，每一步都注明分母和单位。
第一步，单维度得分。某维度得分 = 该维度有效样本评分合计 ÷ 该维度有效样本数。有效样本指已评分且非“无法判定”的样本。分母排除无法判定样本，并在报告中注明排除数量。
第二步，加权总分。加权总分 = Σ（维度得分 × 维度权重）。权重按任务目标设定，例如以直接采用为目标的评估，可执行性和正确性权重更高；以知识问答为目标的评估，可追溯性和正确性权重更高。权重须在评分前确定并写明依据，评分后不得调整。
第三步，评分者一致性。一致样本占比 = 各评分人档位完全一致的样本数 ÷ 参与双评的样本数。分歧率 = 1 − 一致样本占比。这两个指标反映评分口径是否稳定，一致性偏低时，应先复核评分规则，再解读维度得分。
第四步，自动校验与人工评分交叉比对。对可规则化检查的项目（如引用是否存在、格式是否合规、关键字段是否缺失）设置自动校验，将自动校验结果与人工评分逐条比对。两者不一致的样本单独列出，分析是规则过严、过松，还是人工判断有误。交叉比对的作用是发现单一评分方式的系统性偏差。
例子：一次完整的小样本评估演算
以下为演示情景，数字用于说明计算过程，不代表任何实际产品的实测结果或达标线。
设定：任务类型为“需求文档初稿生成”，时间窗为两周，采用分层随机抽样，共抽取20条输出，由两名评分人独立评分。
评分结果汇总：正确性有效样本19条，合计得分30；完整性有效样本20条，合计34；可执行性有效样本19条，合计28；一致性有效样本20条，合计36；可追溯性有效样本18条，合计24。其中1条因输入缺失标记为无法判定，1条在可执行性上两名评分人分歧，经第三人复核定为1分。
| 维度 | 有效样本数 | 得分合计 | 维度得分 | 权重 | 加权贡献 |
|---|---|---|---|---|---|
| 正确性 | 19 | 30 | 1.58 | 0.30 | 0.474 |
| 完整性 | 20 | 34 | 1.70 | 0.20 | 0.340 |
| 可执行性 | 19 | 28 | 1.47 | 0.25 | 0.368 |
| 一致性 | 20 | 36 | 1.80 | 0.10 | 0.180 |
| 可追溯性 | 18 | 24 | 1.33 | 0.15 | 0.200 |
加权总分约为1.56（满分2分）。双评样本中档位完全一致的有16条，一致样本占比为80%，分歧率为20%。可追溯性维度得分最低，且有效样本数最少，说明该维度既有质量短板，也存在较多无法判定情况，应优先排查引用来源是否充分。
结论可表述为：在本时间窗、本任务类型的20条抽样输出中，加权总分为1.56（满分2分），可追溯性为主要短板，评分者一致样本占比80%。该结论适用于同类任务和相近使用角色，不外推到其他任务类型。
解读与限制：哪些结论能下、哪些不能
评估结果能说明的是这批样本在这套口径下的表现，不能自动代表整体质量或业务效果。解读时注意以下边界。
- 样本代表性限制外推。分层抽样只覆盖已纳入的任务类型和角色，未纳入的任务不能套用同一得分。样本量偏小时，维度得分的波动较大，宜表述为“本批样本表现”，而非“整体水平”。
- 分母为零或样本过少时，不计算该维度得分，直接标注“样本不足，未计算”，并在结论中说明。不得用其他维度得分替代，也不得省略该维度后直接给总分。
- 评分者主观性会带来偏差。缓解方式包括：评分前统一档位含义、保留评分理由、对分歧样本引入第三人复核、定期抽查已评样本。一致样本占比偏低时，先修正评分规则再解读结果。
- 质量得分与业务结果之间需要额外证据。输出质量提高是否带来交付加快或返工减少，属于另一层验证，不能由质量得分直接推出。若要建立关联，需在同一时间窗内同时采集业务侧数据并做对照分析。
评估过程中的样本登记、评分记录和复核意见需要可查可追溯。在ONES中，可以把每条待评样本登记为工作项，将原始输入、AI输出和评分理由写入工作项描述或关联Wiki页面，复核意见通过评论和状态流转留痕；评估完成后，用效能管理对评分记录做多维分析并共享仪表盘，便于团队按同一口径复算和对比不同批次的结果。这样评估结论有据可查，下一轮评估也能沿用相同的记录结构。
常见问题
评估AI输出质量时，样本量抽多少才够？
没有通用下限，可按两个条件确定：每层样本量足以观察各维度的得分分布，且继续增加样本时主要维度得分波动趋于稳定。实操中先抽一小批试评，看分布和分歧情况再决定是否扩大。样本偏少时，结论表述为“本批样本表现”，不外推为整体水平。
评分人之间意见不一致的样本怎么处理？
先记录双方各自的档位和理由，再由第三人复核或协商定分，协商结果与原分歧一并留存，样本不删除。分歧样本是计算一致样本占比的原始材料。若一致样本占比整体偏低，应先复核评分规则和档位含义，再解读维度得分。
某个维度大部分样本都无法判定，还能给总分吗？
该维度不计算得分，直接标注“样本不足，未计算”，并在结论中说明原因，不用其他维度得分替代，也不省略该维度后直接给加权总分。同时排查无法判定的原因，例如输入材料缺失或任务要求不明确，修正后再进入下一轮评估。
质量得分提高了，能否说明AI应用带来了业务收益？
不能直接推出。质量得分反映的是样本在这套口径下的输出表现，与交付加快、返工减少等业务结果属于不同层面的证据。若要建立关联，需在同一时间窗内同时采集业务侧数据并做对照分析，且排除其他影响因素。
评估过程中的样本和评分记录放在哪里便于复核？
关键是每条样本的输入、输出、评分、理由和评分人可查可追溯。在ONES中，可以把待评样本登记为工作项，将原始输入、AI输出和评分理由写入工作项描述或关联Wiki页面，复核意见通过评论和状态流转留痕；评估完成后用效能管理对评分记录做多维分析并共享仪表盘，便于团队按同一口径复算和对比不同批次。
