确定AI输出质量的统计口径，关键是把“质量”拆成可判定的对象、指标和计算规则：先固定评估用途与判定单元，再为每个质量维度写出公式、分子分母、时间窗和缺失值处理，最后用抽样复核检验口径本身是否稳定。本文面向试点验收与持续监控场景，给出可复算的口径文档写法，不涉及公开榜单跑分和一般研发效能指标体系建设。
要点总览（TL;DR）
- 统计口径的起点是评估用途：试点验收、版本对比、日常监控三种目标对应不同的抽样范围、统计周期和展示方式，指标定义可以共用。
- 质量维度要拆成可计算的指标，每个维度落1至2个指标，并标明比率型、计数型或等级型，避免维度与指标混写。
- 每个指标必须写清分子、分母、时间窗和缺失值处理规则；分母为零显示“—”，样本低于下限只展示计数。
- 定性维度需要证据来源和等级化评分量表，通过双人复核控制判定差异，通过阈值结合自身基线设定。
- 指标反映相关性，不能直接证明AI带来质量提升；解读时先看分层再看总体，多指标组合判断。
评估目标：先明确要回答的质量问题
统计口径的粒度由评估用途决定。同一批AI输出，用于试点验收时要回答“是否达到继续推广的条件”，口径偏向少数关键指标加明确阈值；用于版本对比时要回答“新版本相对旧版本是否更好”，口径要求两版使用完全相同的样本框、量表和计算规则；用于日常监控时要回答“质量是否出现异常波动”，口径偏向稳定可得、周期固定的比率型指标。三种用途共用一套指标定义，但抽样范围、统计周期和展示方式应分别设定。
评估对象需要在口径文档中逐项列出。研发场景中常见的AI输出包括代码建议、需求文档草稿、测试用例、接口说明、缺陷描述归纳等。纳入清单写清任务类型和产生环节，例如“纳入：IDE内代码补全建议中被开发者采纳的部分；纳入：由AI生成并经人工提交的需求文档初稿”。排除清单同样要写，例如“排除：开发者未查看即丢弃的建议”“排除：AI参与但人工重写超过一半的文档”。排除项影响分母，必须事先约定，不能在统计后临时调整。
判定单元决定一条记录算一次还是算一个任务。以单次输出为单位适合计算采纳率、一次通过率；以单个任务为单位适合评估端到端可用性，例如一个需求从AI初稿到评审通过的整体表现；以单个使用者为单位适合观察采用行为，但不适合作为质量结论的主要单位，因为个人产出量差异会放大波动。建议主指标以单次输出或单任务为单位，使用者维度仅作分层展示。
本节交付一份评估目标与对象范围说明，至少包含：评估用途一句话、纳入清单、排除清单、判定单元定义、评估周期。技术模型基准测试（如公开数据集跑分）和交付周期、吞吐量等一般研发效能指标不在本文口径范围内，避免把不同性质的数字混进同一张报表。
指标与范围：质量维度如何拆成可统计的指标
质量维度是观察角度，指标是能计算的对象，两者不能混写。常见维度包括正确性、完整性、可执行性、可维护性、合规与安全。每个维度落成1至2个可判定指标即可，指标过多会导致评审负担上升、判定质量下降。维度和指标的对应关系应写进指标清单，后续新增指标必须挂到某个维度下，避免出现无人解释的孤立数字。
指标按计算方式分三类。比率型指标由分子除以分母得到，适合表达“合格比例”，如一次通过率；计数型指标直接统计发生次数，适合表达“问题规模”，如每百次输出中的严重缺陷数；等级型指标按量表打分后取分布或均值，适合表达“主观质量水平”，如文档可读性评分。比率型最便于跨周期比较，计数型便于定位问题，等级型必须同时报告评分人数量和一致性，否则均值意义有限。
| 指标名 | 所属维度 | 定义 | 类型 | 单位 | 统计层级 |
|---|---|---|---|---|---|
| 一次通过率 | 正确性 | 首次评审即通过、无需修改的输出数 ÷ 纳入评审的输出总数 | 比率型 | % | 任务类型 / 版本 |
| 采纳后修改率 | 正确性、可维护性 | 采纳后发生实质性修改的输出数 ÷ 被采纳的输出总数 | 比率型 | % | 任务类型 / 版本 |
| 要素完整率 | 完整性 | 按检查表判定要素齐全的输出数 ÷ 纳入评估的输出总数 | 比率型 | % | 任务类型 |
| 可直接执行率 | 可执行性 | 无需人工调整即可运行或直接进入下一环节的输出数 ÷ 纳入评估的输出总数 | 比率型 | % | 任务类型 |
| 严重缺陷数 | 合规与安全 | 评估周期内被判定为严重级别的缺陷条数 | 计数型 | 条/周期 | 版本 / 周期 |
| 质量等级分布 | 可维护性等 | 按五级量表评分后各等级的输出数占比 | 等级型 | % | 任务类型 / 评审人组 |
指标清单表是口径文档的第一张表，写清指标名、维度归属、定义、类型、单位和统计层级。统计层级一列决定后续分层展示的维度，例如按任务类型分层可以避免代码建议和文档草稿混算。清单确定后再进入分母与时间窗的细化，不在本节提前写公式细节。
数据口径：分子分母、时间窗与缺失值怎么定
每个指标都要写成可复算的公式，分子和分母各自对应可查询的记录集合。以一次通过率为 example：分子是“首次评审结论为通过且无修改意见的输出条数”，分母是“统计周期内完成首次评审的输出总条数”。分子分母必须来自同一筛选条件，包括同一任务类型、同一模型版本、同一时间窗。只写“通过率”而不写分母来源，不同人复算会得到不同结果。
时间窗按评估用途设定。试点验收以试点阶段为窗口，从首批输出产生到验收截止；版本对比以版本上线后的固定观察期为准，两版观察期长度一致；日常监控按周或按迭代统计，周期固定后不随意更改。输出产生时间、评审完成时间、修改发生时间可能跨窗口，口径需指定以哪个时间点归属记录，通常以输出产生时间归属，评审结论在窗口结束后补录的单独标注。
缺失值和无效样本要事先定规则。未评审的输出不计入比率型指标的分母，同时单独报告“未评审数量及占比”；判定为“无法判定”的输出计入分母但不计入分子，并单列无法判定比例；重复提交的同一输出按最新一次判定计入，历史记录保留用于追溯。规则写在口径表里，统计时按规则执行，不做逐条人工取舍。
分母为零时，比率显示为“—”，并注明“本周期无纳入样本”，不用0%代替。样本量低于事先约定的下限时，只展示计数和原始记录，不展示比率或标注“样本不足，仅供参考”。不同任务类型、不同模型版本之间的数据默认不可直接比较，需要比较时按任务类型和版本分层展示，每层单独给出样本量。
| 指标 | 分子 | 分母 | 时间窗 | 缺失值处理 |
|---|---|---|---|---|
| 一次通过率 | 首次评审通过且无修改的输出数 | 完成首次评审的输出总数 | 按版本观察期 | 未评审不计入分母并单列；无法判定计入分母不计入分子 |
| 采纳后修改率 | 采纳后发生实质性修改的输出数 | 被采纳的输出总数 | 按周或按迭代 | 修改记录缺失的样本标记为无效，不计入分母 |
| 要素完整率 | 检查表要素齐全的输出数 | 纳入评估的输出总数 | 按试点阶段 | 检查表未填写的样本不计入分母 |
| 严重缺陷数 | —（计数型） | — | 按自然月 | 缺陷定级存疑的单独列出，不并入严重级 |
证据与判定标准：定性质量如何变成可核验记录
定性维度要落到证据上，判定才有依据。常用证据来源包括代码评审记录、缺陷单、回滚记录、人工抽样评分表、文档评审意见。每条判定记录至少包含：输出标识、任务类型、模型版本、判定结论、证据链接或编号、判定人和判定时间。证据缺失的判定视为无效，不能只凭印象打分。
评分量表按等级给出可观察的判定描述。以需求文档初稿的完整性为例，可设五级：一级为缺少核心章节且无法进入评审；二级为章节齐全但关键要素缺失两处以上；三级为关键要素基本齐全、需少量补充；四级为要素齐全、仅表述需微调；五级为要素齐全且可直接进入评审。每一级写清“看到什么判为这一级”，避免只写“优秀、良好、一般”这类无法对齐的形容词。
评审人之间的判定差异要控制。做法包括：正式统计前用同一批样本做校准，统一对量表各级的理解；正式评估中抽取一定比例样本由两人独立判定，计算一致比例，一致比例偏低时回到量表修订；对分歧样本组织讨论并记录最终判定理由。一致比例本身作为口径质量指标报告，不隐藏。
通过标准结合自身基线和场景设定。做法是先测一轮基线，记录当前各指标水平，再结合业务风险确定验收阈值，例如严重缺陷数设为零容忍、一次通过率不低于基线且提升幅度达到约定值。阈值写入口径文档并注明设定依据和适用版本，版本或任务类型变化后重新评估，不套用外部通用达标线。
计算与评估步骤：从抽样到汇总的执行流程
第一步确定样本框与抽样方法。样本框是统计周期内全部符合条件的AI输出清单，从研发管理工具或日志中导出，记录导出时间和筛选条件。样本量允许全量评估时优先全量；样本量大时采用分层抽样，按任务类型和模型版本分层，每层抽取数量按该层占比分配，并保证每层最低样本量。抽样方法、层数和每层样本量写入评估记录。
第二步逐条判定并记录证据。判定人按量表对每条样本给出结论，附证据编号，无法判定的标记原因。判定过程不参考指标汇总结果，避免先看结果再调判定。
第三步按公式计算各指标。每个指标保留分子、分母原始数和计算日期，比率保留一位小数。计数型指标同时给出对应分母规模，例如严重缺陷数附评估输出总量，便于判断发生密度。
第四步汇总与分层展示。总表给出各指标总体值，分层表按任务类型、模型版本展示，每层标注样本量；抽样评估时给出置信区间，样本量过小的层只展示计数。图表与原始数一并保留，便于复核。
第五步口径复核。由未参与判定的人抽取部分样本按同一规则复算，核对分子分母是否一致、缺失值处理是否符合规则、异常值是否有记录。发现口径歧义时修订文档并注明修订日期和影响范围，已发布的旧结果标注所用口径版本。
评估过程中的评审记录、缺陷关联和抽样评分需要可追溯地保存。ONES 的评审与工作项记录可以承载判定结论和证据链接，使每条样本的判定人、时间和依据可回查；ONES Performance 效能管理可对系统内流转的研发数据做多维度自定义分析并配置仪表盘，适合承载按版本、按任务类型分层的统计展示。AI输出质量类指标是否纳入其自定义指标，需按实际配置确认。
例子：一次AI代码建议质量评估的口径演算
以下为演示情景，数字仅用于说明计算过程。某团队在为期四周的试点中评估IDE内AI代码建议的质量，纳入范围为被开发者采纳的代码建议，排除未查看即丢弃的建议。四周内共产生采纳记录1200条，按任务类型分为业务逻辑、测试代码、配置脚本三层。
指标一：采纳后无需修改率。分子为采纳后未发生实质性修改的建议数，分母为采纳总数。经评审记录核对，1200条中有780条无需修改，该指标为780÷1200＝65.0%。按层看，业务逻辑层采纳600条、无需修改360条，为60.0%；测试代码层采纳400条、无需修改300条，为75.0%；配置脚本层采纳200条、无需修改120条，为60.0%。总体值受各层占比影响，分层值更能说明差异。
指标二：一次通过率。分子为首次评审通过且无修改意见的建议数，分母为完成首次评审的建议数。1200条中有150条尚未评审，按口径不计入分母，分母为1050条，分子为690条，指标为65.7%，同时报告未评审占比12.5%。
分母为零与样本过少的处理示例：配置脚本层在第二周仅采纳18条，低于事先约定的30条下限，该周该层只展示计数，不展示比率；某周测试代码层无新增采纳，采纳后无需修改率显示为“—”，并注明“本周无纳入样本”。
结果展示时，总体值与分层值并列，每层标注样本量和观察周数；与上一版本对比时，两版使用同一量表、同一排除规则和等长观察期，差异才可作为版本对比结论。若两版任务分布明显不同，先按任务类型分层比较，再讨论总体变化。
解读与限制：口径稳定后如何避免误读
指标反映的是统计周期内的相关表现，不能直接证明AI带来了质量提升。采纳后无需修改率上升，可能来自建议质量改善，也可能来自任务难度下降或评审标准变化。得出因果结论需要设置对照，例如同一任务类型下未使用AI的输出作为参照，或进行前后对照并控制任务分布。没有对照时，报告应写成“本期指标为多少”，不写成“AI使质量提升了多少”。
样本量和任务分布影响可比性。分层样本过少时，比率波动大，单周变化不宜作为趋势判断；任务类型占比在版本间发生变化时，总体指标的变化可能只是结构变化。解读时先看分层，再看总体，并同时报告样本量和观察期长度。
口径需要维护。任务类型新增、模型版本更换、评审量表修订都会影响历史可比性，每次变更记录版本号、变更内容和生效时间，跨版本比较时注明口径差异。定期复核指标是否仍对应原来的质量维度，删除长期无人使用或无法稳定判定的指标。
结论应由多指标组合形成。正确性、完整性、可执行性、合规与安全各取一至两个指标共同判断，单一指标不单独作为验收通过或绩效评价的依据。将指标结果与具体样本和证据一起呈现，让读者能看到数字背后的判定记录，口径才真正可用。
常见问题
试点验收和日常监控可以用同一套指标定义吗？
指标定义可以共用，但抽样范围、统计周期和展示方式需要分别设定。试点验收关注是否达到继续推广的条件，通常采用试点阶段全量或大比例抽样，并配明确阈值；日常监控关注质量是否异常波动，适合按周或按迭代固定周期统计，优先选用稳定可得的比率型指标。两套场景共用同一份指标清单和量表，可以避免历史数据无法对照，但阈值和样本下限应各自设定。
评审人之间打分差异很大时，口径还能用吗？
先处理一致性，再使用数据。做法是在正式统计前用同一批样本做校准，统一对量表各级判定描述的理解；正式评估中抽取一定比例样本由两人独立判定，计算一致比例。一致比例偏低时，回到量表修订，把含糊的等级描述改成可观察的判定条件，再重新校准。分歧样本组织讨论并记录最终判定理由。一致比例本身应作为口径质量指标随结果一起报告，不隐藏。
某个任务类型样本太少，比率还要不要算？
按事先约定的样本下限处理。低于下限时只展示计数和原始记录，不展示比率，或标注“样本不足，仅供参考”。分母为零时比率显示为“—”，并注明本周期无纳入样本，不用0%代替。分层样本过少时，单周比率波动大，不宜作为趋势判断；需要观察变化时，可以合并相邻周期或扩大观察窗口，但合并规则要写入口径文档并保持前后一致。
评估记录和证据链接放在哪里比较合适？
关键是每条判定可回查：输出标识、任务类型、模型版本、判定结论、证据链接或编号、判定人、判定时间都能对应上。研发管理工具可以承载评审记录、缺陷关联和抽样评分，使判定结论与工作项、评审意见相互关联。ONES 的评审与工作项记录可用于保存判定结论和证据链接；ONES Performance 效能管理可对系统内流转的研发数据做多维度自定义分析并配置仪表盘，适合承载按版本、按任务类型分层的统计展示，AI输出质量类指标是否纳入其自定义指标需按实际配置确认。
口径确定后，什么情况下需要修订？
任务类型新增、模型版本更换、评审量表调整、样本下限或缺失值规则变化时，都需要修订口径。每次修订记录版本号、变更内容、生效时间和影响范围，已发布的旧结果标注所用口径版本。跨版本比较时注明口径差异，避免把规则变化误读为质量变化。另外建议定期复核每个指标是否仍对应原来的质量维度，删除长期无人使用或无法稳定判定的指标。
