要说明AI项目建议复核是否降低了错误建议，先要回答三个问题：建议本身对不对、对的建议有没有被用、错的有多少被拦住。这三个问题分别对应准确率、采纳率和纠错效果。指标能否成立，取决于采集口径是否统一：每条建议要有唯一ID，复核结论、采纳动作和工作项状态要能对齐到同一条记录。本文围绕项目状态与风险类建议，给出公式、采集源、操作步骤和一个月的计算示例，并说明向管理层汇报时需要交代的限制。
要点总览（TL;DR）
- 准确率=复核判定正确的建议数÷复核建议总数；采纳率=被采纳并落地执行的建议数÷复核通过的建议数；纠错效果=复核纠正的错误建议数÷复核建议总数，三者均以建议ID为计数单位，按周或按月统计。
- 采集依赖四类数据源：建议台账、复核记录、工作项状态变更、人工标注与抽样，四者以建议ID为主键对齐，缺失字段需明确标记规则。
- 操作上分五步：生成时写入建议ID与关联工作项、复核时强制填写结论与纠正说明、采纳动作与工作项创建或状态变更绑定、按周期导出汇总、与基线对比形成管理层结论。
- 解读时注意：准确率受复核人判断标准影响，采纳率受可执行性与团队意愿影响，纠错效果需结合返工工时和风险暴露次数看实际收益，小样本单期结论不宜作为趋势判断。
- 向管理层汇报应同时给出指标值、计算口径、样本量、对比基线和已知偏差，结论落在复核环节的作用上，避免把单期比例当成模型能力的因果证明。
复核效果要回答的三个问题与评估目标
评估对象是AI项目建议的复核环节，范围限定在项目状态判断与风险识别类建议，例如延期预警、资源不足提示、缺陷集中度异常等。评估要回答的是复核这一道人工关卡是否减少了错误建议进入执行，结论用于向管理层说明复核环节的价值，不用于评价AI模型的整体能力，也不覆盖文档生成、测试用例编写等其他AI辅助场景。
三个待答问题可以写成清单，每个问题对应一组可采集的数据：
- 建议本身对不对：复核人判定为正确的建议占全部复核建议的比例，回答建议质量。
- 对的建议有没有被用：复核通过后被采纳并落地执行的建议占复核通过建议的比例，回答建议的可执行性与团队接受度。
- 错的有多少被拦住：复核判定为错误并被纠正的建议占全部复核建议的比例，回答复核的拦截价值。
评估需要设定固定时间窗，按周或按月统计，并确定对比基线。基线有两种取法：一是复核机制上线前的历史样本，二是同一周期内未经过复核的抽样建议。两种基线各有条件，前者需要历史数据留存完整，后者需要保证抽样随机且样本量足够。时间窗、基线、统计单位在评估启动时一次确定，中途不随意调整，否则跨期数据不可比。
准确率、采纳率、纠错效果：指标定义与计算口径
三个指标都以“条”为统计单位，以建议ID为计数对象，在同一时间窗内计算。下表给出公式、分子、分母与单位，便于复算。
| 指标 | 公式 | 分子 | 分母 | 单位 | 时间窗 |
|---|---|---|---|---|---|
| 准确率 | 复核判定正确的建议数 ÷ 复核建议总数 | 复核结论为“正确”的建议条数 | 当期完成复核的建议总条数 | % | 按周或按月 |
| 采纳率 | 被采纳并落地执行的建议数 ÷ 复核通过的建议数 | 复核通过后创建了任务或触发状态变更并执行的建议条数 | 复核结论为“正确”的建议条数 | % | 与准确率同一窗口 |
| 纠错效果 | 复核纠正的错误建议数 ÷ 复核建议总数 | 复核结论为“错误”并给出纠正说明的建议条数 | 当期完成复核的建议总条数 | % | 与准确率同一窗口 |
采纳率的分母用复核通过数，目的是把“建议质量”和“团队执行意愿”分开观察。若用全部建议数作分母，准确率下降会同时拉低采纳率，两个问题混在一起难以归因。需要看整体转化时，可以另设一个辅助指标“落地率=采纳落地数÷复核建议总数”，与采纳率并列呈现，不互相替代。
纠错效果要区分两类情形。“拦截未执行”指复核在建议进入执行前判定错误并阻止，体现前置拦截价值；“已执行后纠正”指建议已被采纳执行、后续发现错误再修正，体现补救价值，但已经产生了返工成本。两类数量分开记录，汇报时分别说明，避免把补救当成拦截。
除三个比例指标外，建议补充两个观察项：错误建议引发的返工工时，按关联工作项的实际工时汇总；风险暴露次数，指错误建议未被拦住而导致的风险事件数量。这两个观察项把比例换算成业务代价，帮助管理层判断复核收益是否值得投入。
数据从哪里来：四类采集源与字段设计
采集的关键是四类数据以建议ID为主键对齐。建议在生成时写入ID，后续复核、采纳、执行各环节都携带该ID，才能把一条建议从产生到落地的全过程串起来。下表列出采集源与必要字段。
| 采集源 | 必要字段 | 采集方式 |
|---|---|---|
| 建议台账 | 建议ID、生成时间、关联项目/工作项、建议类型（状态判断/风险识别）、建议原文、生成来源 | 建议生成环节自动写入，形成台账记录 |
| 复核记录 | 建议ID、复核人、复核时间、复核结论（正确/错误/存疑）、纠正说明、判定依据 | 复核时填写结构化表单，结论为必填项 |
| 工作项状态变更 | 建议ID、是否创建任务、任务状态流转、关闭结果、实际工时 | 采纳动作与工作项创建绑定，状态变更由系统记录 |
| 人工标注与抽样 | 建议ID、二次判定结论、标注人、标注时间、抽样批次 | 对存疑样本按规则二次判定，定期抽样复核一致性 |
字段缺失需要明确标记方式。复核结论为空白的记录标为“未复核”，不计入任何分子，单独列出数量；关联工作项缺失的记录标为“链路断裂”，在采纳率计算中单列说明；建议类型未填写的记录归入“未分类”，不并入分类统计。缺失值处理规则在评估启动时写清楚，统计时按规则执行，避免不同人导出数据时各自处理。
在ONES中，AI助手能够理解项目、工作项、迭代和Wiki页面等工作上下文，并可将执行结果保存为工作项、Wiki页面等内容，输出过程可追踪、结果可审计。这为建议台账与工作项状态变更的对齐提供了承载基础：建议关联到具体工作项后，复核记录与状态流转可以在同一套工作项体系中留痕。具体字段配置与报表导出方式以实际版本为准，评估前应先用小批量样本验证链路是否完整。
采集与统计的操作步骤
从埋点到出数可以按五步执行，每步都有明确的完成标志。
- 建议生成环节写入建议ID与关联工作项。完成标志：每条建议在台账中有唯一ID，且能查到关联的项目或工作项；抽查十条，关联缺失率为零或已标记。
- 复核时强制填写结论与纠正说明。完成标志：复核表单中结论字段为必填，判定为错误的记录必须填写纠正说明；导出当期数据，结论空白记录数量可统计。
- 采纳动作与工作项创建或状态变更绑定。完成标志：每条被采纳的建议都能追溯到创建的任务或状态变更记录，形成可查链路；随机抽取若干条，链路完整。
- 按固定周期导出并按公式汇总，存疑样本单独列出。完成标志：形成一张按建议ID排列的明细表，包含复核结论、采纳状态、执行结果；汇总表给出三个指标值与样本量。
- 与上期或未复核样本对比，形成管理层可读的结论。完成标志：输出一页说明，包含指标值、口径、样本量、对比基线和已知偏差。
第三步是链路中最容易断的环节。建议被采纳后如果只在聊天或会议中口头确认，没有落到工作项上，采纳率就无法计算。可行的做法是把“创建任务”或“更新状态”作为采纳的判定动作，复核通过后由建议发起人或项目负责人执行该动作，系统记录时间与操作人。这样采纳率的分母和分子都来自系统记录，减少人工补录。
一个月的采集与计算示例
以下为演示情景，数字仅用于说明公式如何落地。某月项目状态与风险类建议共生成120条，其中完成复核100条，20条因复核人未处理标为“未复核”，单独列出，不进入任何分子分母。
复核的100条中，判定正确72条，判定错误23条，判定存疑5条。存疑样本经二次判定后，3条改判正确、2条改判错误，最终正确75条、错误25条。按最终判定计算：
- 准确率 = 75 ÷ 100 = 75%
- 纠错效果 = 25 ÷ 100 = 25%
复核通过的75条建议中，被采纳并落地执行的有45条，其余30条未创建任务或未触发状态变更。采纳率 = 45 ÷ 75 = 60%。若看整体转化，落地率 = 45 ÷ 100 = 45%。
纠错效果进一步拆分：25条错误建议中，18条在进入执行前被拦截，7条已在执行后被纠正。前者体现前置拦截，后者对应返工，需结合关联工作项工时汇总返工成本。假设7条已执行后纠正的建议关联任务产生返工工时合计42小时，这个数字与纠错效果并列呈现，说明复核拦住了多少、补救花了多少。
分类统计时可能出现样本为零的情况。例如本月“资源不足”类建议只有2条，即使全部判定正确，也不宜单独下结论，应标注“样本不足”，不并入总准确率作分类比较。缺失复核结论的20条记录单列，不默认计为正确，也不从总数中悄悄剔除；汇报时说明“当期复核覆盖率80%”，让管理层知道指标建立在多大比例的样本上。
结果怎么解读：限制、偏差与向管理层汇报的写法
准确率受复核人判断标准影响。不同复核人对“正确”的尺度可能不同，同一类建议在两位复核人手里结论不一致，准确率就会波动。应对办法是统一判定口径，写清楚什么算正确、什么算错误、什么算存疑，并定期抽取样本做一致性抽查，记录复核人之间的一致比例。一致性低时，先校准口径再解读指标。
采纳率受建议可执行性和团队意愿影响。一条正确的建议可能因为排期冲突、责任人不明确或团队不认可而未被采纳，这不等于建议质量差。解读采纳率时应同时看未采纳原因的分类，区分“不可执行”“优先级低”“无人负责”等情形，再判断问题出在建议侧还是执行侧。
纠错效果与错误建议总量相关。错误建议多，纠错数量自然高，但这不说明复核做得好，只说明建议质量有待提升。判断复核收益要结合返工工时和风险暴露次数：拦截一条高风险错误建议避免的损失，与拦截一条低影响建议不可等同。样本量小或时间窗过短时，比例指标波动大，单期结论不宜作为趋势判断，汇报时说明样本量和观察周期。
向管理层汇报时，一页说明应包含以下要素：
- 指标值：准确率、采纳率、纠错效果，以及返工工时和风险暴露次数两个观察项。
- 计算口径：分子分母定义、统计单位、时间窗、存疑与缺失记录的处理规则。
- 样本量：复核建议总数、复核覆盖率、分类样本是否充足。
- 对比基线：与上期或未复核样本的对比结果，说明可比性。
- 已知偏差：复核人一致性、未采纳原因分布、样本量限制。
汇报结论的措辞应落在复核环节的作用上，例如“本期复核拦截了25%的错误建议，其中18条在进入执行前被阻止”，而不是“AI建议准确率达到75%所以模型可靠”。前者说明复核降低了错误建议进入执行的数量，后者把单期比例当成模型能力的因果证明，两者边界不同。若需要进一步说明复核投入是否值得，可以把拦截数量与返工工时、风险事件数放在一起，给出成本与收益的对照，并注明数据来源和统计范围。
常见问题
复核结论只有“正确/错误”两档时，准确率和纠错效果还能算吗？
可以计算，但口径需要调整。两档判定下，准确率=判定正确数÷复核总数，纠错效果=判定错误数÷复核总数，两者互补，合计为100%。这种口径的局限在于无法区分“存疑”样本，复核人遇到边界情况时可能被迫二选一，导致准确率波动。建议在条件允许时保留“存疑”作为第三档，存疑样本单列并做二次判定，二次判定后的结论再并入分子分母。若长期只能两档判定，应在汇报时说明判定口径，并定期做复核人一致性抽查，避免不同人尺度差异影响指标可比性。
建议被采纳后没有创建任务，只在聊天里确认执行，采纳率怎么算？
这类记录属于“链路断裂”，不能直接计入采纳落地数，也不宜默认算作未采纳。处理方式有两种：一是在采集规则中明确“采纳”的判定动作必须是创建任务或触发工作项状态变更，口头确认不计入分子，同时在明细表中标记“链路断裂”并单列数量；二是在流程上要求复核通过后由建议发起人或项目负责人执行创建任务的动作，把采纳行为落到系统记录中。前一种做法保证指标可复算，后一种做法从源头减少断裂。无论哪种，汇报时都应说明链路断裂的记录数量，让管理层知道采纳率建立在多大比例的可追溯样本上。
某类建议一个月只有两三条，准确率算出来是0%或100%，能直接汇报吗？
不建议直接汇报单类准确率。样本量过小时，比例指标波动极大，两三条建议中一条判定变化就会让准确率跳动几十个百分点，这样的数字容易误导管理层。处理方式是标注“样本不足”，不将该类准确率与总准确率或其他类别做比较，也不据此下结论。如果确实需要观察小类趋势，可以拉长统计窗口（如按季度累计），或将该类与相近类别合并统计，并在汇报中说明合并依据。总准确率仍按全部复核建议计算，小类样本不足不影响总指标，但应在分类明细中注明样本量。
复核人之间对“正确”的判断不一致，指标还可信吗？
一致性低会直接影响准确率的可信度，需要先校准再解读。可行做法是：写清楚判定口径，明确什么算正确、什么算错误、什么算存疑，并给出典型示例；定期抽取一定比例的建议由两位复核人独立判定，计算一致比例；一致比例偏低时，组织复核人对照分歧样本讨论，统一尺度后再继续统计。在一致性校准完成前，汇报准确率时应注明“复核人一致性尚未校准”或给出已校准样本的一致比例，避免把口径差异当成建议质量变化。一致性抽查的记录本身也应留存，作为指标可信度的佐证。
向管理层证明复核降低了错误建议，只靠纠错效果一个指标够吗？
不够。纠错效果只说明复核纠正了多少错误建议，不能说明这些错误建议如果未被拦截会造成多大影响。建议同时呈现三个层面的数据：一是纠错效果及其中“拦截未执行”与“已执行后纠正”的拆分，说明前置拦截和补救各占多少；二是错误建议引发的返工工时，按关联工作项实际工时汇总，把比例换算成人力成本；三是风险暴露次数，即错误建议未被拦住而导致的风险事件数量。三者结合，管理层才能判断复核投入是否值得。汇报时还应给出对比基线（上期或未复核样本），说明错误建议数量是升是降，避免单期绝对值被误读为趋势。
