AI项目建议复核:准确率与采纳率怎么统计

要统计AI项目建议复核的准确率和采纳率,先要固定两个分母:准确率用“已完成正确/错误判定的建议条数”作分母,采纳率用“已给出复核结论的建议条数”作分母。两者分母可以不同,报告中必须分别写明。要说明复核是否降低了错误建议,还需对比复核前后两个同口径时间窗的错误建议占比。本文聚焦项目状态与风险类建议的复核统计,给出公式、采集字段、计算步骤和一个可复算的算例。



要点总览(TL;DR)


  • 准确率的分母是“已完成正确/错误判定的建议条数”,采纳率的分母是“已给出复核结论的建议条数”,两者分母不同,报告中必须分别写明。
  • 每条建议按“建议类型+对象+时间窗”登记为一条可判定单元,记录判定结果、判定依据、采纳状态与采纳时间,结论形成即记录。
  • 纠错效果用复核前后两个同口径时间窗的错误建议占比变化衡量,需说明窗口长度与样本量,不能直接归因于复核。
  • 待定条目单独计数并披露待定比例;分母为零或已完成判定不足20条时,只报告绝对数与样本量,不做比率结论。
  • 三个指标并列呈现,按建议类型分组展示,以团队自身历史基线对比说明变化,不设通用达标线。


复核要回答的三个问题:准、用、改


管理层问“复核有没有降低错误建议”,实际包含三个可以分别验证的问题。把它们拆开统计,才能避免用一个数字代替全部结论。


  • 准:AI建议本身对不对。由复核人依据项目实际进度、缺陷记录、资源投入等可核验信息,判断每条建议是正确还是错误。准确率回答的是建议质量。
  • 用:复核结论有没有被项目采用。项目经理根据复核意见决定采纳或不采纳,并记录采纳后的实际动作。采纳率回答的是复核结论进入项目决策的程度。
  • 改:复核前后错误建议是否减少。用复核介入前后两个时间窗的错误建议占比做对比,回答纠错效果。

三者不能互相替代。准确率高只说明建议本身质量好,不能证明项目采用了这些建议;采纳率高可能因为建议集中在容易执行的类型,不能反推建议正确;纠错效果需要前后对照,单看某一期的错误占比无法说明变化来自复核。向管理层汇报时应同时给出三个指标,并说明各自的分母和样本量。



指标定义与统计范围


统计前先固定口径。下表给出三个指标的计算方式,其中“建议条数”是统一统计单位,每条建议按“建议类型+对象+时间窗”登记为一条可判定单元。


指标 公式 分子 分母 单位 时间窗
准确率 判定为正确的建议数 ÷ 已完成判定的建议总数 判定结果为“正确”的建议条数 已完成正确/错误判定的建议条数,不含待定 条,结果以百分比表示 与建议生成时间对齐的统计周期,如按周或按迭代
采纳率 被采纳的建议数 ÷ 已给出复核结论的建议总数 采纳状态为“采纳”的建议条数 已给出复核结论(采纳或未采纳)的建议条数,不含待定 条,结果以百分比表示 与准确率同一统计周期,采纳时间可晚于判定时间
纠错效果 复核前窗口错误建议占比 − 复核后窗口错误建议占比 两个窗口各自的错误建议条数 两个窗口各自已完成判定的建议条数 百分点 两个窗口长度相同、建议类型和项目范围一致

纳入范围建议限定为项目状态与风险类建议,例如进度偏差提醒、缺陷集中风险、资源投入异常等。排除范围包括:与项目状态无关的通用问答、重复提交的同一条建议、超出统计窗口才生成的建议。复核状态上,只有完成判定的建议进入准确率分母,只有给出采纳或未采纳结论的建议进入采纳率分母,待定条目单独计数,不混入任一比率的分母。



数据怎么采:字段、判定与记录时点


比率能否复算,取决于每条建议是否留下可追溯的记录。建议以建议ID为主键建立登记表,至少包含以下字段。


字段 说明 记录时点
建议ID 唯一标识,同一建议多次复核沿用同一ID 建议生成时
建议类型 如进度风险、缺陷风险、资源风险 建议生成时
对象 关联的项目、迭代或工作项 建议生成时
生成时间 用于划分统计窗口 建议生成时
复核人 具备项目上下文的判定人 判定时
判定结果 正确、错误、待定三态 判定完成时
判定依据 引用的实际进度、缺陷数据、资源记录等 判定完成时
判定时间 用于计算判定周期和抽检 判定完成时
采纳状态 采纳、未采纳、待定 项目经理给出结论时
采纳时间 用于对齐统计窗口 采纳或未采纳结论形成时
未采纳原因 如信息不足、时机已过、已有其他措施 给出未采纳结论时
采纳后结果 简要记录实际动作或结果 动作执行后

判定标准需要事先写清:建议所指的风险或状态与可核验数据一致,判为正确;与数据明显不符、对象错误或时间窗已过仍提示,判为错误;依据不足无法判断,记为待定。判定人应固定为熟悉该项目的角色,避免同一批建议由不同标准的人判定。判定和采纳的记录时点要求是“结论形成即记录”,不要事后补记,补记需标注补记时间。待定条目单独标记,并在报告中披露待定比例。


这些记录需要落在团队日常使用的工作项和文档中,才能与项目数据对齐。ONES 的工作项字段与状态记录可以承载建议登记、判定结果和采纳状态,ONES Assistant 生成的进展分析与风险建议也可保存为工作项或 Wiki 页面,便于后续逐条复核和留痕;具体字段配置按团队流程设计。



计算步骤:从原始记录到三个指标


按以下四步计算,每一步都保留中间计数,便于他人复算。


  1. 按时间窗筛选建议记录。以建议生成时间落在统计周期内为准,导出该窗口内的全部建议记录,记录总条数。
  2. 剔除重复与未完成判定的记录并单独计数。同一建议ID只保留一条;判定结果为待定的记录不计入准确率分母,单独统计待定条数;未给出采纳结论的记录不计入采纳率分母,单独统计。
  3. 计算准确率与采纳率。准确率=正确条数÷已完成判定条数;采纳率=采纳条数÷已给出复核结论条数。两个分母分别列出,不合并。
  4. 按复核前后两个窗口计算错误建议占比变化。选取长度相同、建议类型和项目范围一致的两个窗口,分别计算错误条数÷已完成判定条数,用复核前占比减复核后占比,得到百分点变化。

异常处理规则:分母为零时不做比率结论,只报告绝对数和样本量;样本过少(例如已完成判定不足20条)时,比率波动大,应同时给出条数并注明样本量不足;同一建议在多个窗口重复出现时,按首次生成窗口计入,后续窗口只记录复核动作,不重复计入分母。



一个算例:两周复核数据怎么算


以下为演示情景,数据为虚构,仅用于说明计算过程。


某团队对两周内AI生成的项目风险建议进行复核。第一周为复核前窗口,第二周为复核后窗口,两周建议类型和项目范围一致。


项目 复核前窗口(第一周) 复核后窗口(第二周)
建议总数 60 58
重复建议 4 3
去重后建议数 56 55
已完成判定数 50 48
其中判定正确 34 39
其中判定错误 16 9
待定数 6 7
已给出复核结论数 46 45
其中采纳 28 31

准确率计算:第一周34÷50=68.0%;第二周39÷48=81.3%。采纳率计算:第一周28÷46=60.9%;第二周31÷45=68.9%。注意采纳率分母是已给出复核结论的46条和45条,与准确率分母50条和48条不同,待定条目均未计入。


纠错效果计算:第一周错误建议占比16÷50=32.0%;第二周9÷48=18.8%;下降13.2个百分点。汇报时应同时说明:两周已完成判定分别为50条和48条,待定比例分别为10.7%(6÷56)和12.7%(7÷55),样本量有限,13.2个百分点的变化需要结合更多周期观察,不能直接归因于复核本身。



向管理层汇报时怎么解读与设限


三个指标并列呈现,才能支撑“复核是否降低错误建议”的判断。准确率高不等于采纳率高:建议正确但项目已有其他措施,采纳率可能偏低;采纳率高也可能集中在少数容易执行的建议类型。汇报时按建议类型分组展示,比只给一个总数更有解释力。


采纳率受建议类型和项目阶段影响明显。项目启动阶段的风险建议更容易被采纳,收尾阶段的同类建议可能因时机已过被搁置。跨期比较必须保持建议类型、项目范围和窗口长度一致,口径变化时需在报告中注明,不能直接对比。


纠错效果需要对照窗口,且不能直接归因于复核。复核前后错误占比下降,可能同时来自建议生成质量变化、项目数据更完整或判定标准调整。汇报时应说明对照窗口的设置、两个窗口的样本量,以及期间是否发生其他流程变化。


披露清单建议包含:各指标分子分母与样本量、待定条数与待定比例、判定人是否一致及抽检结果、未采纳原因分布、对照窗口设置。不设通用达标线,以团队自身历史基线或同类建议分组对比说明变化方向和幅度,把结论限定在统计窗口和样本范围内。



常见问题


准确率和采纳率的分母为什么不一样,能不能统一用一个分母?


两个指标回答的问题不同,分母自然不同。准确率判断建议本身对不对,只有完成正确/错误判定的建议才能进入分母;采纳率判断复核结论是否进入项目决策,只有已给出采纳或未采纳结论的建议才能进入分母。待定条目在两边都不计入。


如果强行统一分母,会把尚未判定或尚未决策的条目算成错误或未采纳,比率被系统性压低,也无法区分“建议质量差”和“流程还没走完”。报告中分别列出两个分母和待定条数,读者才能复算。


复核人判定“正确/错误”时依据不足,应该怎么处理?


依据不足时记为待定,不强行判成正确或错误。待定条目单独计数,在报告中披露待定比例,并说明待定的主要原因,例如项目数据尚未更新、建议所指对象已变更、判定所需记录缺失。


如果某一类建议的待定比例持续偏高,说明判定标准或数据可得性需要调整,可以先补充判定依据的来源,再重新复核这批条目。待定条目在依据补齐后可以转为正确或错误,转换时保留原判定时间和补判时间。


同一条风险建议在连续几周反复出现,会不会把分母撑大?


会。处理方式是按建议ID去重,同一建议只在其首次生成的窗口计入分母,后续窗口只记录复核动作和采纳进展,不重复计入。如果建议内容实质变化、指向新的风险对象,则视为新建议,分配新的建议ID。


去重后建议数与原始建议总数的差额应单独记录,作为数据质量的参考。重复率本身也值得关注:重复提示多,可能说明风险未被处理,也可能说明建议生成环节缺少去重逻辑。


复核前后错误建议占比下降了,怎么说明这是复核带来的?


单靠前后对比不能证明因果关系。汇报时应同时说明对照窗口的设置、两个窗口的样本量,以及期间是否发生其他变化,例如建议生成规则调整、项目数据完整性提升、判定人更换或判定标准修订。


更稳妥的做法是保留一个未经过复核的对照批次,或按建议类型分组比较,观察下降是否集中在复核覆盖的类型上。结论限定在统计窗口和样本范围内,用“同期观察到下降”表述,比直接写“复核使错误率下降”更准确。


复核记录放在哪里,才能保证分子分母可追溯?


记录需要与项目数据在同一处留痕,避免判定表和项目进度各存一份。常见做法是把每条建议登记为工作项,用字段承载建议类型、判定结果、判定依据、采纳状态和采纳时间,状态流转记录判定与采纳的时点。


ONES 的工作项字段与状态记录可以承载这类登记,ONES Assistant 生成的进展分析与风险建议也可保存为工作项或 Wiki 页面,便于逐条复核和留痕;具体字段配置按团队流程设计。统计时从同一数据源导出,比率才能复算。