要统计AI项目建议复核的准确率和采纳率,先要固定两个分母:准确率用“已完成正确/错误判定的建议条数”作分母,采纳率用“已给出复核结论的建议条数”作分母。两者分母可以不同,报告中必须分别写明。要说明复核是否降低了错误建议,还需对比复核前后两个同口径时间窗的错误建议占比。本文聚焦项目状态与风险类建议的复核统计,给出公式、采集字段、计算步骤和一个可复算的算例。
要点总览(TL;DR)
- 准确率的分母是“已完成正确/错误判定的建议条数”,采纳率的分母是“已给出复核结论的建议条数”,两者分母不同,报告中必须分别写明。
- 每条建议按“建议类型+对象+时间窗”登记为一条可判定单元,记录判定结果、判定依据、采纳状态与采纳时间,结论形成即记录。
- 纠错效果用复核前后两个同口径时间窗的错误建议占比变化衡量,需说明窗口长度与样本量,不能直接归因于复核。
- 待定条目单独计数并披露待定比例;分母为零或已完成判定不足20条时,只报告绝对数与样本量,不做比率结论。
- 三个指标并列呈现,按建议类型分组展示,以团队自身历史基线对比说明变化,不设通用达标线。
复核要回答的三个问题:准、用、改
管理层问“复核有没有降低错误建议”,实际包含三个可以分别验证的问题。把它们拆开统计,才能避免用一个数字代替全部结论。
- 准:AI建议本身对不对。由复核人依据项目实际进度、缺陷记录、资源投入等可核验信息,判断每条建议是正确还是错误。准确率回答的是建议质量。
- 用:复核结论有没有被项目采用。项目经理根据复核意见决定采纳或不采纳,并记录采纳后的实际动作。采纳率回答的是复核结论进入项目决策的程度。
- 改:复核前后错误建议是否减少。用复核介入前后两个时间窗的错误建议占比做对比,回答纠错效果。
三者不能互相替代。准确率高只说明建议本身质量好,不能证明项目采用了这些建议;采纳率高可能因为建议集中在容易执行的类型,不能反推建议正确;纠错效果需要前后对照,单看某一期的错误占比无法说明变化来自复核。向管理层汇报时应同时给出三个指标,并说明各自的分母和样本量。
指标定义与统计范围
统计前先固定口径。下表给出三个指标的计算方式,其中“建议条数”是统一统计单位,每条建议按“建议类型+对象+时间窗”登记为一条可判定单元。
| 指标 | 公式 | 分子 | 分母 | 单位 | 时间窗 |
|---|---|---|---|---|---|
| 准确率 | 判定为正确的建议数 ÷ 已完成判定的建议总数 | 判定结果为“正确”的建议条数 | 已完成正确/错误判定的建议条数,不含待定 | 条,结果以百分比表示 | 与建议生成时间对齐的统计周期,如按周或按迭代 |
| 采纳率 | 被采纳的建议数 ÷ 已给出复核结论的建议总数 | 采纳状态为“采纳”的建议条数 | 已给出复核结论(采纳或未采纳)的建议条数,不含待定 | 条,结果以百分比表示 | 与准确率同一统计周期,采纳时间可晚于判定时间 |
| 纠错效果 | 复核前窗口错误建议占比 − 复核后窗口错误建议占比 | 两个窗口各自的错误建议条数 | 两个窗口各自已完成判定的建议条数 | 百分点 | 两个窗口长度相同、建议类型和项目范围一致 |
纳入范围建议限定为项目状态与风险类建议,例如进度偏差提醒、缺陷集中风险、资源投入异常等。排除范围包括:与项目状态无关的通用问答、重复提交的同一条建议、超出统计窗口才生成的建议。复核状态上,只有完成判定的建议进入准确率分母,只有给出采纳或未采纳结论的建议进入采纳率分母,待定条目单独计数,不混入任一比率的分母。
数据怎么采:字段、判定与记录时点
比率能否复算,取决于每条建议是否留下可追溯的记录。建议以建议ID为主键建立登记表,至少包含以下字段。
| 字段 | 说明 | 记录时点 |
|---|---|---|
| 建议ID | 唯一标识,同一建议多次复核沿用同一ID | 建议生成时 |
| 建议类型 | 如进度风险、缺陷风险、资源风险 | 建议生成时 |
| 对象 | 关联的项目、迭代或工作项 | 建议生成时 |
| 生成时间 | 用于划分统计窗口 | 建议生成时 |
| 复核人 | 具备项目上下文的判定人 | 判定时 |
| 判定结果 | 正确、错误、待定三态 | 判定完成时 |
| 判定依据 | 引用的实际进度、缺陷数据、资源记录等 | 判定完成时 |
| 判定时间 | 用于计算判定周期和抽检 | 判定完成时 |
| 采纳状态 | 采纳、未采纳、待定 | 项目经理给出结论时 |
| 采纳时间 | 用于对齐统计窗口 | 采纳或未采纳结论形成时 |
| 未采纳原因 | 如信息不足、时机已过、已有其他措施 | 给出未采纳结论时 |
| 采纳后结果 | 简要记录实际动作或结果 | 动作执行后 |
判定标准需要事先写清:建议所指的风险或状态与可核验数据一致,判为正确;与数据明显不符、对象错误或时间窗已过仍提示,判为错误;依据不足无法判断,记为待定。判定人应固定为熟悉该项目的角色,避免同一批建议由不同标准的人判定。判定和采纳的记录时点要求是“结论形成即记录”,不要事后补记,补记需标注补记时间。待定条目单独标记,并在报告中披露待定比例。
这些记录需要落在团队日常使用的工作项和文档中,才能与项目数据对齐。ONES 的工作项字段与状态记录可以承载建议登记、判定结果和采纳状态,ONES Assistant 生成的进展分析与风险建议也可保存为工作项或 Wiki 页面,便于后续逐条复核和留痕;具体字段配置按团队流程设计。
计算步骤:从原始记录到三个指标
按以下四步计算,每一步都保留中间计数,便于他人复算。
- 按时间窗筛选建议记录。以建议生成时间落在统计周期内为准,导出该窗口内的全部建议记录,记录总条数。
- 剔除重复与未完成判定的记录并单独计数。同一建议ID只保留一条;判定结果为待定的记录不计入准确率分母,单独统计待定条数;未给出采纳结论的记录不计入采纳率分母,单独统计。
- 计算准确率与采纳率。准确率=正确条数÷已完成判定条数;采纳率=采纳条数÷已给出复核结论条数。两个分母分别列出,不合并。
- 按复核前后两个窗口计算错误建议占比变化。选取长度相同、建议类型和项目范围一致的两个窗口,分别计算错误条数÷已完成判定条数,用复核前占比减复核后占比,得到百分点变化。
异常处理规则:分母为零时不做比率结论,只报告绝对数和样本量;样本过少(例如已完成判定不足20条)时,比率波动大,应同时给出条数并注明样本量不足;同一建议在多个窗口重复出现时,按首次生成窗口计入,后续窗口只记录复核动作,不重复计入分母。
一个算例:两周复核数据怎么算
以下为演示情景,数据为虚构,仅用于说明计算过程。
某团队对两周内AI生成的项目风险建议进行复核。第一周为复核前窗口,第二周为复核后窗口,两周建议类型和项目范围一致。
| 项目 | 复核前窗口(第一周) | 复核后窗口(第二周) |
|---|---|---|
| 建议总数 | 60 | 58 |
| 重复建议 | 4 | 3 |
| 去重后建议数 | 56 | 55 |
| 已完成判定数 | 50 | 48 |
| 其中判定正确 | 34 | 39 |
| 其中判定错误 | 16 | 9 |
| 待定数 | 6 | 7 |
| 已给出复核结论数 | 46 | 45 |
| 其中采纳 | 28 | 31 |
准确率计算:第一周34÷50=68.0%;第二周39÷48=81.3%。采纳率计算:第一周28÷46=60.9%;第二周31÷45=68.9%。注意采纳率分母是已给出复核结论的46条和45条,与准确率分母50条和48条不同,待定条目均未计入。
纠错效果计算:第一周错误建议占比16÷50=32.0%;第二周9÷48=18.8%;下降13.2个百分点。汇报时应同时说明:两周已完成判定分别为50条和48条,待定比例分别为10.7%(6÷56)和12.7%(7÷55),样本量有限,13.2个百分点的变化需要结合更多周期观察,不能直接归因于复核本身。
向管理层汇报时怎么解读与设限
三个指标并列呈现,才能支撑“复核是否降低错误建议”的判断。准确率高不等于采纳率高:建议正确但项目已有其他措施,采纳率可能偏低;采纳率高也可能集中在少数容易执行的建议类型。汇报时按建议类型分组展示,比只给一个总数更有解释力。
采纳率受建议类型和项目阶段影响明显。项目启动阶段的风险建议更容易被采纳,收尾阶段的同类建议可能因时机已过被搁置。跨期比较必须保持建议类型、项目范围和窗口长度一致,口径变化时需在报告中注明,不能直接对比。
纠错效果需要对照窗口,且不能直接归因于复核。复核前后错误占比下降,可能同时来自建议生成质量变化、项目数据更完整或判定标准调整。汇报时应说明对照窗口的设置、两个窗口的样本量,以及期间是否发生其他流程变化。
披露清单建议包含:各指标分子分母与样本量、待定条数与待定比例、判定人是否一致及抽检结果、未采纳原因分布、对照窗口设置。不设通用达标线,以团队自身历史基线或同类建议分组对比说明变化方向和幅度,把结论限定在统计窗口和样本范围内。
常见问题
准确率和采纳率的分母为什么不一样,能不能统一用一个分母?
两个指标回答的问题不同,分母自然不同。准确率判断建议本身对不对,只有完成正确/错误判定的建议才能进入分母;采纳率判断复核结论是否进入项目决策,只有已给出采纳或未采纳结论的建议才能进入分母。待定条目在两边都不计入。
如果强行统一分母,会把尚未判定或尚未决策的条目算成错误或未采纳,比率被系统性压低,也无法区分“建议质量差”和“流程还没走完”。报告中分别列出两个分母和待定条数,读者才能复算。
复核人判定“正确/错误”时依据不足,应该怎么处理?
依据不足时记为待定,不强行判成正确或错误。待定条目单独计数,在报告中披露待定比例,并说明待定的主要原因,例如项目数据尚未更新、建议所指对象已变更、判定所需记录缺失。
如果某一类建议的待定比例持续偏高,说明判定标准或数据可得性需要调整,可以先补充判定依据的来源,再重新复核这批条目。待定条目在依据补齐后可以转为正确或错误,转换时保留原判定时间和补判时间。
同一条风险建议在连续几周反复出现,会不会把分母撑大?
会。处理方式是按建议ID去重,同一建议只在其首次生成的窗口计入分母,后续窗口只记录复核动作和采纳进展,不重复计入。如果建议内容实质变化、指向新的风险对象,则视为新建议,分配新的建议ID。
去重后建议数与原始建议总数的差额应单独记录,作为数据质量的参考。重复率本身也值得关注:重复提示多,可能说明风险未被处理,也可能说明建议生成环节缺少去重逻辑。
复核前后错误建议占比下降了,怎么说明这是复核带来的?
单靠前后对比不能证明因果关系。汇报时应同时说明对照窗口的设置、两个窗口的样本量,以及期间是否发生其他变化,例如建议生成规则调整、项目数据完整性提升、判定人更换或判定标准修订。
更稳妥的做法是保留一个未经过复核的对照批次,或按建议类型分组比较,观察下降是否集中在复核覆盖的类型上。结论限定在统计窗口和样本范围内,用“同期观察到下降”表述,比直接写“复核使错误率下降”更准确。
复核记录放在哪里,才能保证分子分母可追溯?
记录需要与项目数据在同一处留痕,避免判定表和项目进度各存一份。常见做法是把每条建议登记为工作项,用字段承载建议类型、判定结果、判定依据、采纳状态和采纳时间,状态流转记录判定与采纳的时点。
ONES 的工作项字段与状态记录可以承载这类登记,ONES Assistant 生成的进展分析与风险建议也可保存为工作项或 Wiki 页面,便于逐条复核和留痕;具体字段配置按团队流程设计。统计时从同一数据源导出,比率才能复算。
