AI辅助测试用例评审:漏审率与人工修正量怎么统计

漏审率按“AI评审判定通过、但人工复核或后续缺陷暴露问题的用例数”除以“同一时间窗内AI判定通过的用例总数”计算,分母为零时标注不适用;人工修正量按AI意见被人工改写、删除或补充的条目数统计,并同时给出平均修正条数、修正字数与修正工时。两个指标要跨批次比较,需先固定评审对象范围、AI版本与提示词版本、时间窗和复核抽样规则。



要点总览(TL;DR)


  • 漏审率 = AI判定通过但被人工复核或后续缺陷证明有问题的用例数 ÷ 同一时间窗内AI判定通过的用例总数;分母为零时标注不适用,不写0%。
  • 人工修正量按修正条目数、修正字数、修正工时三种口径分别统计,同时给出总量与每条用例均值,避免只用条目数低估改写工作量。
  • 跨批次比较前需固定评审对象范围、AI模型与提示词版本、时间窗和人工复核抽样规则;抽样结果标注为抽样口径,不当作全量结论。
  • 评审耗时需把AI评审与人工复核分开记录,缺陷前置发现数按评审阶段发现、后续才暴露的缺陷统计,并注明缺陷记录习惯的影响。
  • 漏审率受抽样比例与复核严格度影响,人工修正量高可能来自AI意见不清或用例本身质量差,单指标不构成绩效结论。


评估目标:先定义要回答的评审效果问题


统计之前先明确评估对象。这里评估的是AI对测试用例的评审输出,包括每条用例的通过/不通过结论,以及AI给出的具体意见条目。测试执行结果、脚本维护质量、需求变更带来的返工不在本次统计范围内,它们会干扰对AI评审环节的判断。


一套可用的评估需要回答三个问题:AI漏掉了什么,即AI判定通过、实际存在问题的用例有哪些;人工为AI补了多少,即人工在AI意见基础上改写了多少内容、花了多少时间;这些投入换来了什么,即评审阶段提前发现了多少缺陷、单条用例的评审总耗时是升是降。三个问题分别对应漏审率、人工修正量和配套的效率与缺陷指标。


评估周期建议按固定的批次划分,例如一个迭代、一个版本或一个自然月,保证每个批次内AI模型与提示词版本不变。对比基线有两种设定方式:一是AI上线前后的同一类用例对比,用于回答“引入AI后评审效果是否变化”;二是不同AI版本或不同提示词版本之间的对比,用于回答“这次调整是否让评审更准”。两种基线不要混在同一张表里,否则结论无法归因。


评估目标说明应至少写清三件事:评估对象是AI评审输出而非整个测试流程;对比基线是上线前后还是版本之间;评估周期的时间窗起止日期。这份说明是后续所有口径争议的裁决依据。



指标与范围:漏审率、人工修正量及配套指标的定义


指标定义要落到分子、分母、单位和时间窗四个要素,同名指标算法不一致是跨团队比较失败的最常见原因。下表给出建议口径,团队可按自身记录能力调整,但调整后需在评估目标说明中同步更新。


指标 分子 分母 单位 时间窗
漏审率 AI判定通过、但人工复核或后续缺陷证明存在问题的用例数 同一时间窗内AI判定通过的用例总数 百分比 与评估周期一致
人工修正条目数 AI意见被人工改写、删除、补充的条目数 不适用,按总量与每条用例均值呈现 条、条/用例 与评估周期一致
人工修正字数 人工改写与补充产生的净增或变更字数 不适用,按总量与每条用例均值呈现 字、字/用例 与评估周期一致
人工修正工时 人工处理AI意见所花时间 不适用,按总量与每条用例均值呈现 小时、分钟/用例 与评估周期一致
评审耗时 不适用 不适用 分钟/用例 与评估周期一致
缺陷前置发现数 评审阶段发现、后续才暴露的缺陷数 不适用,按数量与占比呈现 个 与评估周期一致

漏审率的分母只计AI判定通过的用例,不计AI判定不通过的用例,因为后者已经进入人工处理流程,不属于“漏掉”的范围。分子中的“存在问题”需要可核验的证据:人工复核明确标注的问题,或后续缺陷单能关联回该用例。仅凭主观感觉认为用例不好,不计入分子。


人工修正量的三种口径回答不同问题。修正条目数反映AI意见被采纳和调整的频次,适合观察意见质量;修正字数反映人工改写的文字工作量,适合评估文档类产出的人力投入;修正工时反映真实的时间成本,适合与评审耗时合并计算投入产出。三种口径同时呈现,避免只用条目数得出“修正量很小”的结论,而实际每条意见都被大幅改写。


评审耗时需把AI评审耗时与人工复核耗时分开记录。合并成一个总数会掩盖AI环节本身的效率,也无法判断人工时间花在复核结论还是改写意见上。缺陷前置发现情况按“评审阶段发现、后续才暴露的缺陷数”统计,并注明团队缺陷记录习惯,因为记录不及时会系统性低估这一指标。


统计范围要写清纳入哪些项目、哪些用例类型(功能、接口、性能、兼容性等)、时间窗起止。范围一旦确定,同一对比组内的所有批次保持一致;新增项目或新增用例类型时单独成组,不与原范围混算。



数据口径与证据:从哪里取数、如何保证可比


每个指标都要能追溯到原始记录。建议至少准备以下字段:用例ID、用例所属项目与模块、用例难度等级、AI评审结论(通过/不通过)、AI意见条目及原文、人工复核结论、人工修改记录(改写/删除/补充及对应字数)、人工处理耗时、关联缺陷单号、AI模型版本、提示词版本、评审时间。字段缺失时在数据表中标注“未记录”,不用默认值填补,否则分母和分子都会被悄悄改变。


可比性依赖几个固定条件。第一,固定AI模型与提示词版本,版本变更后旧数据只作历史参考,不与新版本直接比较。第二,固定用例范围与难度分层,简单用例占比高的批次漏审率天然偏低,跨批次比较前先看分层结果。第三,固定人工复核的抽样规则与抽样比例,例如按模块分层随机抽取20%,或对AI判定通过的用例全量复核。抽样比例变化时,漏审率只能在同一抽样规则内比较。


未复核部分的处理方式要提前约定。若只复核了抽样部分,漏审率应标注为“抽样口径”,并给出抽样比例和置信区间;不能把抽样结果直接写成全量漏审率。若某批次完全未做人工复核,该批次漏审率标注为“未复核”,不参与跨批次排名。


人工修正工时的取数最容易失真。建议在评审任务中记录开始与结束时间,或由评审人按用例逐条填写耗时,避免事后回忆估算。工时口径要说明是否包含阅读AI意见的时间、是否包含与作者沟通的时间,同一对比组内保持一致。



计算步骤:从原始记录到指标结果


以下步骤按顺序执行,每一步都产出可检查的中间结果,便于他人复算。


步骤一,圈定时间窗内的AI评审记录。按评审时间筛选,剔除重复提交、测试性提交和明显异常的记录,去重键建议用“用例ID+评审时间+AI版本”。去重后得到本批次的AI评审用例总数,以及其中AI判定通过的用例数,后者是漏审率的分母。


步骤二,关联人工复核结论与后续缺陷。以用例ID为关联键,把人工复核标注的问题、后续缺陷单中关联到该用例的记录合并,标记出“AI判定通过但存在问题”的用例。同一用例有多个问题时只计一次,避免分子被重复放大。


步骤三,计算漏审率。公式为:漏审率 = AI判定通过但存在问题的用例数 ÷ AI判定通过的用例总数 × 100%。分母为零时,该批次漏审率标注为“不适用”,不写0%,因为0%会被误读为“没有漏审”。


步骤四,统计人工修正量。从人工修改记录中分别汇总改写、删除、补充的条目数,得到修正条目总数;汇总变更字数得到修正字数;汇总人工处理耗时得到修正工时。再分别除以本批次被人工处理的用例数,得到每条用例的平均修正条数、平均修正字数和平均修正工时。三个均值与三个总量同时保留,总量看规模,均值看强度。


步骤五,分层输出。按用例难度或模块分组,重复步骤一至四,得到各层结果。分层后若某模块分母为零,同样标注不适用。分层结果与总体结果并列呈现,总体均值掩盖差异时以分层结果为准进行解读。


在ONES中执行这套流程时,测试用例、评审意见与缺陷单分别由ONES TestCase和ONES Project承载,ONES Assistant可基于项目、工作项与知识页面理解上下文并执行创建缺陷、更新状态等操作,使评审记录与缺陷关联留在同一套可追踪的工作项中。具体字段结构与取数方式需按团队实际配置核验,统计口径以上述定义为准。



算例:一个批次的具体数字


假设某批次AI共评审用例1000条,其中AI判定通过800条、判定不通过200条。人工对判定通过的用例按20%比例分层抽样复核,共复核200条,其中12条被人工认定存在问题,另有3条在后续测试中由缺陷单关联回该用例且此前未被人工复核发现。


抽样口径漏审率为12 ÷ 200 × 100% = 6.0%,标注为“抽样口径,抽样比例20%”。若把后续缺陷暴露的3条也计入,并假设这3条落在未复核的600条中,则全量口径的分子至少为15条,漏审率不低于15 ÷ 800 × 100% = 1.9%。两个数字差异来自复核覆盖范围不同,报告中应同时给出抽样口径结果和全量口径下限,并说明未复核部分未做推断。


人工修正量方面,假设AI在本批次共给出1500条意见,人工改写320条、删除180条、补充90条,修正条目总数为590条,平均每条被处理用例修正约2.95条(590 ÷ 200)。假设修正字数合计23600字,平均每条用例118字;人工处理AI意见耗时合计30小时,平均每条用例9分钟。三种口径分别呈现,不互相替代。


假设某小型模块本批次AI判定通过用例为0条,该模块漏审率标注为“不适用”,并在表格中保留该行,备注“本批次无AI判定通过用例”。不删除该行,也不填0%。


分层后可能出现总体与单模块结论相反的情况。例如总体漏审率6.0%,但核心交易模块抽样40条中8条有问题,漏审率20%,而展示类模块抽样160条中4条有问题,漏审率2.5%。总体数字被用例量大、问题少的模块拉低,解读时应指出核心模块风险更高,并检查是否需要在核心模块提高复核比例。



解读与限制:指标能说明什么、不能说明什么


漏审率能说明在给定复核规则下,AI判定通过的用例中有多少被证明有问题,适合用来观察AI评审的保守程度和版本变化趋势。它受抽样比例和复核严格度直接影响:抽样比例提高、复核人更严格,漏审率通常上升。跨团队比较前必须先对齐抽样规则和问题认定标准,否则数字差异可能只反映复核力度不同。


人工修正量能说明人工为AI意见付出了多少调整工作,但高修正量有两种常见来源:AI意见表述不清、颗粒度不合适,导致人工大幅改写;或者用例本身质量差,AI意见触及的问题需要人工补充大量内容。结合意见类型分析才能区分,例如统计被删除意见中“重复表述”“与用例无关”的占比,判断问题出在AI侧还是用例侧。


缺陷前置发现情况受缺陷记录习惯影响明显。评审阶段发现的问题若没有及时登记缺陷单,就会在统计中消失;后续才暴露的缺陷若未关联回用例,也无法计入漏审分子。这一指标适合在同一团队内做趋势观察,不适合直接等同于AI贡献,更不能把缺陷前置发现数的增长全部归因于AI。


评审耗时与人工修正量要一起看。AI评审耗时短但人工修正工时高,说明效率转移到了人工侧;两者都下降且漏审率未上升,才更可能说明评审环节整体改善。单看任何一个指标都不足以得出结论,也不建议把漏审率或修正量单独用作个人或团队的绩效结论。


AI版本或提示词变更后应重置基线。新版本上线后的第一批数据与旧版本数据之间,差异可能来自模型能力,也可能来自用例分布变化,直接比较容易误判。重置基线的做法是:新版本上线后重新积累一个完整评估周期的数据,再与旧版本同范围、同抽样规则的数据对比,并在报告中注明版本信息。



常见问题


人工复核只覆盖了一部分用例,漏审率还能用于跨批次比较吗?


可以比较,但前提是抽样规则一致。若两个批次都按同一比例、同一分层方式随机抽样,抽样口径的漏审率可以横向对照;若抽样比例或复核严格度发生变化,数字差异可能主要来自复核力度,而非AI评审质量。


报告中应标注“抽样口径”并写明抽样比例,未复核部分不做推断。需要更接近全量的结论时,可对AI判定通过的用例做全量复核,或对核心模块提高复核比例后单独呈现。


AI意见被人工删除,算不算人工修正量?


算。人工修正量统计的是AI意见被人工改写、删除、补充的条目数,删除属于其中一种处理方式。分开记录改写、删除、补充三类数量,有助于判断问题来源:删除占比高往往说明AI意见存在重复表述或与用例无关,改写占比高则可能说明意见颗粒度或表述方式需要调整。


删除的条目同样计入修正条目总数,但不产生修正字数,因此字数口径与条目数口径的结果可能不同,三种口径需并列呈现。


AI模型或提示词升级后,旧批次的漏审率还能直接对比吗?


不建议直接对比。版本变更后,差异可能来自模型能力,也可能来自用例分布或复核人员变化,混在一起无法归因。可行做法是新版本上线后重新积累一个完整评估周期的数据,在与旧版本相同的用例范围、难度分层和抽样规则下比较,并在报告中注明两边的版本信息。


旧数据可作为历史参考保留,但不参与新版本的排名或趋势线拼接。


评审耗时和缺陷前置发现数怎么和漏审率放进同一套评估?


三者回答不同问题,应并列呈现而非合并成一个综合分。评审耗时按单条用例分别记录AI评审耗时与人工复核耗时;缺陷前置发现数按评审阶段发现、后续才暴露的缺陷数量统计;漏审率反映AI判定通过的用例中实际有问题的比例。


解读时结合看:AI评审耗时短但人工修正工时高,说明效率转移到了人工侧;漏审率未上升且两类耗时都下降,才更可能说明评审环节整体改善。缺陷前置发现数受缺陷登记习惯影响,适合在同一团队内看趋势。


某个模块本批次没有AI判定通过的用例,漏审率填0%还是留空?


标注为“不适用”,并在表格中保留该行、备注原因,例如“本批次无AI判定通过用例”。填0%会被误读为“该模块没有漏审”,与事实不符;直接删除该行则会让读者误以为模块未被纳入统计。


分层输出时同样处理,各层分母为零的模块单独标注,不参与总体均值的计算与排名。