AI流程人工接管率怎么算:公式、统计口径与解读

人工接管率=统计周期内发生人工接管的AI执行实例数÷同期AI执行实例总数×100%。分母只统计AI实际发起执行的流程节点或任务实例,分子按实例去重,同一实例多次接管只计一次。要让这个数字可复算、可比较,还需要提前约定四类接管情形、时间窗归属、重试回滚和分母为零的处理规则。



要点总览(TL;DR)


  • 人工接管率=统计周期内发生人工接管的AI执行实例数÷同期AI执行实例总数×100%,分子按实例去重,同一实例多次接管只计一次。
  • 分母只统计AI实际发起执行的流程节点或任务实例,确定性规则自动化、纯人工操作、未实际执行的排队实例不计入。
  • 统计口径至少区分四类接管:异常中断接管、结果驳回重做、主动人工改派、超时兜底;正常人工审批确认和AI补充信息后继续执行不计入。
  • 跨周期接管按实例发起时间归属,分母为零时标记为不适用而非0%,重试后仍由AI完成的不计接管,回滚后转人工的计入。
  • 接管率需结合类型拆分、任务完成时长和返工率一起解读,口径变更后标注版本,不设通用达标线。


评估目标:接管率要回答什么问题


接管率回答的是一个范围有限的问题:在AI实际发起执行的流程节点中,有多大比例需要人接手才能继续或完成。它衡量的是人机交接的频次,服务于流程运行监控和AI能力迭代,不承担对AI准确率或团队绩效的单独评价。


典型使用场景有三类。试点验收阶段,用接管率判断某个流程节点是否具备扩大使用范围的条件;日常运行阶段,按周或按月观察接管率的变化,发现某类节点接管集中上升时及时排查;AI能力迭代前后,用同一口径对比版本切换带来的变化。三类场景都要求口径稳定,否则数字变化无法归因。


需要明确指标边界。接管率高,可能来自AI输出不可用,也可能来自任务本身难度上升、输入数据缺失或时限设置过紧,单看比率无法区分。接管率也不适合直接用于个人绩效评价:接管往往由流程设计、数据质量和排班共同决定,把它压到某个执行人身上会诱导隐瞒接管记录,反而破坏数据可信度。



指标与范围:分子、分母和计数单位


公式为:人工接管率=人工接管实例数÷AI执行实例总数×100%。公式简单,难点在于分子分母的边界。建议在口径文档中把下面三项写死,后续所有统计都按此执行。


项目 定义 说明
分母 统计周期内AI实际发起执行的实例数 按流程节点实例或任务实例计数,二者择一并在口径中固定
分子 上述实例中至少发生一次人工接管的实例数 同一实例多次接管只计一次
单位与时间窗 百分比,按周或按月统计 注明时间窗起止日期,跨周期规则见后文

纳入范围是AI驱动执行的流程节点,即由AI发起、AI产出中间结果或最终结果的执行单元。排除范围包括三类:确定性规则自动化(如固定条件触发的字段赋值、状态流转),这类执行不存在接管概念;纯人工操作的任务;已创建但未实际执行的排队实例,它们尚未产生AI执行行为,计入分母会稀释比率。


计数单位需要在流程节点实例和任务实例之间选定一种。流程节点实例适合节点粒度清晰、一个节点对应一次AI调用的流程;任务实例适合一个任务内包含多次AI调用、需要整体判断是否接管的场景。两种单位算出的比率不可直接比较,口径文档中应写明所选单位及理由。



统计口径:哪些情况算人工接管


接管情形不统一是接管率不可比的主要原因。建议至少区分以下四类,并在报表中分列展示,合计作为分子。


接管类型 判定条件 典型记录
异常中断接管 AI执行报错、置信度低于阈值或缺少必要输入,无法继续,由人接手完成 执行日志中的错误码、低置信度标记、输入缺失提示
结果驳回重做 AI产出被人工判定不可用,退回并重新处理 评审驳回记录、返工工单
主动人工改派 执行过程中人工主动将任务从AI转给人工,无报错也无驳回 改派操作记录、执行主体变更日志
超时兜底 AI未在约定时限内完成,由人工兜底处理 超时告警、兜底处理记录

不计入接管的情形同样要写清楚。AI执行过程中的正常人工审批确认,属于流程设计的既定环节,人在这里做的是审核而非接手执行;AI主动请求补充信息、补充后继续自动执行的,执行主体始终是AI,也不构成接管。这两类如果误计入分子,会系统性高估接管率。


去重规则按实例执行:同一实例在统计周期内先后发生异常中断接管和结果驳回重做,分子只计一次,但类型拆分时可以分别记录,用于分析接管构成。若需要观察接管强度而非接管覆盖面,可另设“接管次数/执行实例数”作为辅助指标,与接管率并列展示,避免两个概念混用。



数据口径与证据:从哪里取数、如何校验


接管率的数据来自三类记录:流程执行日志(记录每次AI调用的开始、结束与结果状态)、任务状态流转记录(记录实例在各状态间的迁移)、接管操作记录(记录谁在什么时间以何种方式接手)。三类记录通过实例ID关联,形成一条可追溯的执行链。


关键字段清单如下:实例ID、流程节点名称、执行主体(AI或人工)、发起时间、接管时间、接管类型、执行结果状态。字段缺失会直接影响分子分母的准确性,其中执行主体和接管类型最关键——前者决定实例是否进入分母,后者决定是否进入分子。


校验建议采用抽样比对:每周或每月抽取一定比例的实例,将执行日志与工单状态逐条对照,重点检查两类问题。漏记表现为日志显示人工处理但无接管操作记录,常见于线下沟通后补录;重复计数表现为同一实例因多次状态回写被计为多个接管实例。抽样发现的问题应回溯修正当期数据,并在口径文档中记录修正原因。


接管类型未标注时,建议按以下规则归类:有错误码或低置信度标记的归入异常中断接管;有驳回或返工记录的归入结果驳回重做;有改派操作但无上述标记的归入主动人工改派;仅有超时告警的归入超时兜底。无法归类的单独标记为“类型待确认”,在报表中单列,不计入任何一类拆分,但计入分子总数。


当AI执行记录与人工接管操作分散在不同系统中时,取数环节需要保证实例ID可以跨系统关联。ONES 的 AI 研发管理方案强调基于权限体系执行任务、输出过程可追踪、结果可审计,AI执行产生的结果可以工作项、Wiki页面等形式留存,这为按实例回溯执行主体和状态变化提供了记录基础。具体到接管类型字段如何设置、报表如何导出,需要在实施时结合流程配置确认。



计算步骤:从原始记录到接管率


按以下顺序执行,可以保证每次统计结果可复算:


  1. 确定时间窗,写明起止日期和统计周期长度。
  2. 从执行日志中筛出该时间窗内AI实际发起执行的实例,剔除确定性规则自动化、纯人工操作和未执行的排队实例,得到分母。
  3. 在分母实例中标记发生过人工接管的实例,按四类接管情形归类。
  4. 对标记结果按实例ID去重,同一实例多次接管保留一条记录,得到分子。
  5. 计算分子÷分母×100%,同时输出各接管类型的实例数与占比。

边界情况按以下规则处理。跨周期接管:按实例发起时间归属,接管发生在下一周期仍计入原实例所属周期,不重复计入新周期。分母为零:该周期没有AI执行实例时,接管率标记为“不适用”,不写0%,因为0%会被误读为执行质量良好。重试与回滚:同一实例重试后仍由AI完成的不计接管;回滚后转人工处理的计入接管,接管时间以转人工的时间为准。



例子:一个月的接管率怎么算出来


以下为演示情景,用于说明计算过程,数字为假设值。某月某流程的AI执行实例共1200个,接管记录如下:异常中断接管60个、结果驳回重做35个、主动人工改派15个、超时兜底10个,合计120条接管记录。


去重检查发现,有8个实例同时发生了异常中断接管和结果驳回重做,这8条重复记录需要扣除。去重后接管实例数为120−8=112个。接管率=112÷1200×100%≈9.3%。各类型占比按去重后的实例数计算,异常中断接管约占52%,结果驳回重做约占30%,主动人工改派约占13%,超时兜底约占9%(存在一例多类型的实例,占比合计可能略超100%,报表中可注明)。


对照来看,若把正常人工审批确认误计入分子,假设该月有150个实例经过既定审批环节,接管率会被算成(112+150)÷1200×100%≈21.8%,高估超过一倍。这个差距说明,口径文档中排除项的表述必须足够具体,最好直接列出审批确认、补充信息后继续执行等典型场景。



解读与限制:接管率高低说明什么


接管率下降通常被解读为AI能力提升,但这个结论需要条件。下降可能来自AI输出质量改善,也可能来自任务难度整体降低、输入数据质量提高,或者口径调整后部分情形不再计入分子。判断原因时,应先看类型拆分:异常中断接管下降通常指向模型或规则改善;结果驳回重做下降可能来自评审标准放宽;主动人工改派下降可能与排班或人员习惯变化有关。类型结构不变而总量下降,才更可能反映能力变化。


接管率不宜单独作为AI质量的结论。建议与任务完成时长、返工率、一次通过率等指标配合观察:接管率下降但返工率上升,说明人虽然少接手,但产出质量未必改善;接管率上升而完成时长缩短,可能是流程主动把疑难任务交给人工,属于合理设计。指标之间相互印证,才能支撑判断。


口径变更后不可直接与历史数据比较。每次调整接管类型定义、计数单位或时间窗归属规则,都应在口径文档中标注版本号,并在报表中注明“口径版本”。跨版本对比时,建议用新口径回溯重算至少一个历史周期,确认差异来源后再下结论。


本文不提供通用达标线。接管率的合理区间取决于流程风险等级、AI承担的任务类型和试点目标:高风险流程可能要求接管率维持在较低水平并保留人工复核,探索性试点则可以接受较高接管率以换取覆盖速度。阈值应由流程负责人结合试点目标设定,并在验收时说明设定依据。



常见问题


AI执行中途报错、人工接手后完成,但系统里没有接管操作记录,这种情况怎么统计?


这类情况属于漏记,需要先补记录再统计。建议在流程中把“执行主体变更”设为必填动作:人工接手时在任务状态或工单上做一次改派或接管标记,注明接管类型。若当期已无法补录,可在抽样校验时按执行日志中的人工处理痕迹(如人工提交的结果、人工修改记录)识别,单独标记为“补录识别”,并在口径文档中说明这部分数据的来源与占比,避免与正常记录混在一起直接比较。


同一个AI执行实例先被驳回重做,重做后又被人工改派,分子算一次还是两次?


按实例去重,分子只计一次。接管率衡量的是“有多少实例需要人接手”,同一实例无论发生几次接管,都只代表一个需要人工介入的执行单元。类型拆分时可以分别记录两次接管,用于分析接管构成和强度;若需要观察接管频次,可另设“接管次数÷执行实例数”作为辅助指标,与接管率并列展示,两个指标不要混用。


按周统计时,周五发起的实例下周一才被人工接管,应该计入哪一周?


按实例发起时间归属,计入发起那一周,接管发生在下一周也不重复计入新周期。这样处理可以保证分子分母来自同一批实例,比率不会被跨周期接管扭曲。代价是最近一周的数据可能尚未稳定,建议在报表中把最近一个周期标记为“待定稿”,等跨周期接管全部落定后再锁定数值。若团队更关注接管发生的时间分布,可以另出一张按接管时间统计的接管量报表,与接管率分开使用。


某个流程刚上线,统计周期内AI执行实例很少甚至为零,接管率怎么写?


分母为零时接管率标记为“不适用”,不写0%。0%会被读成执行质量良好,而实际情况是没有样本。实例数很少时,建议同时给出分子分母的绝对数和样本量提示,例如“接管率20%(1/5)”,让读者判断这个比率的可信度。样本量过小时,可以合并多个周期统计,或等实例积累到一定数量后再纳入趋势分析。


接管率下降能不能直接说明AI能力变好了?


需要看类型拆分和配套指标。异常中断接管下降通常指向模型或规则改善;结果驳回重做下降可能来自评审标准放宽;主动人工改派下降可能与排班或人员习惯变化有关。建议同时观察任务完成时长、返工率和一次通过率:接管率下降但返工率上升,说明人少接手了,产出质量未必改善。类型结构不变而总量下降,才更可能反映能力变化。口径调整过的周期,还要先排除口径因素再下结论。