要判断工单自动分派是否有效,准确率、误派率和人工干预率需要放在同一统计口径下组合使用:先固定时间窗、工单范围和“正确归属”的判定依据,再分别计算三个指标并观察趋势。准确率上升、误派率下降且人工干预率同步下降,才说明自动分派在减少人工负担的同时保持了分派质量。下文给出可复算的公式、判定规则、计算步骤和一组算例,并说明指标解读的边界。工单的分派、改派与流转记录需要留痕,ONES Desk 的工单处理与报表能力可作为取数和复核的承载范围之一。
要点总览(TL;DR)
- 三个指标要在同一口径下组合使用:先固定时间窗、工单类型范围和“正确归属”的判定依据,再分别计算并观察趋势。
- 准确率=正确分派工单数÷自动分派工单总数;误派率=错误分派工单数÷自动分派工单总数;人工干预率=发生人工改派或介入的工单数÷进入自动分派流程的工单总数,分母与另外两个指标不同。
- 正确归属可用人工改派记录、处理人确认、后续流转结果判定,同一评估周期内保持同一套规则,多次改派先约定按首次分派还是按最终归属计数。
- 准确率上升、误派率下降且人工干预率同步下降,才说明自动分派在减少人工负担的同时保持了分派质量;单看任一指标都可能失真。
- 不设通用达标线,阈值结合自身基线与工单类型确定;指标反映分派结果,不能单独证明分派规则本身优劣。
评估目标:判断自动分派是否真正减少了人工改派
评估对象是自动分派产生的处理权归属,也就是每张进入自动分派流程的工单,被系统分配给了哪个处理人或处理组,以及这个归属是否正确。评估要回答的问题很具体:自动分派上线或调整规则之后,分派结果是否更接近正确归属,同时人工改派的工作量是否真的下降。
这决定了评估必须同时看两个方向。质量方向看分派结果对不对,由准确率和误派率承担;负担方向看人工是否还需要大量介入,由人工干预率承担。只盯质量,可能出现“分得很准但只敢分少量工单”的情况;只盯负担,可能出现“人工改派少了但错派被将就处理”的情况。
有效性判断依赖指标组合与趋势,而非某个单点数值。建议以自动分派规则上线或调整的时间点为界,取上线前后各若干周的数据对比,并持续按周或按月观察。单周数值受工单构成波动影响较大,连续多个周期的同向变化才构成可用的判断依据。
评估开始前应写下一份简短的目标说明,至少包含三项内容:评估覆盖的工单类型与时间窗;质量与负担两个方向各自用哪个指标表达;判断“有效”的组合条件,例如准确率不低于基线、误派率不高于基线、人工干预率较基线下降。这份说明是后续口径和结论的共同前提。
三个指标的统计范围与分母定义
三个指标都按工单数计,单位是“张”,统计前需固定三件事:时间窗(例如某月1日至月末)、工单类型范围(例如只统计某一类服务请求)、统计单位(按工单数而非按处理时长或消息条数)。口径一旦确定,跨周期对比时保持不变,否则数值不可比。
| 指标 | 公式 | 分子 | 分母 | 说明 |
|---|---|---|---|---|
| 准确率 | 正确分派工单数 ÷ 自动分派工单总数 | 判定为正确归属的工单数 | 时间窗内由自动分派完成归属的工单总数 | 衡量自动分派结果与正确归属的一致程度 |
| 误派率 | 错误分派工单数 ÷ 自动分派工单总数 | 判定为错误归属的工单数 | 同上 | 与准确率共用分母,二者之和在判定完备时接近100% |
| 人工干预率 | 发生人工改派或介入的工单数 ÷ 进入自动分派流程的工单总数 | 被人工改派、人工指定处理人或人工介入调整归属的工单数 | 进入自动分派流程的工单总数 | 衡量人工负担,分母可能大于自动分派工单总数 |
注意人工干预率的分母与另外两个指标不同。进入自动分派流程的工单中,可能有一部分因规则未命中而直接转人工,这部分工单没有自动分派结果,但计入人工干预率的分母,因此人工干预率可以高于误派率。口径表中应明确写出这一差异,避免读者误以为三个指标可以直接相减。
缺失值需要事先约定处理方式。分母为零时,该指标记为“不适用”,不记为0,否则会把“没有样本”误读为“表现完美”。工单被撤回、合并到其他工单、重复提交的,应在统计前剔除或归并到主工单,并在口径表中写明规则。跨时间窗的工单按分派发生时间归属统计周期,不按关单时间归属。
正确归属的判定依据与数据来源
认定一次分派是否正确,需要一条可复核的判定依据。常用依据有三类:人工改派记录,即工单被改派到其他处理人,原分派视为错误;处理人确认,即接收方明确表示该工单不属于自己职责范围并退回;后续流转结果,即工单经流转后最终由另一处理组完成,且流转原因标注为分派错误。三类依据可以组合使用,但同一指标周期内应保持同一套判定规则。
取数来源对应三类记录:分派日志提供每张工单的分派时间、分派对象和分派方式(自动或人工);改派记录提供改派前后处理人、改派时间和改派原因;工单流转记录提供状态变化与最终处理归属。三份数据按工单编号关联,形成每张工单一行、包含分派结果与判定结论的明细表,三个指标都从这张明细表汇总得出,保证可复算。
同一工单多次改派时,必须先约定计数规则。两种常见做法:按首次分派结果计,只要首次分派后被改派即记为错误,后续改派不重复计数;按最终归属计,以工单关闭时的处理人为准,首次分派与最终归属不一致即记为错误。前者更敏感地反映首次分派质量,后者更贴近实际处理结果。无论选哪种,都要在口径表中写明,并在整个评估周期内不切换。
判定依据不一致会导致指标不可比。例如上一周期用“改派即错误”,本周期改用“处理人确认才错误”,误派率会明显下降,但下降来自口径变化而非分派改善。规则调整、工单类型范围变化、自动分派覆盖范围变化,都应在趋势图上标注,便于区分口径变化与真实变化。
计算与评估步骤:从取数到形成判断
按以下五步执行,每步都留下可复核的中间产物,最终形成一份带分子分母的评估结论。
- 固定统计窗口与工单范围。输入:业务评估目标。动作:确定起止日期、纳入的工单类型、统计单位。产出:一页口径说明,含时间窗、范围、单位。
- 标注每张工单的分派结果。输入:分派日志、改派记录、流转记录。动作:按工单编号关联,依据判定规则标注“正确”“错误”“人工干预”三类标记,多次改派按约定规则计数。产出:工单级明细表,每行含工单编号、分派方式、分派对象、判定结论、判定依据。
- 分别计算三个指标并保留分子分母。输入:明细表。动作:按公式汇总,同时记录每个指标的分子、分母和计算结果。产出:指标计算表,建议保留两位小数并以百分比呈现。
- 按周或按月观察趋势,并与人工分派基线对比。输入:多个周期的指标计算表,以及自动分派上线前人工分派时期的历史数据。动作:绘制趋势,标注规则调整、范围变化等事件。产出:趋势对比表,含各周期三个指标及基线值。
- 组合判断。输入:趋势对比表。动作:质量方向看准确率与误派率是否稳定在基线之上,负担方向看人工干预率是否下降;两者同向改善才判定为有效,一升一降则需定位原因。产出:评估结论,写明判断依据、未达预期的指标和下一步观察方向。
取数与汇总环节可以在工单系统中完成。ONES Desk 提供工单分析报表并汇总工单处理情况,分派、改派与流转状态在工作项中留痕,可作为明细表的来源;若需要按工单类型分组统计,可借助自定义工单属性区分范围。具体报表字段和导出方式以实际使用版本为准,评估前先用一个周期的小样本核对明细表与系统记录是否一致。
算例:一组工单的三个指标怎么算
以下为演示情景,数字为假设值,用于说明计算过程。某月某类服务工单共1200张,其中1000张由自动分派完成归属,200张因规则未命中直接转人工。按“首次分派后被改派即记为错误”的规则标注后,1000张自动分派工单中,880张判定为正确,120张判定为错误;全月发生人工改派或人工介入调整归属的工单共260张,其中包含上述120张错派工单和140张直接转人工的工单。
| 指标 | 分子 | 分母 | 计算 | 结果 |
|---|---|---|---|---|
| 准确率 | 880 | 1000 | 880 ÷ 1000 | 88.00% |
| 误派率 | 120 | 1000 | 120 ÷ 1000 | 12.00% |
| 人工干预率 | 260 | 1200 | 260 ÷ 1200 | 21.67% |
解读这组数据时,先看三个指标的关系:准确率与误派率之和为100%,说明判定完备、没有未标注的工单;人工干预率21.67%高于误派率12%,差额来自140张直接转人工的工单,这部分是规则覆盖不足造成的负担,而非分派错误。若上一周期准确率为82%、误派率为18%、人工干预率为30%,则本周期三个指标同向改善,可初步判断自动分派在质量与负担两个方向都有进展。
这组数据还需要补充观察的方向包括:120张错派工单集中在哪些工单类型或哪些处理组,是否对应某条分派规则的边界问题;140张直接转人工的工单是否可以通过补充规则纳入自动分派;错派工单从分派到被改派的平均间隔,间隔过长说明错误发现滞后,人工干预率的实际负担可能被低估。这些观察不改变三个指标的计算,但决定下一步优化从哪里入手。
解读与限制:指标组合能说明什么、不能说明什么
指标之间可能互相牵制。缩小自动分派范围,例如只对高置信度工单启用自动分派,会压低误派率,但更多工单转人工,人工干预率随之上升。反过来,扩大自动分派覆盖会提高自动分派工单数,准确率可能下降而人工干预率改善。因此看到误派率下降时,要同时检查自动分派工单总数和人工干预率,确认改善不是靠少分实现的。
准确率高不等于处理效率高。分派正确只说明工单到了合适的人手里,处理是否及时、一次解决率如何,需要结合处理时长、关单周期等指标另行评估。三个指标回答的是“分得对不对、人工还要不要大量介入”,不回答“处理得快不快”。
不设通用达标线。准确率多少算好,取决于工单类型的复杂度、处理组的划分粒度和业务对错派的容忍度。阈值应结合自身历史基线确定,并按工单类型分别设定;把不同复杂度的工单混在一起算一个总数,容易掩盖某一类的明显退化。
样本量小或工单类型混杂时结论不稳定。单月工单量较少时,几张错派就能让误派率大幅波动,此时应拉长时间窗或合并周期观察。工单类型混杂时,建议先按类型分组计算再汇总,避免一类工单的改善掩盖另一类的恶化。
指标反映分派结果,不能单独证明自动分派规则本身优劣。准确率上升可能来自工单构成变化或人工改派判定变严,而非规则改进。要判断规则本身的效果,需要控制工单范围、保持判定规则不变,并结合错派工单的分布定位具体规则问题。把三个指标当作规则调整前后的对照证据,而不是绩效结论,才能让评估真正指导下一步优化。
常见问题
自动分派工单总数很少时,三个指标还能用吗?
可以用,但要调整观察方式。工单量少时,几张错派就能让误派率大幅波动,单月数值参考价值有限。建议拉长时间窗,例如按季度汇总,或把相邻几个周期合并观察趋势;同时保留分子分母,避免只看百分比。若某类工单长期样本不足,可以只记录数值、暂不下结论,等样本积累后再判断。
人工干预率高于误派率,是不是数据算错了?
不一定。两个指标的分母不同:误派率的分母是自动分派工单总数,人工干预率的分母是进入自动分派流程的工单总数,后者包含因规则未命中而直接转人工的工单。这部分工单没有自动分派结果,却计入人工干预的分子和分母,因此人工干预率可以高于误派率。核对时先确认分母口径,再看差额是否来自直接转人工的工单。
中途调整了分派规则,前后数据还能直接对比吗?
可以对比,但要在趋势图上标注规则调整的时间点,并说明调整内容。规则变化会影响自动分派覆盖范围和错派分布,数值变化可能来自规则本身,也可能来自工单构成变化。更稳妥的做法是保持判定规则和统计范围不变,只让分派规则变化,这样前后差异更容易归因;若统计范围也不得不调整,建议分段评估,不把两段数据拼成一条趋势线。
三个指标都改善了,是否可以直接认定自动分派有效?
可以作为有效性判断的主要依据,但还需排除两种干扰:一是工单构成变化,例如高复杂度工单减少会让指标整体变好;二是判定口径变化,例如改派判定变严会让误派率下降。建议同时检查错派工单的分布是否集中在某类工单或某条规则,以及人工干预的工单中有多少属于规则未命中。指标改善说明结果向好,定位到具体原因才能指导下一步优化。
除了这三个指标,还需要看什么?
三个指标回答“分得对不对、人工还要不要大量介入”,不回答“处理得快不快”。建议配合处理时长、关单周期等观察,判断分派正确之后工单是否被及时处理。另外可以看错派工单从分派到被改派的平均间隔,间隔过长说明错误发现滞后,人工干预的实际负担可能被低估。这些观察不改变三个指标的计算,但能让评估结论更完整。
