统计工单分类准确率和覆盖率,关键是先把两个分母分开:准确率用“已复核工单数”作分母,衡量分得对不对;覆盖率用“应分类工单总数”作分母,衡量有没有分。两者还要固定同一时间窗、同一版分类体系和同一套缺失值规则,结果才能跨期比较。下面给出一套可复算的口径、公式和月度演算示例。
要点总览(TL;DR)
- 准确率的分母是已复核工单数,覆盖率的分母是应分类工单总数,两个分母必须分开,否则会同时高估或低估分类质量。
- 准确率=分类与复核结论一致的工单数÷已复核工单数×100%;覆盖率=已填写有效分类的工单数÷应分类工单总数×100%。
- 统计前固定时间窗、分类体系版本和缺失值规则,空分类、待定分类、多标签和改版映射都要写进口径文档。
- 结果按一级分类、来源渠道、处理团队拆分,并同时给出样本量;已复核样本不足30条时只报数量和一致条数。
- 准确率高而覆盖率低说明问题在入口约束,准确率低而覆盖率高说明问题在规则边界与培训,两类情形改进方向不同。
评估目标:要回答分类质量的哪几个问题
工单分类质量评估的对象是工单上的分类字段,包括一级分类和二级分类,以及支撑这些字段的分类体系。评估要回答三类不同问题,每类问题对应不同的指标和证据来源,混在一起看容易得出错误结论。
- 分得对不对:工单已经填了分类,但填的内容与实际情况是否一致。这由准确率回答,依赖人工复核结果作为基准。
- 分没分:统计时间窗内应当进入分类流程的工单,有多少填上了有效分类。这由覆盖率回答,只反映填写状态,不反映填写质量。
- 分得一致不一致:同一类问题在不同渠道、不同处理人、不同时期是否被归入同一分类。这由口径一致性检查回答,通常通过复核分歧记录和分类分布对比来观察。
三类问题的用途也不同。覆盖率适合做日常运营监控,按周观察分类字段的填写情况;准确率适合在规则调整、分类体系改版、新人上岗后做专项评估;口径一致性则用于规则优化前的诊断,找出哪些分类边界容易产生分歧。如果要把分类质量作为流程验收或规则上线的基线,应在验收前先跑一轮全量或大样本复核,把当时的准确率和覆盖率固定下来,后续用同一口径对比。
指标与范围:准确率、覆盖率与口径一致性的定义
三个指标的定义、统计对象和拆分维度如下表。准确率与覆盖率的核心差异在分母:前者只统计已复核工单,后者统计应分类工单。把两者分母混用,会同时高估或低估分类质量。
| 指标名 | 含义 | 统计对象 | 拆分维度 |
|---|---|---|---|
| 分类准确率 | 已复核工单中,分类结果与复核结论一致的占比 | 统计时间窗内已复核的工单 | 一级分类、来源渠道、处理团队、复核人 |
| 分类覆盖率 | 应分类工单中,已填写有效分类的占比 | 统计时间窗内应进入分类流程的工单 | 一级分类、来源渠道、处理团队、工单状态 |
| 口径一致性 | 同一类工单在不同渠道、团队、时期被归入同一分类的程度 | 参与对比的工单集合 | 渠道对比、团队对比、时期对比、分类层级 |
统计范围需要事先写清楚四项边界。时间窗按工单创建时间还是关闭时间截取,要在口径文档中固定一种,跨期对比时不能中途更换。工单状态决定哪些工单进入统计,例如已关闭工单和仍在处理中的工单是否同池统计,需要明确。渠道范围决定是否把自助提交、邮件转入、内部代提等来源全部纳入。分类层级决定准确率是按一级分类判定还是按二级分类判定,按二级判定通常更严格,也更容易暴露边界分歧。
拆分维度建议至少保留一级分类、来源渠道和处理团队三个。一级分类用于定位哪类业务规则最不稳定;来源渠道用于判断问题是否集中在某个入口的填写引导;处理团队用于区分是规则问题还是执行问题。拆分后样本量会变小,展示时应同时给出样本数。
数据口径与证据:分母、缺失值和复核基准怎么定
准确率的分母是已复核工单数,不是全部工单,也不是已分类工单。复核可以采用全量复核或抽样复核,两种方式的分母都只计实际完成复核并有结论记录的工单。覆盖率的分母是应分类工单总数,即统计时间窗内按流程规定应当填写分类的工单,排除明确不进入分类流程的类型,例如测试单、重复单、系统通知单。哪些类型排除,要写成清单并随口径文档一起版本管理。
缺失值处理需要逐类约定计法,否则同一批数据在不同人手里会算出不同结果。
- 空分类:分类字段为空,计入覆盖率分母,不计入覆盖率分子;若被抽中复核,准确率按“不一致”计。
- 待定分类:填了“待定”“其他待确认”等占位值,视为未有效分类,处理方式同空分类;如果组织把“其他”作为正式分类使用,需要在口径中单独说明并保持稳定。
- 多标签:一张工单允许填多个分类时,准确率按“主分类是否一致”判定,主分类的确定规则要写清楚;覆盖率按工单是否至少有一个有效分类计,不按标签个数计。
- 分类体系改版:改版前后的工单使用不同版本分类体系时,跨期对比应先把旧分类映射到新体系,映射表随口径文档留存,无法映射的工单单独列出,不混入对比结果。
复核证据是准确率可复算的前提。每条复核记录至少包含复核人、复核时间、复核结论和判定依据。复核结论建议用“一致”“不一致”“无法判定”三值,无法判定的工单不计入准确率分母,单独统计数量,避免把证据不足的工单强行计入一致或不一致。复核人应具备分类规则的判定权限,抽样复核时同一工单由一人判定即可,争议工单进入二次复核并保留两次记录。
这些口径落到工具里,需要分类字段、复核记录和统计报表三部分配合。ONES Desk 支持自定义工单属性和工单内容配置,可用于承载分类字段与收集场景;企业版提供多维度数据统计与分析能力,工单分析报表可用于观察团队处理情况。复核结论的记录方式、报表是否内置分类准确率与覆盖率指标,需要结合产品实际配置确认,统计时以产品内可导出的明细数据为准。
计算步骤:从取数到出数的可复算流程
计算流程按取数、清洗、复核匹配、汇总四步执行,每一步都留下可追溯的中间结果,便于他人用同一批数据复算出相同数字。
- 取数:按固定时间窗导出工单明细,字段至少包括工单编号、创建时间、关闭时间、工单状态、来源渠道、处理团队、一级分类、二级分类、分类填写时间。同时导出复核记录,字段包括工单编号、复核人、复核时间、复核结论、判定依据。
- 清洗:按口径文档排除不进入分类流程的工单类型,标记空分类、待定分类、多标签工单,标记分类体系版本。清洗规则写成可执行的筛选条件,保留清洗前后的工单数量。
- 复核匹配:把复核记录按工单编号匹配到工单明细,剔除无法判定的复核记录,得到已复核工单集合。检查是否存在同一工单多次复核,按口径取最终结论或二次复核结论。
- 汇总:分别计算总体指标和拆分指标,输出分子、分母、比率和样本量四列,比率保留一位小数并注明单位。
两个公式如下,时间窗与统计范围沿用口径文档中的定义:
- 分类准确率 = 分类与复核结论一致的工单数 ÷ 已复核工单数 × 100%
- 分类覆盖率 = 已填写有效分类的工单数 ÷ 应分类工单总数 × 100%
分母为零时,不输出百分比,直接标注“本期无应分类工单”或“本期无已复核工单”,并保留分子分母为 0 的记录。样本量过小时,例如已复核工单不足 30 条,建议只报数量和一致条数,百分比加注样本量提示,避免把个别工单的波动读成质量变化。不同时间窗、不同分类体系版本、不同排除清单下的结果不可直接比较,需要对比时应先用同一口径重算历史数据。
例子:一个月度统计的完整演算
以下为演示情景,数据为假设值,用于说明计算过程,不代表任何实际团队的表现。某月统计时间窗为 1 日至月末,按工单创建时间截取,分类判定到二级分类,排除测试单和重复单。
| 项目 | 数值 | 说明 |
|---|---|---|
| 导出工单总数 | 1,200 | 时间窗内创建的全部工单 |
| 排除工单 | 80 | 测试单、重复单、系统通知单 |
| 应分类工单总数 | 1,120 | 覆盖率分母 |
| 已填写有效分类 | 1,008 | 覆盖率分子,含空分类与待定分类剔除后的结果 |
| 已复核工单 | 300 | 准确率分母,抽样复核 |
| 复核一致工单 | 261 | 准确率分子 |
| 无法判定复核 | 6 | 不计入准确率分母 |
逐步计算:覆盖率 = 1,008 ÷ 1,120 × 100% ≈ 90.0%;准确率 = 261 ÷ 300 × 100% = 87.0%。无法判定的 6 条复核记录单独列出,不进入准确率计算。若把无法判定记录计入分母且按不一致处理,准确率会变为 261 ÷ 306 ≈ 85.3%,两种算法差异明显,因此口径必须提前固定。
按渠道拆分后,假设自助提交渠道应分类 600 条、有效分类 570 条,覆盖率 95.0%;邮件转入渠道应分类 520 条、有效分类 438 条,覆盖率 84.2%。再按一级分类拆分复核样本,假设“账号权限”类复核 120 条、一致 112 条,准确率 93.3%;“费用报销”类复核 90 条、一致 72 条,准确率 80.0%。解读时应把两个维度放在一起看:邮件转入渠道覆盖率偏低,说明该入口的填写引导或必填约束需要检查;“费用报销”类准确率偏低,说明该类别的分类边界或规则说明需要细化。单看总体 87.0% 和 90.0%,会掩盖这两处集中问题。
解读与限制:指标能说明什么、不能说明什么
抽样复核的准确率带有抽样误差,样本越少、类别越分散,波动越大。解读时应同时看样本量和一致条数,跨月比较时优先比较同一类别、同一渠道的样本,避免用总体百分比直接下结论。抽样方式也要留意:如果复核样本偏向已分类工单或某个团队,准确率会系统性偏高,覆盖率问题则完全反映不出来。
两个指标的组合情形需要分别解读。准确率高、覆盖率低,说明已填的分类大多正确,但相当一部分工单没有进入分类流程,问题在入口约束和填写引导;准确率低、覆盖率高,说明分类填得全但分得不准,问题在规则边界、分类说明和人员培训;两个指标都低,通常意味着分类体系与业务实际脱节,需要先梳理分类结构再谈执行。覆盖率只反映填写状态,不能用来证明分类质量;准确率只反映已复核部分,不能代表未复核工单。
指标本身不解释原因,改进要回到具体环节。分类规则层面,检查高频不一致类别是否存在定义重叠、粒度过细或缺少示例;培训层面,针对准确率偏低的类别和处理团队做规则讲解,并用复核分歧记录作为案例;字段设计层面,检查分类字段是否设置了必填约束、是否有清晰的选项说明、多标签规则是否造成主分类难以确定。每次调整规则或字段后,重新跑一轮同口径统计,用调整前后的准确率和覆盖率对比来验证效果,而不是把单次指标当作分类质量的最终结论。
常见问题
抽样复核时,准确率的分母到底算哪些工单?
分母只计实际完成复核并有结论记录的工单。抽中但尚未复核、复核结论为“无法判定”的工单都不进入分母,单独统计数量。如果同一工单经过二次复核,按口径文档事先约定的规则取最终结论或二次结论,只计一次,避免重复计入分子分母。
分类字段允许填多个标签时,准确率和覆盖率分别怎么算?
准确率按主分类是否与复核结论一致判定,主分类的确定规则要提前写清楚,例如取第一个标签或按业务优先级指定。覆盖率按工单是否至少有一个有效分类计,不按标签个数计。多标签规则本身容易造成主分类难以确定,建议在字段设计阶段就明确主分类的填写要求。
分类体系改版后,历史数据还能直接对比吗?
不能直接对比。应先把旧分类映射到新体系,映射表随口径文档留存并版本管理,无法映射的工单单独列出,不混入对比结果。改版前后的准确率和覆盖率分别计算,再在映射后的同一口径下做趋势比较,否则分类粒度变化本身就会让数字跳动。
覆盖率很高但准确率偏低,应该先改哪里?
先看拆分结果定位集中问题。按一级分类找出复核不一致最多的类别,检查这些类别的定义是否重叠、粒度过细或缺少示例;再按处理团队看分歧是否集中在少数人,若是则补充规则讲解并用复核分歧记录做案例。字段层面检查选项说明是否清晰。调整后重跑一轮同口径统计,用前后对比验证效果。
在ONES里做这套统计,需要提前准备什么?
ONES Desk 支持自定义工单属性和工单内容配置,可用于承载分类字段与收集场景;企业版提供多维度数据统计与分析能力,工单分析报表可用于观察团队处理情况。复核结论的记录方式、报表是否内置分类准确率与覆盖率指标,需要结合产品实际配置确认,统计时以产品内可导出的明细数据为准。
