统计资源冲突预警的准确率和漏报率,核心是先建一本“预警—实际冲突”对照台账:每条预警作为待判定样本,每个实际冲突回溯是否被预警覆盖。准确率=判定为真的预警数÷已判定预警总数,漏报率=未被预警覆盖的实际冲突数÷实际冲突总数。两个比率只有在冲突定义、统计周期和纳入范围一致时才可比,未判定样本和分母为零的情况需要单独说明。
要点总览(TL;DR)
- 先建“预警—实际冲突”对照台账:每条预警作为待判定样本,每个实际冲突回溯是否被预警覆盖,两个比率才有可复算的基础。
- 准确率=判定为真的预警数÷已判定预警总数,未判定样本单列并披露占比;漏报率=未被预警覆盖的实际冲突数÷实际冲突总数,实际冲突需通过人工发现和事后复盘补全。
- 统计前固定冲突定义、纳入的团队与项目范围、统计周期,以及预警触发时间与冲突发生时间的归属规则,否则两个比率不可比。
- 响应时效用预警触发到首次处置的中位时长(小时),误报处理成本=单条误报平均处理工时×误报数,与准确率、漏报率一起解读。
- 准确率高可能来自规则保守,需与漏报率、误报成本同看;分母为零或样本过少时标注“样本不足”,不设统一达标线,也不直接作为个人绩效依据。
评估目标:预警机制要回答哪几个问题
开始统计前先明确这次评估服务于什么。调优和验收是两种不同目标:调优关注规则在哪些条件下误报、在哪些场景漏报,需要细到规则版本和冲突类型;验收关注机制整体是否达到约定水平,口径可以粗一些,但必须提前固定,避免看到结果后再调整分母。
无论哪种目标,建议同时观察四个指标,各自回答一个独立问题:
| 指标 | 回答的问题 | 观察重点 |
|---|---|---|
| 准确率 | 发出的预警里有多少是真实冲突 | 误报是否集中在某类规则或某类项目 |
| 漏报率 | 实际发生的冲突里有多少没被预警发现 | 漏报来自规则盲区还是数据缺失 |
| 响应时效 | 预警发出后多久有人开始处理 | 预警是否真正进入处置流程 |
| 误报处理成本 | 核实和排除误报消耗了多少工时 | 规则调优的收益空间 |
评估周期建议与资源规划节奏对齐,例如按两周或按月统计,并在每个周期结束后做一次简短复盘:本期新增了哪些规则、哪些冲突是人工发现的、误报集中在哪个环节。复盘节奏固定下来,比率才有纵向比较的基础。
指标与范围:冲突定义、样本范围和统计周期
口径漂移是这类统计最常见的失真来源。统计前需要把三件事写成文字:什么算资源冲突、哪些对象进入样本、时间怎么归属。
冲突判定标准
以人力使用冲突为对象时,可采用以下判定:同一人员在同一天(或同一半天)的计划投入超过其可用工时,或同一人员同一时段被两个及以上任务同时占用且无法通过调整顺序化解。判定需要落到具体日期和人员,避免只写“某项目资源紧张”这类无法核验的描述。冲突的严重程度可以分级,例如超过可用工时20%以内为轻度、超过50%为重度,分级后准确率可以按级别分别统计。
纳入与排除范围
- 纳入:参与资源规划的团队与项目、纳入排期的角色;跨项目占用需要明确是否计入,建议计入并在台账中标注来源项目。
- 排除:设备、预算等非人力冲突;已取消或已明确延期的任务;因请假、调岗等已登记的人员可用性变化导致的计划差异,这类应走可用性维护流程。
- 边界情况:同一冲突在多个项目中重复出现时,按“人员+时段”去重,只计一次,并在台账中记录涉及的全部项目。
统计周期与时间归属
预警按触发时间归入周期,实际冲突按冲突发生时段归入周期。两者可能落在不同周期:周期末触发的预警,其对应冲突发生在下一周期。处理方式是给每条预警设置判定截止时间,例如触发后10个工作日内完成判定,截止时仍未判定的标记为“未判定”,不计入准确率分母,并单独披露未判定数量。跨周期的冲突在冲突发生周期内统计漏报,避免同一冲突被两个周期重复计算。
数据口径与证据:预警台账和冲突事实怎么记
准确率依赖预警侧的数据完整,漏报率依赖冲突侧的发现渠道足够全。两侧需要分别建账,再用人员和时间关联。
预警台账字段
| 字段 | 说明 |
|---|---|
| 预警ID | 唯一标识,便于与冲突记录关联 |
| 触发时间 | 规则命中并发出提示的时间 |
| 涉及人员与冲突时段 | 具体到人和日期,必要时到半天 |
| 规则版本 | 用于区分规则调整前后的样本 |
| 处理人 | 接收并核实预警的负责人 |
| 判定结果 | 真预警、误报、未判定三选一 |
| 判定时间与判定人 | 保证可回溯 |
冲突事实字段
冲突记录的关键是“发现方式”:来自预警、人工发现还是事后复盘。只有把人工发现和事后复盘也登记进来,漏报才有来源。字段包括冲突ID、涉及人员、冲突时段、发现方式、确认时间、确认人、影响描述(延期天数、返工工时等),以及是否关联到某条预警ID。未关联任何预警的实际冲突,即为漏报候选,经确认后计入漏报数。
人工发现渠道需要固定入口,例如在周度资源协调会上由项目经理登记,或由成员在排期确认时上报。渠道覆盖率直接影响漏报率的可信度:如果只有部分团队登记,漏报率会被低估,解读时需要说明覆盖范围。
这些记录可以落在工作项和文档中承载。ONES 资源管理支持通过工作数量和工时规模了解成员排期,并支持筛选与分组掌握成员在不同项目中的投入比重,实时查看成员每日投入饱和明细以识别规划风险;预警台账和冲突记录可以作为独立工作项类型或文档表维护,判定结果通过状态流转,资源报表和工时日志导出可用于核对投入数据。是否以预警形式输出冲突提示、预警事件本身能否导出,需要结合团队实际配置确认。
计算步骤:准确率、漏报率、响应时效与误报成本
四个指标按统一周期计算,公式和分母如下。
准确率
准确率 = 判定为真的预警数 ÷ 已判定预警总数。分母只包含判定结果为真预警或误报的样本,未判定样本单列,同时披露未判定占比(未判定数÷预警总数)。如果未判定占比过高,例如超过20%,准确率暂不发布,先补齐判定。
漏报率
漏报率 = 未被预警覆盖的实际冲突数 ÷ 实际冲突总数。实际冲突总数=预警确认的真冲突+人工发现冲突+事后复盘发现冲突,按“人员+时段”去重。同一冲突既有预警又有人工记录时只计一次,归入已覆盖。
响应时效
响应时效 = 从预警触发到首次处置动作的中位时长,单位小时。使用中位数而非平均值,避免个别长期未处理的预警拉偏结果。首次处置动作需要定义清楚,例如调整排期、确认可并行或明确拒绝该预警,仅“已读”不算处置。
误报处理成本
误报处理成本 = 单条误报平均处理工时 × 误报数。单条平均工时可通过抽样计时或处理人估算获得,需注明估算方式。该指标与准确率配合使用:准确率提升但误报成本下降不明显,说明规则只是变保守,并未真正减少无效核实。
缺失值与分母为零
- 分母为零:标注“本期无已判定样本”或“本期无实际冲突”,不输出比率,也不写0%。
- 样本过少:已判定预警少于20条或实际冲突少于5条时,结果标注“样本不足”,仅作参考。
- 缺失字段:判定结果缺失的样本归入未判定;发现方式缺失的冲突不计入漏报分子,但在数据质量说明中列出数量。
算一遍:一个两周统计周期的示例
以下为演示用假设数据,不对应任何真实团队。某两周周期内,预警系统共发出预警50条,其中判定为真预警32条、误报12条、截至判定截止时间仍未判定6条;同期通过人工协调会和事后复盘发现实际冲突8条,其中3条此前没有任何预警覆盖。
| 项目 | 数值 | 计算 |
|---|---|---|
| 预警总数 | 50 | — |
| 已判定预警数 | 44 | 32真+12误报 |
| 准确率 | 72.7% | 32÷44 |
| 未判定占比 | 12% | 6÷50 |
| 实际冲突总数 | 35 | 32条已覆盖+3条漏报 |
| 漏报率 | 8.6% | 3÷35 |
响应时效方面,44条已判定预警中,首次处置时长的中位数为18小时;另有2条预警超过5个工作日未处置,单独列出。误报成本方面,抽样估算单条误报平均核实工时为0.6小时,本期误报成本为12×0.6=7.2小时。
初步解读:准确率72.7%意味着约每四条预警有一条需要核实后排除,误报成本约7.2小时,尚在可接受范围;漏报率8.6%说明规则覆盖了大部分冲突,但3条漏报需要逐条查看原因,判断是规则阈值过松还是排期数据未及时更新。未判定占比12%提示判定流程存在积压,下一周期需要先解决判定及时性,否则准确率的可比性会下降。
解读与限制:这些比率能说明什么、不能说明什么
准确率和漏报率是一对相互制约的指标,需要放在一起看。准确率高可能来自规则保守:只对明显超载的人员发预警,误报自然少,但边界冲突会漏掉,漏报率随之上升。反过来,放宽阈值可以降低漏报,代价是误报和核实工时增加。单看一个比率容易得出错误结论,建议同时呈现准确率、漏报率和误报成本三项。
漏报率的可信度取决于人工发现渠道的覆盖率。如果只有部分项目登记人工发现的冲突,分母偏小,漏报率会被低估。解读时应写明登记覆盖了哪些团队、哪些冲突类型,以及是否存在未登记的场景。事后复盘是补充漏报的重要来源,复盘频率低会拉长发现延迟,但不影响冲突本身的归属周期。
以下情形下比率不可直接比较:样本量过小;统计周期内预警规则发生变更,前后样本应分开统计;业务淡旺季导致排期密度差异明显;团队或项目范围调整。遇到这些情况,应在报告中注明,并把规则版本作为分组维度。
最后,这些指标用于改进预警规则和排期流程,不宜直接作为个人绩效依据。预警是否准确取决于规则和数据质量,处理人只能影响响应时效;把漏报率与个人挂钩,容易导致冲突被私下消化而不登记,反而让统计失真。评估结论应落到具体动作:调整哪条规则的阈值、补齐哪类排期数据、把哪类冲突纳入人工登记入口。
常见问题
统计周期内预警规则调整过,准确率和漏报率还能直接和上期比吗?
不建议直接比。规则调整会改变预警的触发范围和判定难度,调整前后的样本属于不同口径。处理方式是把规则版本作为分组维度,调整前后的预警分别统计准确率,并在报告中注明变更内容和生效时间。如果调整发生在周期中间,可以按变更日期把周期切成两段,或把该周期标注为“过渡期”,只作参考、不进入纵向趋势。
人工发现的冲突很少登记,漏报率是不是就一定偏低?
是的,漏报率会被低估。漏报率的分子来自未被预警覆盖的实际冲突,这些冲突只能通过人工发现、事后复盘等渠道进入台账。登记渠道覆盖不全时,分母中的实际冲突总数偏小,分子也偏小,算出的比率看起来更低,但反映的是登记覆盖率而非预警质量。
解读时应写明登记覆盖了哪些团队和冲突类型。想提高可信度,可以先固定一个登记入口,例如周度资源协调会由项目经理登记,再逐步扩大覆盖范围,并在报告中披露覆盖率变化。
预警发出后一直没人判定,这些样本怎么处理?
归入“未判定”,不计入准确率分母,同时单独披露未判定数量和占比。建议给每条预警设置判定截止时间,例如触发后10个工作日内完成判定,截止时仍未判定的标记为未判定。
如果未判定占比过高,例如超过20%,准确率暂不发布,先解决判定积压问题。否则已判定样本可能偏向容易判断的预警,准确率会失真。下一周期可以把判定及时性作为单独的改进项跟踪。
同一个冲突既被预警覆盖,又被人力协调会记录,漏报率里怎么算?
按“人员+时段”去重,只计一次,并归入已覆盖。实际冲突总数=预警确认的真冲突+人工发现冲突+事后复盘发现冲突,去重后再作为漏报率的分母;只有未关联任何预警ID的冲突才进入漏报分子。
台账中建议保留冲突涉及的全部项目和发现方式,便于后续分析漏报来自规则盲区还是排期数据未及时更新。
样本量很小的时候,算出来的比率能用来做机制验收吗?
不建议。已判定预警少于20条或实际冲突少于5条时,结果标注“样本不足”,仅作参考。样本少时单条样本的变动就会让比率大幅波动,例如一条误报就可能让准确率变化几个百分点,难以区分规则效果和随机波动。
验收可以拉长统计周期、合并多个周期,或先积累足够样本再发布结论。分母为零时标注“本期无已判定样本”或“本期无实际冲突”,不输出比率,也不写0%。
