工具切换推广是否有效，判断依据是切换后的人群和核心工作流有没有持续在新平台上运转，而非系统是否部署完成。建议围绕覆盖度、活跃度、深度、留存与替代四层指标建立评估，每项指标固定时间窗、分子分母和去重规则，再结合切换前基线做对比。单看一个指标容易误判，需要分角色拆解并配合访谈、工单等定性证据交叉验证。
要点总览（TL;DR）
- 判断推广是否从“上线可用”走向“持续被采用”，看四层指标：覆盖度、活跃度、深度、留存与替代。
- 每项指标必须固定时间窗、分子分母和去重规则，例如按人去重、按工作项去重，否则跨周数据不可比。
- 单看一个指标容易误判：覆盖度高但留存低说明只开通未使用，活跃率高但闭环比例低说明工作在新旧平台之间割裂。
- 解读时结合切换前基线或上线首月基线做对比，并按开发、测试、产品、管理分角色拆解，定位薄弱环节。
- 指标反映行为结果，不能直接证明推广动作的因果效果，需配合访谈、工单等定性证据交叉验证。
评估目标：区分“上线可用”与“持续被采用”
“上线可用”回答的是系统能否登录、核心功能是否跑通、账号是否开通；“持续被采用”回答的是应迁移人群是否在真实工作中反复使用新平台，关键工作流是否在新平台内完成，旧工具的使用是否逐步退出。推广效果评估的对象是切换后的人群与工作流，而非部署清单。
评估对象可以拆成三个层面。第一是应迁移人群，即按切换方案需要从旧工具转入新平台的角色名单，包括开发、测试、产品和管理人员。第二是核心工作流，例如需求从提出到验收、缺陷从提交到关闭、迭代从规划到回顾，这些流程在新平台内是否形成完整的状态流转。第三是旧工具残留，即切换后仍有人在旧工具中新建或更新内容的范围与频次。
观察窗口的设定遵循三条原则。其一，覆盖切换后的完整工作周期，至少包含一个完整的迭代或月度周期，避免在集中培训期得出偏高结论。其二，区分启动期与稳定期，上线首月通常有集中动员，建议从第二个月起观察趋势。其三，留存类指标需要连续多周的数据，例如连续4周活跃留存，窗口过短无法区分一次性尝鲜与稳定使用。评估周期建议按周取数、按迭代或按月解读，形成滚动观察。
采用指标与统计范围
四层指标从“人有没有来”逐步深入到“工作有没有在这里完成”。下表给出指标清单、定义与统计范围，具体公式在下一节展开。
| 层级 | 指标 | 定义 | 统计对象 | 时间窗 |
|---|---|---|---|---|
| 覆盖度 | 激活覆盖率 | 完成首次有效操作的账号数 ÷ 应迁移人群数 | 应迁移人员名单 | 切换上线后累计，按周更新 |
| 活跃度 | 周活跃率 | 自然周内有有效操作的去重人数 ÷ 应迁移人数 | 应迁移人员 | 每个自然周（周一至周日） |
| 活跃度 | 核心操作频次 | 人均每周关键操作次数，如创建工作项、更新状态、提交评审 | 活跃人员 | 每个自然周 |
| 深度 | 工作流闭环比例 | 在新平台内完成端到端流转的工作项数 ÷ 同期应在新平台流转的工作项总数 | 核心工作流中的工作项 | 按迭代或按月 |
| 留存 | 4周活跃留存率 | 第N周活跃人员中，第N+1至N+4周至少再活跃一次的人数占比 | 周活跃人员队列 | 连续4周滚动 |
| 替代 | 旧工具残留比例 | 旧工具中新建或更新的工作项数 ÷ 新旧工具同类工作项总数 | 同类工作项 | 按周或按月 |
分角色拆解是解读这些指标的必要动作。开发人员关注工作项领取、代码关联与状态更新；测试人员关注缺陷提交与验证闭环；产品人员关注需求编写与验收；管理人员关注看板查看与评审动作。同一总体活跃率可能掩盖某一角色几乎未迁移的情况，按角色分别计算活跃率与闭环比例，才能定位推广薄弱环节。角色划分口径应与切换方案中的人群名单一致，避免统计时临时调整分组。
数据口径与证据来源
指标能否复算，取决于取数来源和口径规则是否写清楚。常用来源包括：登录与访问日志（用于激活与活跃判定）、操作日志（用于核心操作频次）、工作项状态流转记录（用于闭环比例）、旧工具访问与内容更新记录（用于残留比例），以及人力资源系统的人员在职状态（用于分母维护）。
分子分母的定义需要固定几条规则。按人去重时，同一人一周内多次登录只计一次活跃；按工作项去重时，同一工作项多次状态变更只计一次闭环。应迁移人数以切换方案确定的名单为准，人员调入调出按生效日期计入或移出分母。有效操作需要事先定义动作清单，例如仅浏览页面不计入活跃，创建工作项、更新状态、提交评审、发表评论计入活跃，清单一旦确定在整个评估周期内保持不变。
缺失与异常的处理规则建议如下：
- 离职账号：从离职生效日起移出分母，历史周数据不回溯修改，在报表中注明分母变化。
- 共享账号：无法归属到个人的账号不计入活跃人数，相关操作单独统计并说明，避免虚增活跃率。
- 日志缺失：某一周日志不完整时，该周指标标记为“数据不完整”，不参与趋势判断，不用插值补齐。
- 分母为零或人群极小：当某角色应迁移人数少于约定下限（例如不足5人）时，只报告人数与操作次数，不计算百分比，避免小样本比例失真。
当工作项在新旧平台之间并行存在时，闭环比例的分母需要明确范围：只统计切换方案规定应在新平台流转的工作项类型，历史存量工作项不计入，防止分母被旧数据稀释。这些口径应形成书面定义表，在评估启动前由推广负责人与数据提供方共同确认。
在评估流程中，工作项状态流转和统计报表是取数的关键环节。ONES 支持工作项按自定义状态流转并保留操作记录，也提供基于工作项的报表与看板，可作为闭环比例和活跃数据的承载方式；具体统计字段与导出方式以实际配置为准。评估前应确认状态定义与切换方案中的工作流一致，避免因状态命名差异导致闭环判定错误。
计算与评估步骤
各指标的计算公式如下，单位均为百分比或次数，分母口径与上一节定义一致。
- 激活覆盖率 = 完成首次有效操作的账号数 ÷ 应迁移人数 × 100%
- 周活跃率 = 当周有有效操作的去重人数 ÷ 当周末应迁移人数 × 100%
- 人均核心操作频次 = 当周关键操作总次数 ÷ 当周活跃人数
- 工作流闭环比例 = 新平台内完成端到端流转的工作项数 ÷ 应在新平台流转的工作项总数 × 100%
- 4周活跃留存率 = 第N周活跃且第N+1至N+4周至少活跃一次的人数 ÷ 第N周活跃人数 × 100%
- 旧工具残留比例 = 旧工具中新建或更新的同类工作项数 ÷ 新旧工具同类工作项总数 × 100%
基线设定有两种可选方式。若切换前旧工具数据完整，可用切换前4周的旧工具活跃率、闭环比例作为基线，观察新平台指标是否达到或接近基线水平；若旧工具数据不可得，可用上线首月数据作为内部基线，重点看第二个月起的趋势变化。两种方式都需要在报告中注明，不能混用后直接比较。
滚动评估节奏建议按周取数、按迭代或按月解读：每周更新覆盖度、活跃率与残留比例，每个迭代结束计算闭环比例，每4周计算一次留存率。指标出现异常时，按以下顺序排查：先核对数据口径与分母是否变化，再按角色拆分定位是哪一类人群下降，然后检查是否存在流程变更、项目周期低谷或集中休假等外部因素，最后结合访谈与工单确认原因。排查结论应记录在评估报告中，作为下一周期调整推广动作的依据。
示例：一次切换后8周的采用评估
以下为演示情景，数字用于说明计算过程，不代表真实客户数据。假设某研发组织应迁移人数为200人，其中开发120人、测试40人、产品25人、管理15人。切换上线后观察8周，第1周为集中培训与动员期。
覆盖度：截至第4周末，完成首次有效操作的账号为176个，激活覆盖率 = 176 ÷ 200 × 100% = 88%。截至第8周末为188个，覆盖率 = 94%。剩余12人中，6人为近两月入职尚未纳入培训，4人为长期外派，2人账号未激活。
周活跃率：第4周活跃人数为150人，周活跃率 = 150 ÷ 200 × 100% = 75%；第8周活跃人数为142人，活跃率 = 71%。活跃率从培训期高点回落后趋于稳定，属于常见形态。分角色看，第8周开发活跃率为78%，测试为72%，产品为64%，管理为53%，产品与管理角色是薄弱环节。
闭环比例：第7至第8周应在新平台流转的工作项共480个，其中在新平台内完成端到端流转的为408个，闭环比例 = 408 ÷ 480 × 100% = 85%。未闭环的72个中，有45个仍停留在旧工具更新状态，对应旧工具残留比例 = 45 ÷ 480 × 100% ≈ 9.4%。
4周留存率：以第4周活跃的150人为队列，其中在第5至第8周至少再活跃一次的有126人，4周活跃留存率 = 126 ÷ 150 × 100% = 84%。
阶段判断：覆盖度超过九成、周活跃率稳定在七成左右、闭环比例达到85%、4周留存率84%，同时旧工具残留降至一成以下，说明推广已越过“上线可用”，进入“持续被采用”阶段；但产品与管理角色活跃率偏低，仍需针对这两类角色补充流程嵌入与使用支持。若留存率持续低于六成且残留比例不降，则应判断仍处于启动期，需要检查工作流是否真正迁移而非仅账号开通。
解读与限制：指标不能替代因果判断
采用指标反映的是行为结果，不能直接证明某一项推广动作带来了提升。活跃率上升可能来自项目进入高峰期，闭环比例提高可能来自流程强制约束，这些因素与培训、动员等推广动作同时存在，需要结合时间节点和分组对比谨慎归因。
分母变化会直接影响指标可比性。组织调整、人员批量调入调出、应迁移名单修订都会改变分母，跨周比较时应同时报告分子分母的绝对数，必要时按固定队列重算。项目周期同样影响指标：迭代间隙或版本冻结期活跃率自然下降，属于正常波动，解读时应与项目日历对照。
单指标不能作为推广成功或绩效结论。覆盖度高但留存低，说明只是开通未使用；活跃率高但闭环比例低，说明工作仍在新旧平台之间割裂。建议以覆盖度、活跃率、闭环比例、留存率四项综合判断，并把旧工具残留比例作为反向校验。
定量指标需要定性证据交叉验证。建议每月抽取各角色若干人进行访谈，收集推广期工单与反馈记录，核对指标下降是否对应具体的流程障碍或工具问题。访谈样本应覆盖活跃与不活跃两类人群，避免只听到积极使用者的声音。将指标趋势、访谈结论与工单主题放在同一份评估报告中，才能支撑推广动作的调整决策。
常见问题
切换后旧工具数据不完整，基线怎么设？
若切换前旧工具缺少完整的活跃或闭环记录，可改用上线首月数据作为内部基线，重点观察第二个月起的趋势变化，而非与旧工具直接比较。两种基线方式需要在评估报告中注明，不能混用后直接对比。若旧工具只有部分数据，例如仅有登录记录而无工作项流转记录，则只对可比的指标使用旧工具基线，其余指标采用内部基线。
应迁移人数在评估期间发生变化，指标还能跨周比较吗？
可以比较，但需要同时报告分子分母的绝对数，并在报表中注明分母变化的原因和生效日期。人员批量调入调出、组织调整或名单修订都会改变分母，跨周比较时建议按固定队列重算一版作为参照。离职人员从离职生效日起移出分母，历史周数据不回溯修改，避免同一指标在不同周使用不同口径。
周活跃率在迭代间隙下降，是否说明推广出了问题？
不一定。迭代间隙、版本冻结期或集中休假期间，活跃率自然回落属于正常波动。解读时应把指标曲线与项目日历对照，区分周期性低谷和持续性下降。若活跃率在多个正常工作日周期内持续走低，且分角色拆解后集中在某一类人群，才更可能是推广或流程衔接问题，需要进一步排查。
小团队人数很少，百分比指标还有意义吗？
当某角色应迁移人数低于约定下限（例如不足5人）时，建议只报告人数与操作次数，不计算百分比，避免小样本比例失真。此时可以改用绝对数趋势判断，例如每周活跃人数、闭环工作项数的变化。团队规模较小时，定性访谈的权重也应相应提高。
指标显示采用良好，还需要做哪些验证？
建议每月抽取各角色若干人访谈，样本覆盖活跃与不活跃两类人群，同时收集推广期工单与反馈记录，核对指标变化是否对应具体的流程障碍或工具问题。将指标趋势、访谈结论与工单主题放在同一份评估报告中，再据此调整推广动作。定量指标反映行为结果，定性证据帮助解释原因，两者结合才能支撑决策。
