产品价值指标按判断用途分为三层:使用与采用指标回答“用户是否真的在用、用得多深”,支持推广与上手判断;用户价值指标回答“用户是否获得了想要的结果”,支持价值主张与体验改进判断;业务结果指标回答“这些使用是否转化为组织收益”,支持投入与续约决策。三层指标各有分母、时间窗和缺失值口径,单层指标只能支持对应层级的判断,跨层结论需要组合证据。
要点总览(TL;DR)
- 产品价值指标按判断用途分三层:使用与采用指标支持推广与上手判断,用户价值指标支持价值主张与体验改进判断,业务结果指标支持投入与续约决策。
- 每层指标都要写明公式、分母、时间窗和单位;分母在目标用户、活跃用户、开通用户之间的选择会直接影响读数含义。
- 分母为零时标注不可计算而非记为零,缺失值区分未采集、采集失败和不适用,原始数据与口径说明留存以便复算。
- 单层指标只能支持对应层级的判断,跨层结论需要组合证据;指标反映相关关系,不能直接当作因果或单独绩效依据。
- 口径变更、指标定义调整和分母更换都要留痕,下一轮评估沿用同一版本或明确标注不可直接比较。
评估目标:先明确要回答哪一类判断
“产品有没有价值”是一个复合问题,直接拿一个数字回答往往会失焦。更可操作的做法是先把它拆成三类可以分别判断的问题:用户是否真的开始使用、用户在使用中是否获得了想要的结果、这些使用是否转化为组织层面的收益。三类问题对应不同的决策对象,也对应不同的指标层。
第一类是采用判断,决策对象是推广、培训和上手支持。它关心的是目标用户中有多少人进入产品、哪些功能被反复使用、使用深度是否随时间上升。第二类是用户价值判断,决策对象是价值主张、产品改进和体验优化。它关心用户能否顺利完成关键任务、是否认为产品解决了原来的问题。第三类是业务结果判断,决策对象是预算、续约和资源投入。它关心留存、续约、收入或成本变化是否与产品使用存在可解释的关联。
| 要回答的判断 | 核心问题 | 主要决策对象 | 对应指标层 |
|---|---|---|---|
| 是否被采用 | 目标用户是否在用、用得多深 | 推广节奏、培训投入、上手支持 | 使用与采用指标 |
| 是否产生用户价值 | 用户是否完成了关键任务、获得了想要的结果 | 价值主张、功能改进、体验优化 | 用户价值指标 |
| 是否带来业务结果 | 使用是否转化为留存、续约、收入或成本收益 | 预算分配、续约决策、投入规模 | 业务结果指标 |
评估周期与时间窗需要在开始取数前确定。采用指标通常按周或按月观察,适合较短窗口;用户价值指标需要覆盖用户完成一次完整任务的周期,可能跨越数周;业务结果指标需要覆盖续约周期或成本结算周期,常见为季度或年度。时间窗一旦确定,在同一轮评估中保持一致,避免不同指标使用不同窗口却放在一起比较。
指标与范围:使用采用、用户价值、业务结果三层指标
三层指标的定义方式不同,能支持的判断边界也不同。下面的定义表给出常用指标的公式、分母、时间窗和单位,实际使用时可按产品形态调整,但分子分母的口径必须写清楚。
| 指标层 | 指标 | 公式 | 分母口径 | 时间窗 | 单位 | 支持的判断 |
|---|---|---|---|---|---|---|
| 使用与采用 | 活跃率 | 窗口内活跃用户数 ÷ 目标用户数 | 目标用户(已开通且属于推广范围) | 周或月 | 百分比 | 推广是否触达、上手是否发生 |
| 使用与采用 | 功能采用率 | 窗口内使用过某功能的用户数 ÷ 有权限使用该功能的用户数 | 有权限用户 | 周或月 | 百分比 | 功能是否被目标人群接受 |
| 使用与采用 | 使用深度 | 窗口内人均关键操作次数,或人均使用天数 | 活跃用户 | 周或月 | 次/人、天/人 | 使用是否停留在浅层试用 |
| 用户价值 | 任务完成率 | 成功完成关键任务的用户数 ÷ 尝试该任务的用户数 | 尝试任务的用户 | 覆盖一次完整任务周期 | 百分比 | 用户能否顺利获得结果 |
| 用户价值 | 价值实现指标 | 达到预设价值标准的用户数 ÷ 有效样本用户数 | 有效样本用户 | 按价值标准约定 | 百分比 | 价值主张是否成立 |
| 业务结果 | 留存率 | 观察期末仍在使用或续约的用户数 ÷ 观察期初用户数 | 观察期初用户 | 季度或年度 | 百分比 | 使用是否具有持续性 |
| 业务结果 | 续约率 | 到期续约客户数 ÷ 到期客户数 | 到期客户 | 续约周期 | 百分比 | 价值是否支撑续约决策 |
| 业务结果 | 收入或成本变化 | 评估期收入(或成本)与对照期之差 | 对照期基线 | 与结算周期一致 | 金额 | 投入是否产生可解释的收益 |
使用与采用指标只能支持“是否被用起来”的判断,不能证明用户获得了价值。活跃率高可能来自强制使用或流程绑定,功能采用率高也可能只是入口显眼。用户价值指标能支持“用户是否获得结果”的判断,但它依赖任务定义和价值标准,标准不同结论会变化。业务结果指标能支持投入与续约判断,但收入、成本、留存受市场、价格、组织变动等多重因素影响,归因需要谨慎。
定性证据在用户价值层不可省略。常用方式包括关键任务观察、用户访谈、反馈分类和工单主题统计。通过标准应在采集前约定,例如“连续两周内,样本用户中完成关键任务且自述问题得到解决的比例达到事先设定的基线”。没有通过标准的定性材料容易变成印象汇总,难以复核。
数据口径与证据:分母、时间窗与缺失值怎么定
同一组读数在不同口径下可能得出相反结论,因此口径规则要和指标定义一起固定。分母的选择影响最大:以活跃用户为分母,采用率看起来更高,但会掩盖未激活人群;以目标用户为分母,能反映推广覆盖面,但需要维护目标用户名单;以开通用户为分母,适合评估已进入产品的用户,但无法回答触达问题。评估开始前应写明每个指标使用哪一种分母,并在整轮评估中保持一致。
时间窗与观察期同样需要前置约定。采用指标按自然周或自然月统计,用户价值指标覆盖一次完整任务周期,业务结果指标覆盖续约或结算周期。观察期与对照期的长度应相同,避免用短窗口对比长窗口。若产品在评估期内发生版本变化,应在记录中标注变更时间,必要时分段统计。
缺失值和分母为零需要单独规则,不能简单记为零。分母为零时,指标标注为“不可计算”,并记录原因,例如目标用户名单为空或当期无到期客户。缺失值应区分“未采集”“采集失败”和“不适用”,分别记录数量和处理方式;对缺失比例较高的指标,结论中应说明覆盖范围。所有原始取数、清洗规则和计算脚本或表格应留存,保证他人可以复算。
- 分母定义:逐指标写明使用目标用户、活跃用户还是开通用户,并附名单来源。
- 时间窗:写明起止日期、统计粒度和观察期长度,对照期与观察期等长。
- 分母为零:标注不可计算,记录原因,不参与汇总平均。
- 缺失值:区分未采集、采集失败和不适用,记录数量与处理方式。
- 定性证据:写明样本来源、采集时间、问题清单和通过标准。
计算与评估步骤:从取数到形成判断
可复算的评估流程从取数开始,到形成书面判断结束。每一步都应有明确产出和核对人,避免指标算完却无法解释来源。
- 取数与清洗。从产品使用记录、任务记录、客户与合同记录中导出原始数据,按用户标识去重,剔除测试账号和内部账号,形成清洗后的明细表。产出为带字段说明的明细数据。
- 分层计算。按S2的定义分别计算采用指标、用户价值指标和业务结果指标,每个指标附分母、时间窗和缺失值说明。产出为三层指标读数表。
- 交叉验证。检查同一用户在不同数据源中的标识是否一致,抽查若干用户的使用记录与任务记录是否对应,核对汇总数与明细数是否一致。产出为核对记录。
- 与基线或对照期比较。使用上一周期、同类用户群或试点前后作为对照,计算变化幅度,并注明对照期是否存在版本、政策或人群差异。产出为对比表。
- 评审与记录。由产品、业务和数据相关角色共同评审读数,逐条写明“该读数支持什么判断、不支持什么判断”,形成评估记录并归档口径版本。
评估所需的数据往往分散在需求、任务、发布和客户记录中。以ONES为例,需求与工作项的状态流转、版本发布记录和成员操作记录可以作为采用指标与任务完成情况的取数来源,评估时按项目和时间窗导出,再把口径说明与评估结论作为文档留存,便于下一轮复核。这里的作用是承载取数与记录,指标定义和判断标准仍由评估方事先确定。
例子:一个功能上线后的三层指标评估
以下为演示情景,数值为假设,用于说明计算过程,不代表任何真实产品结论。
某内部协作功能面向500名目标用户上线,评估期为上线后第一个月。目标用户名单在推广前确定,功能权限同步开通。评估方事先约定:采用指标按自然月统计;任务完成率以“创建并完成一次协作任务”为关键任务;业务结果以季度续约意向和人均处理时长变化观察。
| 层级 | 计算 | 读数 | 对应判断 |
|---|---|---|---|
| 采用 | 活跃用户320人 ÷ 目标用户500人 | 活跃率64% | 推广触达了多数目标用户,仍有约三成未进入 |
| 采用 | 使用过协作任务的用户210人 ÷ 有权限用户500人 | 功能采用率42% | 核心功能接受度一般,需要排查入口与培训 |
| 采用 | 活跃用户人均关键操作6.2次 | 6.2次/人 | 活跃用户使用有一定深度,非一次性试用 |
| 用户价值 | 完成任务用户168人 ÷ 尝试任务用户210人 | 任务完成率80% | 多数尝试者能完成关键任务 |
| 用户价值 | 达到“一周内完成3次协作任务且自述问题解决”的用户120人 ÷ 有效样本200人 | 价值实现率60% | 价值主张对部分用户成立,需结合访谈看阻碍 |
| 业务结果 | 季度到期客户中表达续约意向18户 ÷ 到期客户20户 | 续约意向率90% | 可作为续约参考,但不能单独归因于该功能 |
| 业务结果 | 评估期人均处理时长较对照期减少0.8小时 | -0.8小时/人 | 存在成本改善迹象,需排除流程调整影响 |
这组读数支持的判断是:功能已被部分目标用户采用,活跃用户使用深度尚可,尝试者中多数能完成任务,但整体功能采用率和价值实现率仍有提升空间;业务结果出现正向迹象,但续约意向和处理时长受多种因素影响,只能作为组合证据之一。读数不支持的判断是:不能据此认定功能带来了续约率提升,也不能用活跃率单独证明用户获得了价值。示例的口径假设包括目标用户名单固定、权限同步开通、对照期无重大流程变化;若这些假设不成立,结论需要重新核对。
解读与限制:指标能说明什么、不能说明什么
指标反映的是相关关系,不是因果保证。活跃率上升与续约意向上升同时出现,可能都受组织推广力度影响,也可能存在其他共同原因。要接近因果判断,需要设置对照、控制主要变量,或结合用户访谈和任务观察解释机制。评估记录中应写明“观察到什么”和“推断什么”的区别,避免把推断写成结论。
单指标不宜直接作为绩效依据。功能采用率低可能是入口设计问题,也可能是目标人群不需要该功能;任务完成率高可能因为任务定义过于简单。把某一层指标单独用于考核,容易诱导数据操作或忽略未覆盖人群。更稳妥的做法是按判断目的组合证据:采用指标配用户价值指标回答“是否用起来并产生结果”,用户价值指标配业务结果指标回答“结果是否转化为组织收益”。
跨层结论需要组合证据,并且要说明证据的覆盖范围。口径变更、指标定义调整和分母更换都应留痕,记录变更时间、原因和影响范围,下一轮评估沿用同一版本或明确标注不可直接比较。复核时优先检查分母名单、时间窗一致性和缺失值处理,再检查读数与判断之间的对应关系。指标能帮助团队把判断讲清楚,判断本身仍需要业务上下文和评审动作来完成。
常见问题
目标用户名单不完整时,采用指标还能用吗?
可以用,但结论范围要相应收窄。以目标用户为分母的活跃率依赖名单完整性,名单缺失会让分母偏小、读数偏高。处理方式有两种:一是先补齐名单再计算,并在记录中写明名单来源与补齐时间;二是改用开通用户或活跃用户作分母,同时说明该口径只能回答已进入产品人群的情况,无法回答推广触达问题。无论选哪种,同一轮评估内保持一致,并在结论中注明覆盖范围。
用户价值指标里的“价值标准”由谁定,定完还能改吗?
价值标准通常由产品负责人与业务方在采集前共同约定,写成可观察的条件,例如“一周内完成若干次关键任务且自述问题得到解决”。标准一旦用于本轮评估,中途修改会让前后读数不可比。确需调整时,记录变更时间、原因和影响范围,并把调整前后的读数分段呈现,避免混在一起汇总。下一轮评估可以沿用新标准,但要标注与上一轮不可直接比较。
业务结果指标出现正向变化,能否直接归因于产品?
不能直接归因。留存、续约、收入或成本变化同时受市场、价格、组织调整和流程变更影响,产品使用只是其中一个可能因素。更稳妥的做法是设置对照期或同类用户群比较,控制主要变量,再结合用户访谈和任务观察解释变化机制。评估记录中区分“观察到什么”和“推断什么”,把业务结果指标作为组合证据之一,而非单独结论。
评估期内产品发了新版本,指标还能放在一起比较吗?
需要分段处理。版本变化可能改变功能入口、权限或任务流程,前后读数含义不同。建议在记录中标注版本上线时间,把评估期切成版本前和版本后两段分别统计,或另设对照期。若样本量不足以分段,就在结论中说明版本变更的影响方向,并降低结论的确定性。口径版本与版本变更记录一并归档,便于下一轮复核。
三层指标都要算吗,资源有限时先做哪一层?
取决于当前要回答的判断。处于推广期、需要判断触达和上手情况时,先做使用与采用指标;功能已有人用但不确定是否解决问题时,优先做用户价值指标,配合任务完成率和定性访谈;面临预算或续约决策时,再补业务结果指标。三层不必在同一轮全部完成,但每层读数都要附口径说明,且跨层结论只在证据齐备时给出。
