确定AI应用投入产出的统计口径,核心是先固定评估对象与时间窗,再把投入拆成可归集的成本项、把产出拆成可归因的效果项,并为每一项写明公式、分母、单位、取数来源和缺失值处理规则。口径只有做到可复算、可核对,结论才能用于判断是否继续投入或扩大使用范围。下文按评估目的、指标范围、数据口径、计算步骤、示例和限制依次展开。
要点总览(TL;DR)
- 先明确评估目的——判断是否继续投入、哪个场景值得扩量、单位成本是否下降,三类目的对应不同的指标粒度、时间跨度和对照方式,应分别设定口径。
- 投入侧覆盖工具订阅或调用费用、算力与存储、集成与部署人力、培训与推广、维护与治理五类成本;产出侧区分可量化的时间节省、吞吐变化、返工与缺陷变化,以及只能定性描述的风险与协作收益。
- 每项指标写到可复算的程度:公式、分子、分母、单位、统计周期、取数来源系统和责任人缺一不可,并预先约定分母为零、样本不足、数据缺失的处理规则。
- 汇总可用单位成本、投入产出比、回收周期三种方式,各有适用条件,报告需说明用了哪一种及其假设,并通过敏感性检查观察结论是否稳定。
- 指标反映成本结构与相关变化,不能单独证明AI导致全部变化;口径需版本管理和定期复核,跨期比较使用同一版本或明确说明版本差异。
评估目标:先回答投入产出要用来判断什么
统计口径服务于决策问题。同一套AI应用,用来判断“是否续费”和用来判断“哪个团队值得扩量”,需要的指标粒度、时间跨度和对照方式并不相同。先写清评估目的,再决定采集哪些数据,可以避免把能拿到的指标都算一遍、最后无法回答任何一个具体问题。
常见的评估目的可以归为三类,各自的判断对象和时间跨度如下表。实际评估可以同时包含多个目的,但应分别设定口径,不把不同目的的指标混在一张表里比较。
| 评估目的 | 判断对象 | 建议时间跨度 | 主要看什么 |
|---|---|---|---|
| 是否继续投入 | 整体AI应用或某一采购批次 | 一个完整使用周期,如一个季度或半年 | 总投入与可归因产出的对比、定性证据是否支持继续 |
| 哪个场景值得扩量 | 按场景或团队拆分的使用单元 | 场景上线后的稳定运行期 | 各场景的单位成本、效果差异与可复制条件 |
| 单位成本是否下降 | 同一场景的前后两个时间窗 | 基线期与评估期等长 | 单次任务成本、单工作项成本的变化趋势 |
评估边界也要在此时写明:本文讨论的是AI应用带来的投入与产出变化,一般研发效能指标体系建设、技术模型基准测试与模型能力评测属于另外的评估任务,不纳入同一口径。边界写清楚,后续取数时就不会把模型跑分、通用效能指标和AI应用成本混在一起计算。
指标与范围:投入项和产出项各包含什么
投入侧要覆盖从引入到持续运行的全部成本,产出侧要区分可直接计量和只能定性描述的效果。清单的作用是让每个数字都有归属,避免出现“费用算了、人力没算”或“时间省了、返工没算”的偏差。
投入项清单
- 工具订阅或调用费用:按席位、按调用量或按套餐计费的部分,记录计费周期与单价。
- 算力与存储:自建或租用的推理资源、向量库、日志存储等,按实际用量或分摊比例归集。
- 集成与部署人力:接口对接、权限配置、流程改造所投入的人天,按参与人员工时记录折算。
- 培训与推广:培训场次、教材制作、内部推广活动占用的人力与费用。
- 维护与治理:提示词维护、数据清理、效果巡检、安全合规审查等持续性投入。
产出项清单
- 时间节省:同类任务在AI参与前后的耗时差,需有任务抽样或工时记录支撑。
- 吞吐变化:单位时间内完成的工作项数量、需求交付数量等。
- 返工与缺陷变化:返工次数、缺陷密度、评审打回率等质量侧指标。
- 质量与合规风险变化:可量化的风险事件数量,以及只能定性描述的风险感受。
纳入与排除规则
共享资源按可核对的分摊依据归集,例如按席位比例、按调用量比例或按工时比例,分摊方法一经确定,评估期内保持不变。一次性建设投入与持续运营投入分开列示,前者可按受益期摊销,后者按实际发生期计入。间接收益如知识沉淀、协作顺畅度提升,单独标注为定性或待验证项,不直接折算金额进入投入产出比。
数据口径:每项指标的公式、分母与取数来源
口径定义表是整套评估的核心交付物。每一项指标都要写到别人拿着表就能复算的程度:公式、分子、分母、单位、统计周期、数据来源系统和责任人缺一不可。下表给出一个可套用的结构。
| 指标名称 | 计算公式 | 分子 | 分母 | 单位 | 统计周期 | 数据来源 | 责任人 |
|---|---|---|---|---|---|---|---|
| 单任务AI成本 | AI相关总成本 ÷ AI参与任务数 | 周期内工具、算力、人力等成本合计 | 周期内AI参与的任务数 | 元/任务 | 月度 | 财务台账、任务系统 | 评估负责人 |
| 单工作项耗时 | 总工时 ÷ 完成工作项数 | 周期内记录工时合计 | 周期内完成工作项数 | 小时/项 | 月度 | 工时记录、工作项系统 | 团队负责人 |
| 投入产出比 | 可量化产出折算值 ÷ 总投入 | 时间节省折算金额等可量化产出 | 周期内总投入 | 比值 | 季度 | 上述指标汇总 | 评估负责人 |
缺失值和边界情况要在定义表里预先约定。分母为零时,该指标记为“不适用”并注明原因,不用零或无穷大参与汇总;样本不足时,标注样本量并降低结论强度,不强行给出比值;数据缺失时,记录缺失比例,缺失超过约定阈值(例如超过三成的记录缺失)的指标暂不纳入汇总,待补数后重算。
归因口径同样要写清。基线期应与评估期等长,并尽量选择业务构成相近的时间段;有条件的场景可设置未使用AI的对照组。AI参与程度需要界定,例如按任务是否实际调用AI、调用次数是否达到约定门槛来划分,避免把仅试用一次的任务与深度使用的任务混在同一分母里。
计算与评估步骤:从取数到得出结论
口径确定后,按固定步骤执行,保证不同批次、不同评估人得到可核对的结果。建议流程如下:
- 确定对象与时间窗:写明评估哪个AI应用、覆盖哪些团队或场景、基线期与评估期的起止日期。
- 锁定基线:从历史工时、任务记录中提取基线期数据,确认统计范围和口径与评估期一致。
- 按口径取数:逐项从定义表列明的来源系统导出数据,记录导出时间和数据版本。
- 计算单项指标:按公式逐项计算,保留中间结果,便于复核。
- 汇总投入产出:将投入项加总、产出项按约定方式折算,计算单位成本、投入产出比或回收周期。
- 做敏感性检查:调整关键假设(如工时折算单价、分摊比例),观察结论是否稳定。
汇总方式各有适用条件。单位成本适合比较同一场景在不同时间窗的变化;投入产出比适合判断整体是否值得继续投入,但要求产出可折算且折算依据公开;回收周期适合一次性投入较大的场景,需要明确按哪种口径计算年度节省。三种方式不宜互相替代,报告中应说明使用了哪一种及其假设。
定性证据用于支撑定量结论。访谈记录、任务抽样、评审意见都可以作为证据,采集时应写明样本量、抽样方法和通过标准。例如约定“抽取不少于20个任务,其中多数受访者能指出AI带来的具体环节变化”作为定性证据成立的条件,而不是凭个别感受下结论。
当评估需要持续采集工作项与工时数据时,可以把记录动作放进团队日常使用的项目管理工具中。ONES 提供工时日历、成员工时报表与资源饱和度报表,可用于归集人力投入;ONES Assistant 能理解项目、工作项、迭代和 Wiki 页面等工作上下文,并将结果保存为工作项或 Wiki 页面,便于把评估过程中的取数记录和结论沉淀在同一处。具体统计维度与可用范围以实际配置为准。
示例:一个AI编码助手场景的口径落地
以下为演示情景,数值仅用于说明计算过程,不代表任何真实项目结果。假设某团队在第二季度引入AI编码助手,评估期为4月至6月,基线期为1月至3月,两期团队人数和需求构成基本一致。
投入项:工具订阅费按20个席位计,季度合计24,000元;集成与部署投入约10人天,按每人天800元折算为8,000元;培训与推广投入3人天,计2,400元;维护与治理投入5人天,计4,000元。季度总投入为38,400元。
产出项:通过任务抽样和工时记录对比,评估期内AI参与的编码任务共400项,平均每项耗时由基线的6小时降至5.2小时,累计节省约320小时;按每小时折算80元计,时间节省折算值为25,600元。另有评审打回率下降等质量侧变化,因样本不足暂列为定性观察。
计算单任务AI成本:38,400元 ÷ 400项 = 96元/项。计算投入产出比:25,600元 ÷ 38,400元 ≈ 0.67。若仅看可量化部分,该季度尚未收回投入;若把质量侧改善纳入,需要先补充样本再判断。
边界情况演示:若某月AI参与任务数为零,单任务AI成本记为“不适用”,当月成本仍计入季度总投入,不参与单位成本计算;若某场景任务记录缺失超过三成,该场景指标暂不纳入汇总,并在报告中注明缺失比例和补数计划。解读时应说明:0.67反映的是当前口径下可量化产出与投入的关系,不能据此断言AI没有价值,也不能把时间节省全部归因于AI。
解读与限制:口径能说明什么、不能说明什么
统计口径能说明成本结构和效果的相关变化,帮助判断投入是否在预期范围内、哪个场景的单位成本更低。它不能单独证明AI导致了全部变化。任务耗时下降可能同时来自流程调整、人员熟练度提升或需求难度变化,报告应把这些因素列为可能的替代解释,并通过对照组或基线可比性检查来降低误判。
样本量小、场景差异大、基线不可比时,结论要相应收窄。样本量小时,比值波动大,宜给出区间或标注“仅供参考”;场景差异大时,不宜把某一团队的投入产出比直接套用到其他团队;基线期与评估期业务构成明显不同时,应先做可比性调整,调整不了就只做趋势描述,不做比值结论。
口径本身需要版本管理和定期复核。每次调整公式、分摊比例或折算单价,都应记录变更原因和生效时间,跨期比较时使用同一版本口径,或明确说明版本差异。建议每季度复核一次口径的适用性,并在评估报告末尾附上口径版本号和复核日期,让后续读者能够追溯结论是怎么算出来的。
常见问题
评估期和基线期长度不一致时,投入产出比还能直接比较吗?
不建议直接比较。基线期与评估期应尽量等长,否则工时节省、任务数等总量指标会因周期长短产生系统性偏差。如果确实无法等长,有两种处理方式:一是把总量指标统一折算为月均值或单任务均值后再比较;二是在报告中明确标注周期差异,只做趋势描述,不给出比值结论。同时要检查两期的业务构成是否相近,需求难度、人员规模变化较大时,应先做可比性调整,调整不了就收窄结论范围。
共享的算力、平台或运维人力,按什么依据分摊到具体AI应用比较合理?
常见分摊依据有三种:按席位比例、按调用量比例、按工时比例。选择哪一种取决于资源消耗的实际驱动因素——推理算力通常与调用量更相关,平台运维人力与席位或项目数更相关。关键是分摊方法要有可核对的原始数据支撑,并且在评估期内保持不变;中途更换分摊方法会让前后两期数据失去可比性。如果某项共享资源无法找到合理分摊依据,可以整体列示为公共投入,不强行摊到单个场景,避免制造看似精确实则失真的单位成本。
时间节省折算成金额时,折算单价怎么定才不会让结论失真?
折算单价应来自可核对的内部标准,例如团队的平均人力成本或预算中的人天单价,并在口径定义表中写明取值和生效时间。需要留意两点:一是节省下来的时间如果没有转化为其他产出,折算金额只代表机会成本,不代表实际现金收益;二是不同岗位、不同地区的单价差异较大,跨团队汇总时应分别折算或使用加权单价。建议在报告中同时给出折算前后的原始工时数据,并做敏感性检查——调整单价后结论方向是否改变,比单价本身取多少更值得关注。
定性证据在投入产出评估中应该怎么用,才能支撑结论而不是走过场?
定性证据的价值在于解释数字背后的机制,以及覆盖无法量化的效果。采集时应写明样本量、抽样方法和通过标准,例如约定抽取不少于20个任务、多数受访者能指出AI带来的具体环节变化,才算证据成立。访谈记录、任务抽样、评审意见应保留原始材料,便于复核。定性证据不能替代定量计算,也不宜单独用来推翻定量结论;当两者方向不一致时,应把它作为需要进一步核查的信号,而不是选择性采用对自己有利的一方。
口径确定后,多久复核一次比较合适,什么情况下需要提前调整?
建议每季度复核一次口径的适用性,与评估周期保持同步。出现以下情况时应提前调整:计费方式变化(如从按席位改为按调用量)、评估对象范围扩大或缩小、基线期数据被发现存在系统性缺失、业务构成发生明显变化。每次调整都要记录变更原因、生效时间和影响范围,并在报告中附上口径版本号与复核日期。跨期比较时使用同一版本口径,或明确说明版本差异对结论的影响,避免读者把不同口径下的数字直接相减。
