研发成熟度评估需要哪些依据:证据清单与取证步骤

研发成熟度评估的依据由四层构成:评估基准、组织制度与流程文件、过程运行证据、访谈与现场观察记录。评估前先锁定模型、等级定义与覆盖范围,再按过程域建立“要求—证据—来源—责任人”对照清单,评估中以证据充分性支撑判定,避免凭印象打分。



要点总览(TL;DR)


  • 研发成熟度评估的依据分四层:评估基准、制度与流程文件、过程运行证据、访谈与现场观察记录,四层缺一不可。
  • 评估前先书面确认模型与版本、等级定义、覆盖过程域和抽样范围,再按过程域建立“要求—证据—来源—责任人”对照清单。
  • 制度文件证明要求已定义且处于有效版本,运行证据证明要求被执行,两者需按过程域一一对应,缺口即判定风险点。
  • 访谈与现场观察用于验证书面记录的真实性,访谈对象应覆盖项目负责人、开发、测试、质量与管理角色,记录需签字留存。
  • 证据不足时写明缺口并明确补证或按规则降级判定,判定结论要能逐条回溯到具体证据,不以印象打分。


先定基准:评估依据的第一层是模型与范围


评估依据的起点是基准,而非材料。基准未定就收集材料,常见结果是文件收了一堆,却无法回答“这些材料对应哪条要求、支撑哪一级判定”。评估启动前,应形成一份书面的评估基准说明,作为后续所有取证工作的参照。


基准说明至少包含四项内容。第一是模型与版本,例如采用CMMI、ASPICE,或组织自建的成熟度模型。不同模型的过程域划分和等级递进方式不同,混用会导致同一份证据被套到不同要求上。第二是等级定义与判定规则,明确每个等级需要满足的条件、评分口径,以及“部分满足”如何处理。第三是本次覆盖的过程域清单,说明评估哪些过程域、暂不覆盖哪些。第四是组织与抽样范围,包括涉及的组织单元、产品线、项目样本数量及选取规则。


基准选择要与评估目的匹配。面向客户准入或认证要求的评估,基准通常由外部模型和客户要求共同决定;面向内部改进的评估,可以在外部模型框架下裁剪过程域,聚焦当前薄弱环节。无论哪种情况,等级判定规则都应在评估前书面确认并经发起人签认,避免评估过程中因口径分歧反复。


本节的交付物是一份评估基准说明,包含模型与版本、等级定义、覆盖过程域、抽样范围与判定规则。完成标志是发起人确认、评估组与被评估方均已知悉。



制度与流程文件:证明“要求已定义”的依据


制度与流程文件回答的问题是:组织是否已经把要求写下来、发布并处于有效状态。这类依据证明过程“已定义”,与后面的运行证据配合,才能说明过程“已部署并被执行”。


需要准备的制度类依据通常包括:研发流程体系中的方针与规程、作业指导书与模板、角色与职责说明、培训与资质记录。模板本身也是依据,它体现组织对工作产品的格式与内容要求。培训记录用于说明相关人员具备执行该过程的必要知识。


文件类依据有两个容易出问题的细节。一是版本与生效状态:提交的文件必须是评估期内有效的版本,作废版本、草稿或未发布文件不能作为“要求已定义”的依据。二是与模型要求的对应关系:每份文件应标注它对应哪个过程域的哪条要求,形成过程域—制度文件对照表,表中列出文件编号、版本、生效日期与对应要求条款。


对照表的价值在于暴露缺口。若某个过程域找不到对应文件,说明要求尚未定义,后续运行证据再丰富也无法支撑该过程域的判定;若一份文件对应多个过程域,则需在评估时确认它是否覆盖了各过程域的具体要求。



过程运行证据:证明“要求被执行”的依据


运行证据是评估中最容易被质疑的一层,因为它直接反映项目实际怎么做事。文件可以写得完整,运行记录却可能缺失、滞后或与实际不符。取证时应按过程域组织,按抽样项目逐项核对,而不是按项目打包提交。


常见的运行证据包括以下几类:


  • 项目级证据:项目计划、估算记录、任务分解、进度与资源记录,用于验证策划与监控类要求。
  • 评审与验证证据:需求评审、设计评审、代码评审、测试记录,用于验证验证与确认类要求。
  • 变更、缺陷、问题与风险的处理记录及闭环状态,用于验证问题解决与变更管理类要求。
  • 发布与交付记录、配置管理与版本基线,用于验证配置管理与交付类要求。
  • 度量数据:进度偏差、缺陷密度、返工等指标的历史记录,用于验证度量与分析类要求。

每条证据应记录证据名称、产生时点、存放位置、责任人与所属抽样项目。抽样要覆盖不同项目类型和阶段,避免只挑做得最好的项目。证据的时点很关键:评估期之外的记录、事后补写的记录,都需要在判定时说明其证明力。


运行证据分散在需求、任务、评审、缺陷与版本记录中时,研发管理工具能提供可追溯的载体。以ONES为例,需求、任务、评审、缺陷与版本记录在同一平台内形成关联,评估组可按项目和时间范围调取记录,核对状态流转与责任人,减少跨系统拼凑材料的工作量。工具记录不能替代对过程合理性的判断,但能让“要求是否被执行”这一问题有据可查。



访谈与现场观察:补充证据的取证方式


书面证据能说明“记录上做了什么”,访谈和现场观察用于验证这些记录是否反映真实做法。两者配合,才能判断过程是被理解并持续执行,还是仅在评估前集中补齐。


访谈对象应覆盖项目负责人、开发、测试、质量与管理角色。不同角色对同一过程的描述可以相互印证:项目负责人谈策划与监控,开发和测试人员谈评审与验证的实际做法,质量角色谈检查与问题跟踪。访谈提纲围绕过程域要求设计,问题要落到具体项目实例,例如“最近一次需求变更,影响分析是怎么做的、谁参与、记录在哪里”,而不是“你们有没有做变更管理”。


现场观察与系统记录抽查配合进行。观察可以看评审会议的实际组织方式、工作产品的实际状态;系统抽查则按抽样项目调取记录,核对时间、责任人与审批痕迹。访谈记录与观察结论应留存,由访谈人和被访谈人确认,作为评估记录的组成部分。


本节的交付物是访谈提纲、抽样项目名单与访谈观察记录表。完成标志是各角色访谈完成、记录签字确认,且访谈发现与书面证据的差异已记录在案。



角色分工与交付物:谁准备、谁取证、谁判定


评估依据的可信度,很大程度上取决于准备与判定是否分离。若由过程负责人既准备材料又给出结论,证据的独立性会被质疑。角色分工应在评估启动时明确并形成职责表。


角色 主要职责 关键交付物
评估发起人 确认评估范围、基准与资源投入,签认判定规则 评估基准说明、评估授权
过程负责人 按证据清单准备制度文件与运行证据,组织被评估方配合 过程域—证据对照表、证据提交记录
评估组 独立取证、抽样、访谈与记录,核对证据充分性 抽样名单、访谈记录、证据核查记录
被评估项目角色 配合访谈、提供项目实例与现场演示 访谈确认记录、演示说明
判定与复核角色 依据证据充分性给出等级结论,复核争议项 判定结论、证据缺口清单

职责表之外还需一份评估日程,明确每项证据的准备人和提交时点。日程应给评估组留出独立核查的时间,避免材料在评估当天才集中提交。判定角色与过程负责人由不同人员担任,是保证结论客观的基本安排。



一个过程域的取证示例:需求管理


以需求管理为例,可以走通“要求—证据—取证—判定”的完整链条,其他过程域可按同样方式迁移。


第一步,明确模型对该过程域的要求条目,例如需求获取、需求分析与确认、需求变更管理、需求与工作产品的一致性维护。第二步,找到对应的制度文件与模板,包括需求管理规程、需求规格模板、变更申请模板,记录文件编号、版本与生效日期。第三步,在抽样项目中调取需求记录、变更记录与评审记录,核对需求是否经过确认、变更是否经过影响分析与审批、需求与设计测试的对应关系是否可追溯。


第四步,在访谈中追问具体实例,例如最近一次需求变更如何评估影响、由谁审批、下游的设计与测试如何同步更新。第五步,汇总证据并给出判定。证据充分时写明支撑的要求条目与证据编号;证据不足时写明缺口,例如“变更记录存在但缺少影响分析内容”,并明确补证要求或按规则作降级判定。判定写法要指向具体证据,避免只写“基本符合”。


本节的交付物是需求管理过程域的完整取证样例表,包含要求条目、对应文件、抽样证据、访谈要点与判定结论,可作为其他过程域取证表的模板。



完成检查:评估依据是否齐备可判定


评估前和评估后各做一次检查,可以确认依据是否足以支撑等级判定。以下检查项可逐条核对,记录通过、缺口与处理方式。


  • 基准与范围已书面确认:模型与版本、等级定义、覆盖过程域、抽样范围与判定规则均有记录并经发起人签认。
  • 每个过程域均有制度文件与运行证据对应:对照表中无空白项,文件处于有效版本。
  • 抽样覆盖不同项目类型与阶段:样本选取规则已记录,未集中于单一项目或单一阶段。
  • 证据有版本、时点与责任人,可追溯:运行记录能定位到具体项目、时间与人员。
  • 证据缺口已记录并明确处理方式:补证要求或降级判定规则已写明,不以印象替代证据。
  • 评估记录与结论已归档:基准说明、对照表、访谈记录、判定结论集中存放,便于复核。

检查中发现缺口时,处理方式有两种:在评估结论形成前补证,或在判定中按规则降级并说明理由。两种方式都应写入评估记录。完成标志是所有检查项均有明确结论,评估记录归档完毕,判定结论可以逐条回溯到证据。



常见问题


评估期内组织刚完成流程文件改版,旧版本文件还能作为依据吗?


不能直接作为“要求已定义”的依据。评估依据要求文件在评估期内处于有效状态,作废版本、草稿或未发布文件都不满足这一条件。改版期间可以这样处理:以新版生效日期为界,评估期前半段引用旧版有效文件及其对应的运行记录,后半段引用新版文件;若新版尚未正式发布,则按旧版判定,并在评估记录中注明改版状态与预计生效时间,避免把未生效的要求算作已定义。


抽样项目只覆盖做得最好的团队,评估结论还有效吗?


有效性会受质疑。抽样应覆盖不同项目类型和阶段,样本选取规则要在评估前记录并经发起人确认。如果样本集中在单一团队或单一阶段,评估组应在记录中说明抽样局限,判定时对结论的适用范围作限定,例如只代表该产品线的过程能力。更稳妥的做法是在评估启动阶段就按项目类型、规模、阶段分层抽样,把选取规则写进基准说明,减少事后争议。


访谈发现的做法与书面记录不一致,应该以哪个为准?


两者都要记录,不能简单以一方覆盖另一方。书面记录反映“记录上做了什么”,访谈反映实际做法,差异本身就是评估发现。处理方式是:把差异写入访谈观察记录并由被访谈人确认,评估组再回到系统记录或现场演示中核实,判断是记录滞后、记录缺失还是过程未执行。判定时按证据充分性处理,差异未澄清的过程域应列为证据缺口,明确补证要求或按规则降级。


评估组和过程负责人可以是同一批人吗?


不建议。准备材料与判定结论由同一角色承担,证据独立性会被质疑,结论也难以复核。基本安排是过程负责人负责按清单准备制度文件与运行证据、组织被评估方配合,评估组独立取证、抽样和记录,判定与复核由另一角色承担。组织规模较小时,可以由不同部门人员交叉担任,或引入外部评估人员,关键是保留职责分离的记录。


证据缺口较多时,是补证还是直接降级判定?


取决于缺口性质和评估时间安排。若缺口属于记录未归档、材料分散但事实存在,可在结论形成前补证,补证材料需注明产生时点,事后补写的记录要在判定中说明证明力。若缺口属于过程未执行或关键环节缺失,例如变更记录存在但缺少影响分析内容,则应按规则降级判定并写明理由。两种处理方式都要写入评估记录,并纳入完成检查表逐项确认。