研发数据质量校验规则清单模板:空白表与填写规范

研发数据质量校验要长期运转,需要把规则、执行配置和问题处置沉淀成可复用的表格。本文提供规则清单、校验配置、问题记录三张空白表,用同一套规则编号串联,并给出字段口径、必填判断、一条规则的完整填写示例和维护方法。规则与问题记录可以承载在ONES的工作项和文档中,便于状态流转与复核留痕。



要点总览(TL;DR)


  • 研发数据质量校验可沉淀三张表:规则清单定义校验什么、怎么判定、谁负责;校验配置落到数据源、执行频率与告警渠道;问题记录承接校验结果并闭环。
  • 三张表用同一规则编号串联,规则编号一经分配不再复用,从任一问题可追溯到判定条件与责任人。
  • 规则清单的规则编号、校验对象、字段、规则类型、判定条件、责任人为必填;校验配置的规则编号、数据源、执行频率为必填;问题记录的问题编号、关联规则编号、发现时间、修复状态为必填。
  • 规则类型建议覆盖完整性、唯一性、有效性、一致性、及时性五类,一条规则只归一类。
  • 规则增删改需留痕并设固定复核周期,建议每季度复核一次,数据源或流程大调整时临时增加。


可复制空白模板:规则清单、校验配置与问题记录


三张表分工明确:规则清单回答“校验什么、怎么判定、谁负责”,校验配置回答“在哪里执行、多久执行一次、异常通知谁”,问题记录回答“发现了什么问题、影响多大、是否修完”。填写顺序是先规则清单,再校验配置,最后用问题记录承接校验结果。三张表通过“规则编号”关联,规则编号一经分配不再复用。


表一:规则清单


规则编号 校验对象 字段 规则类型 判定条件 严重级别 责任人 处置方式

表二:校验配置


规则编号 数据源 执行频率 告警渠道 豁免条件 生效时间

表三:问题记录


问题编号 关联规则编号 发现时间 影响范围 修复状态 复盘结论

关联方式:规则清单中的一条规则对应校验配置中的一行执行设置,可以是一对一,也可以在多个数据源上分别配置;校验触发后产生的问题统一登记到问题记录,并回填对应的规则编号。这样从任一问题都能追溯到判定条件和责任人,从任一规则也能查到历史问题与修复情况。



字段说明:每个字段填什么、怎么判断


字段口径统一,不同团队填出来的表才能互相对照。以下按三张表逐项说明,规则类型单独列出取值。


规则清单字段


字段 填写口径
规则编号 唯一标识,建议采用“对象缩写-序号”形式,如 REQ-001,停用后编号保留不复用
校验对象 被校验的数据实体,如需求、缺陷、迭代、工时记录
字段 具体被校验的字段或字段组合,如“需求关闭时间”“缺陷所属迭代”
规则类型 从完整性、唯一性、有效性、一致性、及时性中选取,一条规则只归一类
判定条件 可执行的判断表达式或自然语言描述,需能明确区分通过与否,如“关闭时间早于创建时间即判为异常”
严重级别 按对度量结论的影响划分,如高(导致指标失真)、中(影响局部统计)、低(展示瑕疵)
责任人 负责该规则定义与解释的角色或人员,通常为数据负责人或指标负责人
处置方式 校验不通过时的动作,如阻断入库、标记异常、通知责任人、进入问题记录

校验配置字段


字段 填写口径
规则编号 引用规则清单中的编号,不另行编码
数据源 规则实际执行的数据位置,如项目管理系统、代码仓库、工时系统或汇总数据集
执行频率 校验运行节奏,如每日、每周、每次数据同步后
告警渠道 异常结果送达的位置,如工作项、群消息、邮件
豁免条件 允许不触发告警的情形,如历史数据迁移期、特定项目类型
生效时间 该配置开始执行的日期,修改配置时保留原生效区间

问题记录字段


字段 填写口径
问题编号 唯一标识,建议按发现顺序编号,如 DQ-2024-001
关联规则编号 触发该问题的规则,一条问题对应一条主规则,涉及多条时在复盘结论中说明
发现时间 校验实际发现异常的日期,与规则执行时间一致
影响范围 受影响的数据量、时间区间、涉及项目或指标,用于判断优先级
修复状态 建议取值:待处理、处理中、已修复、已豁免、不修复(需注明理由)
复盘结论 问题根因、修复动作与是否需要调整规则或配置

规则类型取值说明


  • 完整性:必填字段是否为空,如需求必须有负责人。
  • 唯一性:是否存在重复记录,如同一需求被重复创建。
  • 有效性:取值是否在允许范围内,如状态值属于既定枚举。
  • 一致性:跨表或跨系统数据是否吻合,如缺陷所属迭代与迭代起止时间匹配。
  • 及时性:数据是否在规定时限内更新,如工时记录是否按周填报。


必填与选填:哪些字段不能空


必填的判断标准是:缺了它,规则无法被唯一识别、无法执行或无法追责。其余字段可按团队成熟度逐步补齐。


表 必填字段 选填字段 留空风险与补填时机
规则清单 规则编号、校验对象、字段、规则类型、判定条件、责任人 严重级别、处置方式 严重级别留空会导致问题优先级无法排序;处置方式留空会导致校验失败后无人跟进。规则上线前应补齐
校验配置 规则编号、数据源、执行频率 告警渠道、豁免条件、生效时间 告警渠道留空则异常只能靠人工查看;豁免条件留空可能造成历史数据误报;生效时间留空不利于追溯配置变更。涉及跨系统数据或存在豁免场景时必须补填
问题记录 问题编号、关联规则编号、发现时间、修复状态 影响范围、复盘结论 影响范围留空难以判断处理优先级;复盘结论留空则同类问题会反复出现。问题关闭前应补齐复盘结论


填写示例:一条规则从登记到闭环


以下示例为演示情景,展示三张表如何用同一规则编号串联,字段与前述说明保持一致。


规则清单中的一行


规则编号 校验对象 字段 规则类型 判定条件 严重级别 责任人 处置方式
REQ-001 需求 关闭时间 有效性 需求关闭时间早于创建时间即判为异常 高 效能数据负责人 标记异常并登记问题记录

校验配置中的一行


规则编号 数据源 执行频率 告警渠道 豁免条件 生效时间
REQ-001 项目管理系统需求数据集 每日 数据质量工作项 历史数据迁移期内的存量需求 2024-03-01

问题记录中的一行


问题编号 关联规则编号 发现时间 影响范围 修复状态 复盘结论
DQ-2024-007 REQ-001 2024-03-12 3 个项目的 12 条需求,影响需求周期统计 已修复 批量导入时未校验时间字段,已在导入环节增加校验,规则保持不变

一致性核对:示例中的规则编号、字段名、规则类型与判定条件均与字段说明一致;问题记录中的关联规则编号指向 REQ-001,修复状态使用建议取值,复盘结论说明了根因与是否需要调整规则。团队照此格式填写,即可保证三张表可互相追溯。



调整与维护方法:规则增删、版本与定期复核


规则清单会随组织流程和数据源变化而失效,维护机制要在建表时一并确定。


新增、停用与修改规则


  • 新增:先分配新规则编号,填写规则清单,再补校验配置,确认执行后再纳入问题记录跟踪。
  • 停用:在规则清单中标注停用日期与原因,保留原编号;同步停用校验配置,避免继续产生无效告警。
  • 修改:判定条件或严重级别变化时,记录变更前后内容与变更人,校验配置的生效时间按新配置重新登记。

版本与变更留痕


建议在规则清单中增加版本列或单独维护变更记录表,记录每次变更的日期、变更人、变更内容与影响范围。规则编号不变、内容变化时,通过版本号区分,历史问题记录仍指向原规则编号,复盘时可对照当时版本。


定期复核


  • 周期:建议每季度复核一次,数据源或组织流程发生较大调整时临时增加一次。
  • 责任人:由效能数据负责人牵头,各规则责任人确认本人规则是否仍适用。
  • 复核内容:规则是否仍对应有效字段、判定条件是否产生大量误报、豁免条件是否过期、问题记录中反复出现的问题是否需要新增规则。

规则增长后的分类与归档


规则数量增加后,可按校验对象或规则类型分组编号,便于检索;长期停用的规则移入归档区,保留编号与历史问题关联,不直接删除。规则与问题记录可以登记在ONES工作项中,通过状态字段推进修复与复核,相关口径说明沉淀在文档里,便于团队按同一版本执行。



常见问题


规则清单里的判定条件写成自然语言描述可以吗?


可以,前提是描述能明确区分通过与否。例如“需求关闭时间早于创建时间即判为异常”这类表述,人和校验程序都能据此判断。如果后续要接入自动校验,建议在自然语言描述旁补充可执行的表达式或字段比较逻辑,避免同一规则出现两种理解。判定条件涉及多个字段组合时,把参与比较的字段逐一写清。


一条规则需要在多个数据源上执行,校验配置表怎么填?


规则清单中仍只保留一条规则、一个规则编号;校验配置表中为该规则登记多行,每行对应一个数据源及其执行频率、告警渠道和豁免条件。问题记录中的关联规则编号仍指向同一条规则,影响范围中注明问题出现在哪个数据源。这样规则定义保持唯一,执行配置按数据源分别管理。


问题修复后,规则清单需要同步修改吗?


视根因而定。如果问题来自数据录入或导入环节,修复动作落在源头,规则本身保持不变,只需在问题记录的复盘结论中说明。如果复盘发现判定条件过严、误报频繁,或原有规则未覆盖该类问题,则按修改或新增流程更新规则清单,记录变更前后内容与变更人,并同步调整校验配置的生效时间。


豁免条件填了之后,被豁免的数据还需要记录问题吗?


豁免表示该情形不触发告警,不等于问题不存在。建议在问题记录的影响范围中注明豁免依据和豁免期限,便于复核时判断豁免是否仍然合理。豁免条件应写明适用对象和时间区间,例如历史数据迁移期内的存量需求;迁移结束后及时清理豁免,避免长期掩盖真实异常。


规则数量增长后,编号体系需要重新设计吗?


不必推翻原有编号。可按校验对象或规则类型分组扩展,例如在对象缩写后增加分段序号,新规则沿用新分段,旧编号保持不变。长期停用的规则移入归档区,保留编号与历史问题记录的关联,不直接删除。分组方式确定后写入维护说明,保证后续新增规则有统一位置。