研发平台升级验证的通过标准，应当在升级前由验收目标拆解而来，并落到可复算的指标上：核心业务场景可用性、关键接口成功率、数据一致性与性能基线偏差。每项指标要写明分子分母、时间窗、单位、数据来源和缺失值处理，再按“阻断项全部通过、非阻断项在阈值内”给出结论。本文围绕指标、口径与判定展开，并说明验证记录可以怎样借助 ONES 的工作项与文档承载。
要点总览（TL;DR）
- 通过标准来自升级前设定的验收目标，拆成可复算的指标：核心场景可用性、关键接口成功率、数据一致性与性能基线偏差。
- 每项指标写明公式、分子分母、时间窗、单位和数据来源，分母为零或样本不足时标注不可计算或证据不足，不按0%或100%处理。
- 判定采用组合规则：阻断项全部通过、非阻断项达标比例满足约定，整体才算通过；单指标达标不能代表升级成功。
- 验证充分性看场景覆盖率、样本量、观察时长和遗留缺陷等级，任一项不足都要在结论中标注限制条件。
- 结论要写明覆盖范围、时间窗和未验证项，并约定后续观察期与回退条件，验证记录可用工作项与文档留痕。
升级验证要回答哪些问题：评估目标与判定原则
升级验证的评估对象是研发平台自身的运行状态，包括登录与权限、核心工作项与文档、通知与报表、开放接口以及数据本身。它回答的问题是：升级后这些能力是否仍然可用、结果是否正确、性能是否在可接受范围内、数据是否保持一致。交付业务流水线的升级验证属于持续交付与流水线管理范畴，不在本文讨论范围内。
通过标准来自升级前设定的验收目标。平台负责人应在升级方案评审阶段就明确本次升级要验证什么、达到什么程度算通过，并把这份目标作为后续取数与判定的唯一依据。升级完成后再临时补充标准，容易受结果影响而放宽口径，也无法向业务方解释结论的来源。
判定采用组合原则，把验证项分为两类：
- 阻断项：一票否决。例如核心场景无法登录、关键接口持续报错、关键数据出现丢失或错乱。任一项不通过，整体结论即为不通过，其余指标表现再好也不能抵消。
- 非阻断项：按阈值和达标比例判定。例如非核心页面的响应时间、次要报表的生成时长。允许个别项略低于目标，但需在事先约定的达标比例之内，并记录为遗留问题。
验证充分性同样需要在升级前约定。覆盖范围是否包含全部核心场景、每类场景的样本量是否足够、观察时长是否覆盖业务高峰、遗留缺陷的等级是否可接受，这四项决定了指标结果能否支撑结论。样本量过小或观察时间过短时，即使数值达标，也应标注为“证据不足”，而不是直接判为通过。
指标与范围：升级验证该测哪些项
升级验证的指标集合应围绕核心业务场景展开，每个场景对应可用性、正确性、性能和数据一致性中的一项或几项。下表给出场景与指标的对照关系，可作为制定验证方案的起点。
| 业务场景 | 可用性指标 | 正确性指标 | 性能指标 | 数据一致性指标 |
|---|---|---|---|---|
| 登录与权限 | 登录成功率 | 角色权限与升级前一致的比例 | 登录响应时间 P95 | 用户与角色关联记录核对 |
| 工作项流转 | 创建、流转、关闭操作成功率 | 状态流转与字段值正确率 | 列表与详情页加载时间 P95 | 工作项总量与关键字段抽样比对 |
| 文档与附件 | 上传、下载、预览成功率 | 附件可打开且内容完整的比例 | 大文件上传耗时 | 附件数量与文件大小核对 |
| 通知 | 通知触达成功率 | 通知内容与触发事件匹配率 | 通知延迟 | 通知记录数与事件数比对 |
| 报表 | 报表生成成功率 | 报表数值与明细汇总一致率 | 报表生成耗时 | 报表结果与源数据抽样核对 |
| 开放接口 | 接口成功率 | 返回结构与字段正确率 | 接口响应时间 P95 | 接口写入数据与库内记录比对 |
范围边界需要提前写清。交付流水线相关的构建、部署、发布验证归入持续交付主题；服务器层面的通用运维操作不纳入本文的指标集合。把边界写进验证方案，可以避免验证范围随讨论不断扩张，也能让评审方清楚本次结论覆盖到哪里。
升级前后的版本差异点是重点验证范围。新增或变更的功能、调整过的权限模型、修改过的接口字段、涉及数据表结构变化的模块，都应提高抽样比例或单独设置验证项。版本差异清单可以从升级说明和变更记录中整理，作为场景清单的补充输入。
数据口径与证据：每项指标怎么取数
指标只有口径统一才可复算。建议为每项指标填写一张定义卡，至少包含名称、公式、分子、分母、时间窗、单位、数据来源和缺失值处理八个字段。下表给出两个典型示例。
| 字段 | 登录成功率 | 关键接口成功率 |
|---|---|---|
| 公式 | 成功登录次数 ÷ 登录总次数 × 100% | 成功请求数 ÷ 总请求数 × 100% |
| 分子 | 返回登录成功且会话建立的次数 | HTTP 状态码为 2xx 且业务返回码为成功的请求数 |
| 分母 | 观察期内全部登录尝试次数 | 观察期内该接口的全部请求数 |
| 时间窗 | 升级后连续 3 个工作日，含一个业务高峰时段 | 升级后 24 小时 |
| 单位 | 百分比，保留两位小数 | 百分比，保留两位小数 |
| 数据来源 | 平台登录日志 | 网关访问日志或接口监控记录 |
| 缺失值处理 | 日志缺失的时段不计入分母，并在结论中注明 | 监控中断超过 10 分钟的时段单独标注，不并入统计 |
性能指标要同时写明统计方式和样本量。取 P95 响应时间时，应说明样本来自哪个时间窗、样本条数是多少；取均值时，应说明是否剔除了异常值以及剔除规则。样本量过少时，P95 的参考价值有限，需要在结论中标注。
数据一致性采用三种核对方式组合：抽样比对，从升级前数据中随机抽取记录，逐字段与升级后比对；总量核对，比较关键对象的记录条数是否一致；关键字段校验，对状态、归属人、关联关系等字段做规则校验，统计异常比例。三种方式的结果分别记录，便于定位问题范围。
缺失值和分母为零要有统一规则。分母为零时，该指标记为“不可计算”，不按 0% 或 100% 处理，也不参与达标比例的分母；数据缺失导致样本不足时，标注“证据不足”，由评审方决定是否延长观察期后复算。规则写在验证方案里，可以避免不同人算出不同结论。
计算与判定步骤：从取数到给出通过结论
把指标结果转化为通过结论，可以按以下步骤执行：
- 确认基线：整理升级前的同类指标数值，作为阈值设定的参照。没有历史数据时，以业务方确认的可接受下限作为阈值，并记录确认人和确认时间。
- 采集数据：按定义卡写明的数据来源和时间窗取数，保留原始记录或导出文件，确保他人可以复算。
- 按口径计算：逐项套用公式，记录分子、分母和计算结果。分母为零或样本不足的项，按规则标注。
- 对照阈值：把计算结果与事先设定的阈值比较，逐项标记通过、不通过或证据不足。
- 组合判定：先看阻断项，全部通过后，再看非阻断项的达标比例是否满足约定要求。
阈值设定以升级前基线或业务可接受下限为依据。例如升级前登录成功率长期在 99.5% 以上，可以把阈值设为不低于基线减一个约定幅度；性能指标可以设为不超过基线的约定倍数。具体幅度由平台负责人与业务方在升级前商定，不套用外部通用达标线。
组合判定规则建议写成明确的条件：阻断项全部通过，且非阻断项达标比例不低于约定值，整体判为通过；阻断项任一项不通过，整体判为不通过；非阻断项达标比例不足，判为有条件通过或不通过，由评审方按遗留问题等级决定。判定结果要附上未通过项清单和证据不足项清单。
验证充分性从四个方面评估：场景覆盖率，即核心场景是否全部纳入；样本量，即每项指标的样本条数是否达到方案约定；观察时长，即是否覆盖了业务高峰和至少一个完整工作日；遗留缺陷等级，即未修复问题的严重程度是否在可接受范围内。四项中任一项不满足，结论应标注限制条件。
不通过时的处置也要事先约定：定位问题范围、修复后重新采集同一时间窗的数据复验，复验仍按原口径计算，不因复验而调整阈值。复验次数和最终决策人写入方案，避免反复验证却没有结论。
一个可复算的例子：核心场景升级验证判定
以下为演示情景，数值为假设数据，用于说明计算与判定过程。
某研发平台完成一次版本升级，验证方案约定：登录成功率与关键接口成功率为阻断项，阈值分别为不低于 99.0% 和 99.5%；工作项流转操作成功率为非阻断项，阈值不低于 99.0%；工作项列表页 P95 响应时间为非阻断项，阈值不超过升级前基线的 1.2 倍，基线为 800 毫秒。观察期为升级后 3 个工作日。
| 指标 | 分子 | 分母 | 计算结果 | 阈值 | 判定 |
|---|---|---|---|---|---|
| 登录成功率 | 成功登录 4,972 次 | 登录尝试 5,000 次 | 99.44% | ≥99.0% | 通过 |
| 关键接口成功率 | 成功请求 19,860 次 | 总请求 20,000 次 | 99.30% | ≥99.5% | 不通过 |
| 工作项流转成功率 | 成功操作 1,485 次 | 操作 1,500 次 | 99.00% | ≥99.0% | 通过 |
| 列表页 P95 响应时间 | 样本 3,200 条 | — | 910 毫秒 | ≤960 毫秒 | 通过 |
| 附件下载成功率 | 成功 0 次 | 下载尝试 0 次 | 不可计算 | ≥99.0% | 证据不足 |
逐项看，登录成功率 4,972 ÷ 5,000 = 99.44%，高于阈值，通过。关键接口成功率 19,860 ÷ 20,000 = 99.30%，低于 99.5% 的阈值，作为阻断项不通过。工作项流转成功率恰好等于阈值，按“不低于”规则判为通过。列表页 P95 为 910 毫秒，低于 960 毫秒的上限，通过。附件下载在观察期内没有产生请求，分母为零，按规则记为不可计算，不按 100% 处理，也不计入达标比例的分母。
组合判定：阻断项中关键接口成功率不通过，整体结论为不通过。遗留风险包括接口失败请求的具体原因尚未定位，以及附件下载场景缺少证据、覆盖不完整。处置建议为排查接口失败原因、修复后按原口径复验接口成功率，同时补充附件下载场景的验证数据。这个例子说明，单看登录和性能指标都达标，整体结论仍可能因一个阻断项而不通过。
解读与限制：结论能说明什么、不能说明什么
升级验证结论说明的是：在约定的时间窗和覆盖范围内，平台自身运行达到了升级前设定的验收目标。它不说明平台在所有场景下都稳定，也不说明升级带来了业务价值提升。指标反映的是运行状态，业务价值需要通过使用数据、交付周期等其他口径单独评估。
解读时要注意几类限制。样本偏差会影响结论，例如观察期恰好避开业务高峰，成功率可能偏高；观察时长不足时，低频问题可能未被触发；覆盖范围之外的场景没有证据，不能默认正常。结论中应写明覆盖的场景清单、时间窗起止、样本量以及未验证项，让阅读者知道结论的适用边界。
结论表达可以采用固定结构：本次升级在什么时间窗内、覆盖哪些场景、阻断项结果如何、非阻断项达标比例多少、存在哪些证据不足项和遗留问题、最终判定为通过或不通过。这样的表述既给出结论，也交代了依据和限制。
验证结束不等于观察结束。可以约定一个后续观察期，继续跟踪关键指标，并设定回退条件，例如阻断项指标在观察期内再次低于阈值，或出现数据错乱，则启动回退评估。回退条件与验证标准一样，应在升级前写明。对于采用高可用集群部署的 ONES 环境，官方资料说明其基于高可用架构运行，可实现故障转移、数据容灾和零停机服务升级，实际效果依赖具体架构与实施条件，验证方案中仍应按本文方法设置观察期与回退条件。
验证过程本身也需要留痕。验证方案、指标定义卡、原始取数记录、计算结果和判定结论，可以放在 ONES 的工作项与文档中管理：用工作项承载各项验证任务和遗留问题，用文档保存口径定义与结论，用报表汇总达标情况。这样复验时可以直接调取同一口径的历史记录，评审方也能按证据链核对结论。ONES 支持私有部署和公有云部署，私有化部署采用 K3s 容器化部署并支持对接 LDAP 等企业内部系统，具体部署形态与可对接范围以实际选购方案和确认结果为准。
常见问题
升级前没有历史基线数据，阈值怎么定？
没有历史数据时，以业务方确认的可接受下限作为阈值，并记录确认人和确认时间。确认过程可以结合业务高峰期的实际使用要求，例如登录成功率按业务方能够容忍的失败次数倒推。阈值一旦确认，写入验证方案，复验时沿用同一口径，不因结果不理想而调整。
观察期内某项指标分母为零，整体判定还能给通过吗？
分母为零的指标记为“不可计算”，不按0%或100%处理，也不计入达标比例的分母。如果该指标属于阻断项，说明对应场景缺少证据，整体结论应标注覆盖不完整，由评审方决定是否延长观察期补充数据后再判定。非阻断项出现这种情况，可以在结论中列为未验证项，不影响其他指标的判定。
复验时阈值可以调整吗？
复验沿用原口径和原阈值。复验的目的是确认修复后是否达到升级前设定的目标，调整阈值会让前后结果不可比，也削弱结论的可信度。如果原阈值确实设定不合理，应在验证方案评审阶段修改并记录原因，而不是在复验时临时放宽。
验证通过后还需要继续观察吗？
需要。验证结论只说明约定时间窗和覆盖范围内达到目标，低频问题可能在更长时间后才暴露。可以约定一个后续观察期继续跟踪关键指标，并设定回退条件，例如阻断项指标再次低于阈值或出现数据错乱，则启动回退评估。回退条件与验证标准一样，应在升级前写明。
验证方案、取数记录和结论放在哪里便于复验？
可以把验证方案、指标定义卡、原始取数记录、计算结果和判定结论集中管理，用工作项承载各项验证任务和遗留问题，用文档保存口径定义与结论，用报表汇总达标情况。这样复验时能直接调取同一口径的历史记录，评审方也可以按证据链核对。ONES 支持私有部署和公有云部署，私有化部署采用 K3s 容器化部署并支持对接 LDAP 等企业内部系统，具体部署形态与可对接范围以实际选购方案和确认结果为准。
