衡量构建结果确认质量，可以拆成三个可复算的面：结论出得多快、结论对不对、错了之后返工多少。及时性看从构建结束到确认结论落地的时长分布与超时占比，准确性看误判率、遗漏率和复核返工率，返工指标则解释这些问题带来的工作量与原因。指标只描述确认环节本身的过程质量，需要配合统一口径和边界处理才能横向比较。ONES 可用于承载确认记录与复核返工跟踪，下文按指标定义、取数、计算和解读依次展开。
要点总览（TL;DR）
- 构建结果确认的质量分三个面来量：及时性看确认时延中位数、P90 与超时确认占比；准确性看误判率、遗漏率与复核返工率；返工指标看返工次数、返工工时与原因分布。
- 及时性以构建结束为起点、确认结论记录并通知责任人为终点；误判率的分母是已确认构建数，遗漏率的分母是应确认构建数，两者不能互相替代。
- 统计前先固定时间窗、纳入的流水线分支与排除项，分母为零或样本量过小时标注“样本不足”，不强行给出比率。
- 误判按方向拆开看：判成功实为失败偏向漏放风险，判失败实为成功造成无效排查，两个方向的改进动作不同。
- 指标只描述确认环节的过程质量，不直接等同于交付质量或人员绩效；改进后用同一口径前后对比，并观察返工工时是否同步下降。
评估目标：确认环节要回答哪三个问题
构建结果确认是一个独立动作：起点是构建结束、产物生成，终点是确认结论被记录并通知到责任人。它既区别于构建执行本身，也区别于代码质量和交付质量。把度量对象限定在这个区间内，才能避免把构建成功率、缺陷密度等指标混进来，导致结论无法归因。
围绕这个动作，评估要回答三个问题，分别对应三类指标族：
| 评估问题 | 关注点 | 对应指标族 | 回答什么 |
|---|---|---|---|
| 结论出得多快 | 从构建结束到确认结论记录并通知的耗时 | 及时性指标 | 确认是否在约定时限内完成，长尾有多长 |
| 结论对不对 | 确认结论与构建实际结果是否一致 | 准确性指标（误判、遗漏） | 判错和漏判的比例有多高 |
| 错了之后返工多少 | 复核纠正所消耗的次数与工时 | 返工指标 | 错误带来的纠正成本与主要成因 |
三类指标存在解释关系：及时性回答流程快慢，准确性回答结论可信度，返工指标把前两者的后果折算成可感知的成本。评估时三者一起看，单独看任何一类都容易得出片面判断。例如确认很快但误判率高，说明流程被压缩到了牺牲准确性的程度；确认准确但时延很长，说明确认动作可能卡在等待或交接环节。
指标与范围：及时性、准确性、返工三类指标清单
下面给出可直接使用的指标定义。每个指标都明确分子、分母、时间窗和单位，统计前先固定时间窗（如按周或按两周滚动），所有指标共用同一时间窗，保证可复算。
及时性指标
| 指标名 | 公式 | 分子 | 分母 | 单位 |
|---|---|---|---|---|
| 确认时延中位数 | 有效构建确认时延的中位数 | — | — | 分钟或小时 |
| 确认时延 P90 | 有效构建确认时延的第90百分位 | — | — | 分钟或小时 |
| 超时确认占比 | 超时确认构建数 ÷ 有效构建数 × 100% | 确认时延超过约定时限的构建数 | 时间窗内有效构建数 | % |
| 首次确认时限内完成率 | 首次确认在时限内完成的构建数 ÷ 有效构建数 × 100% | 首次确认即达标且未超时的构建数 | 时间窗内有效构建数 | % |
确认时延的起止点要写进口径：起点取构建结束或产物生成的时间戳，终点取确认结论被记录并通知到责任人的时间戳。中位数反映典型体验，P90 反映长尾，两者一起看才能判断问题是普遍偏慢还是少数构建拖尾。
准确性指标
| 指标名 | 公式 | 分子 | 分母 | 单位 |
|---|---|---|---|---|
| 误判率 | 误判确认数 ÷ 已确认构建数 × 100% | 判成功实为失败、判失败实为成功的确认数 | 时间窗内已确认构建数 | % |
| 遗漏率 | 应确认未确认构建数 ÷ 应确认构建数 × 100% | 应确认但未产生确认记录的构建数 | 时间窗内应确认构建数 | % |
| 复核返工率 | 发生复核返工的确认数 ÷ 已确认构建数 × 100% | 经复核需要纠正结论的确认数 | 时间窗内已确认构建数 | % |
误判可以按方向拆成两个子指标：判成功实为失败（漏放缺陷风险更高）和判失败实为成功（造成无效排查）。两个方向的业务影响不同，合并看总量、拆开看方向，能帮助定位是确认规则偏松还是偏严。遗漏率的分母用应确认构建数，而不是全部构建数，避免把本不需要确认的构建算进遗漏。
返工指标
| 指标名 | 公式或口径 | 单位 |
|---|---|---|
| 复核返工次数 | 时间窗内因结论纠正发起的复核次数合计 | 次 |
| 返工工时 | 复核与纠正所投入的工时合计，按记录或估算口径统一 | 人时 |
| 返工原因分布 | 按原因分类（如环境波动、测试不稳定、确认规则误配、人工操作失误）统计次数占比 | % |
返工工时如果采用估算，要在口径中注明估算方法和填写人，避免不同团队用不同估算标准导致数据不可比。返工原因分布是解释性指标，用来回答“误判和遗漏主要来自哪里”，不单独作为考核依据。
统计范围
统计前先划定纳入范围，并写成书面规则：纳入哪些流水线、哪些分支（如主干与发布分支）、哪些触发方式（如代码提交触发、定时触发、手动触发）。同时明确排除项，例如手动取消的构建、因环境故障导致无法判定结果的无效构建。排除项要记录数量，便于评估排除是否合理，防止通过扩大排除范围美化指标。
数据口径与证据：确认记录从哪里取、怎么保证可比
指标能否复算，取决于取数来源是否稳定、口径是否统一。建议从四类记录取数：流水线运行记录（构建起止时间、状态、触发方式）、构建产物与测试报告（实际结果证据）、确认操作日志（确认人、确认时间、确认结论）、通知与工单记录（结论是否送达责任人、复核是否发起）。四类记录通过构建唯一标识关联，形成一条从构建到确认再到复核的记录链。
口径统一要落到具体规则上：
- 时间戳统一时区与精度，构建结束时间与确认时间使用同一时钟来源，避免跨系统时间偏差造成负时延。
- 每个构建分配唯一标识，同一提交重复触发时按构建标识区分，不按提交合并。
- 明确确认人与确认动作的判定规则：谁的操作算一次有效确认，自动确认与人工确认分别标记，便于分层比较。
- 重复确认的处理：同一构建多次确认时，以首次有效确认为及时性口径，以最终结论为准确性口径，并单独统计重复确认次数。
缺失值要显式标记而不是默认填充。确认记录缺失的构建计入遗漏统计，同时在数据质量栏标注缺失数量；时间戳缺失的构建从时延计算中剔除并记录剔除数；重复确认按上述规则归并。所有剔除和归并规则在报表中留痕，保证他人可以按同样规则复算。
定性证据用于解释数字：复核记录中的纠正说明、返工原因备注、复盘纪要，能说明误判集中在哪类测试、遗漏发生在哪个环节。定性证据不参与比率计算，但应与指标同周期采集，避免事后回忆造成偏差。在 ONES 中，构建状态与日志可随流水线集成同步，确认与复核动作可以通过工作项状态流转和文档记录承载，使确认记录与需求、任务保持关联，便于按同一构建标识回溯。
计算与评估步骤：从原始记录到可解读的指标
计算按固定顺序执行，每一步的产物都可核对：
- 确定时间窗，例如某两个自然周，所有指标共用该窗口。
- 筛选有效构建：按统计范围纳入流水线、分支和触发方式，剔除手动取消和环境故障导致的无效构建，记录剔除数量。
- 匹配确认记录：用构建唯一标识关联确认操作日志，标记已确认、未确认、重复确认。
- 计算各指标：按上文公式逐项计算，及时性指标先算每条构建的确认时延，再取中位数和 P90。
- 按流水线、分支、构建类型分组输出，形成可比较的分组结果。
公式示例：超时确认占比 = 超时确认构建数 ÷ 有效构建数 × 100%；误判率 = 误判确认数 ÷ 已确认构建数 × 100%；遗漏率 = 应确认未确认构建数 ÷ 应确认构建数 × 100%。注意误判率的分母是已确认构建数，遗漏率的分母是应确认构建数，两者分母不同，不能相互替代。
边界情况按以下规则处理：分母为零时该指标标注“无样本”，不显示为 0%；样本量过小时（例如已确认构建数低于团队约定的最小样本，如 30 条）标注“样本不足”，只呈现绝对数，不强行给出比率；不同构建类型、不同分支重要度的数据先分层再比较，主干与发布分支可以和特性分支分开看，避免直接横比得出误导性结论。跨确认方式比较时，人工确认与自动确认分开统计，因为两者的时延和误判特征差异明显。
例子：一个两周时间窗的算例
以下为演示情景，数值用于说明计算过程，不代表任何团队的实际水平。假设某团队两周时间窗内：有效构建 400 次，已确认 380 次，应确认构建 400 次，超时确认 48 次，误判 12 次（其中判成功实为失败 8 次、判失败实为成功 4 次），应确认未确认 20 次，复核返工 24 次、返工工时 36 人时。
| 指标 | 计算 | 结果 |
|---|---|---|
| 超时确认占比 | 48 ÷ 400 × 100% | 12.0% |
| 遗漏率 | 20 ÷ 400 × 100% | 5.0% |
| 误判率 | 12 ÷ 380 × 100% | 3.2% |
| 其中判成功实为失败占比 | 8 ÷ 380 × 100% | 2.1% |
| 其中判失败实为成功占比 | 4 ÷ 380 × 100% | 1.1% |
| 复核返工率 | 24 ÷ 380 × 100% | 6.3% |
| 单次返工平均工时 | 36 ÷ 24 | 1.5 人时 |
初步解读：遗漏率 5.0% 高于误判率 3.2%，说明主要问题在“该确认的没确认”，优先核查确认触发条件和责任人分派是否覆盖全部应确认构建；误判中判成功实为失败占多数，风险方向偏向漏放，应检查确认规则对失败信号的识别是否充分。复核返工率 6.3%、单次返工 1.5 人时，说明纠正成本尚可控，但返工原因分布需要进一步拆分，判断是测试不稳定还是确认规则误配导致。下一步可按流水线和分支分组，看问题是否集中在特定流水线。
解读与限制：指标能说明什么、不能说明什么
这些指标反映的是确认环节的过程质量，回答确认动作是否及时、结论是否可信、纠正成本多高。它们不直接等同于交付质量，也不能单独作为人员绩效结论：一个团队误判率低，可能因为确认范围窄或确认标准宽松；确认时延短，可能因为确认动作被简化。把指标与交付结果、缺陷逃逸情况结合看，才能形成完整判断。
误判率和遗漏率受确认方式影响明显。人工确认与自动确认的判定逻辑、覆盖范围不同，跨方式直接比较会混淆差异来源，需要分层后再比较，或在确认方式变更时重新建立基线。指标也受统计范围影响，扩大或缩小纳入的流水线与分支，比率会随之变化，因此口径变更要记录生效时间，前后数据不直接拼接。
改进验证建议用同一口径做前后对比：固定时间窗长度、统计范围和公式，比较改进前后的超时确认占比、误判率、遗漏率与返工工时是否同步变化。返工工时是成本侧的证据，如果比率下降但返工工时没有下降，说明问题可能只是转移而非减少。阈值应结合历史基线和业务风险确定，例如发布分支的遗漏率容忍度低于特性分支，不设无依据的统一达标线。ONES 的报表能力可用于按周期回溯流水线与工作项记录，支撑这种同口径的前后对比，具体指标字段与报表配置需结合团队实际集成情况确认。
常见问题
确认时延的起点和终点怎么定，跨系统时间对不上怎么办？
起点取构建结束或产物生成的时间戳，终点取确认结论被记录并通知到责任人的时间戳，两个时间戳尽量来自同一时钟来源。如果构建记录与确认记录分属不同系统，先核对时区与精度，再抽样比对几条记录，确认没有系统性偏差后再批量计算。出现负时延的构建单独标记，查明是时间同步问题还是确认动作早于构建结束，不要直接剔除。
自动确认和人工确认的指标可以直接放在一起比较吗？
不建议直接横比。两者的判定逻辑、覆盖范围和时延特征差异明显，混在一起算会掩盖差异来源。可行做法是分开统计，各自建立基线；如果确认方式发生变更，在变更时点重新建立基线，前后数据不直接拼接。需要看整体趋势时，可以按确认方式分层后汇总，并注明各层占比的变化。
遗漏率的分母为什么用应确认构建数，而不是全部构建数？
因为并非每次构建都需要确认，例如文档变更触发的构建或仅用于验证环境的构建。用全部构建数作分母会把本不需要确认的构建算成遗漏，人为抬高遗漏率。应确认构建的范围要在统计前写成书面规则，明确哪些流水线、分支和触发方式必须确认，规则变更时记录生效时间。
返工工时用估算值，数据还可靠吗？
估算值可以用，前提是口径统一并留痕：注明估算方法、填写人和估算依据，同一团队在同一时间窗内使用同一标准。如果不同团队估算习惯差异大，横向比较时只比返工次数和原因分布，工时数据用于本团队的前后对比。条件允许时，用复核记录中的实际投入时间替代估算，数据质量会更好。
指标下降就说明确认质量改善了吗？
不一定。比率下降可能来自确认范围收窄、排除项扩大或确认标准放宽，需要同时核对统计范围与排除数量是否变化。建议固定时间窗长度、统计范围和公式做前后对比，并观察返工工时是否同步下降；如果比率降了而返工工时没降，问题可能只是转移。阈值结合历史基线和业务风险确定，发布分支与特性分支可以设不同的容忍度。
