评估AI流程执行记录的完整性，先要把“一次执行”定义成可统计的记录单元，再按字段覆盖、环节覆盖、可追溯性和可复算性四类指标分别计算，最后用抽样核验解释异常样本。核心口径是：字段覆盖率＝已记录必填字段数÷应记录必填字段数；环节覆盖率＝有记录的执行环节数÷应记录环节数；可追溯率＝能关联到输入、模型版本、审批人和产出的记录数÷总记录数。分母为零时单列说明，不同流程和模型版本的记录分开统计。完整性只回答“记录是否齐全、能否复算、能否追溯”，不能替代质量或合规判断。
要点总览（TL;DR）
- 完整性评估先固定记录单元：以单次AI流程执行为一条记录，同一流程多次触发分别计数，避免合并后掩盖缺口。
- 四类指标分别计算：字段覆盖率、环节覆盖率、可追溯率、可复算率，每项都要写明公式、分母、时间窗和缺失值规则。
- 分母为零的组单列说明，不并入平均值；不同流程、不同模型版本的记录分开统计，不合并成一个总数。
- 覆盖率只说明记录是否齐全，不能替代准确性、质量或合规判断；结果用于验收或审计时，需保留分母明细和抽样清单供他人复算。
评估目标：完整性要回答哪几个问题
完整性评估的对象是AI流程执行留下的记录本身，判断用途通常有三类：验收、审计和流程改进。三类用途对记录范围的要求不同，评估开始前需要先写清楚本次评估服务于哪一类，否则指标算出来也无法解释。
完整性评估回答三个问题。第一，记录是否齐全：一次执行应当留下的字段和环节，实际留下了多少。第二，能否复算：拿到记录后，能否按当时的输入和规则重新得到相同或可解释的产出。第三，能否追溯：记录能否关联到输入来源、模型版本、审批人和最终产出，从而定位责任和变更。
需要把完整性、准确性、合规性分开判断。完整性看“有没有记”，准确性看“记得对不对”，合规性看“该不该记、能不能留、留多久”。一份字段覆盖率很高的记录，可能字段值填错，也可能包含不该留存的信息。因此完整性评估的结论应写成“记录齐全程度如何、缺口在哪”，而不是“流程质量合格”。
评估目标说明建议包含四项内容：评估用途（验收、审计或改进）、评估对象（哪些流程、哪些模型版本、哪个时间窗）、判断边界（本次只评完整性，不评准确性和合规性）、结果使用方式（提交给谁、用于什么决策）。这份说明是后续口径争议的裁决依据。
指标与范围：记录单元和四类完整性指标
统计前先固定记录单元：以单次AI流程执行为一条记录。一次执行指从触发到产出交付的完整过程，包括输入提交、模型调用、人工审批、结果写入等动作。同一用户在同一天多次触发同一流程，按多次执行分别计数，避免把多次执行合并成一条记录后掩盖缺口。
四类指标从不同角度描述完整性，需要分别计算、分别报告。
| 指标 | 含义 | 计算方式 | 统计范围 |
|---|---|---|---|
| 字段覆盖率 | 应记录的必填字段中，实际有值的比例 | 已记录必填字段数÷应记录必填字段数 | 按流程、模型版本、时间窗分组 |
| 环节覆盖率 | 应留痕的执行环节中，有记录的比例 | 有记录的执行环节数÷应记录环节数 | 按流程版本分组 |
| 可追溯率 | 能关联到输入、模型版本、审批人和产出的记录比例 | 四要素齐全的记录数÷总记录数 | 按流程、模型版本分组 |
| 可复算率 | 抽样后能按记录复现产出的记录比例 | 复算一致的抽样记录数÷抽样记录数 | 按抽样方案确定 |
统计范围按三个维度切分：流程（不同业务流程的必填字段和环节不同）、模型版本（模型升级会改变输入输出结构）、时间窗（按月或按迭代统计，避免跨期混算）。三个维度中任何一个发生变化，都应单独成组统计，不合并成一个总数。可复算率依赖抽样，样本量和抽样方法需要在报告中写明，便于他人复核。
数据口径：必填字段、分母与缺失值处理
口径决定结果能否复算，重点固定三件事：必填字段清单、分母定义、缺失值判定。
必填字段清单要有来源和版本。清单通常来自流程设计文档或记录规范，评估时引用具体版本号，并在报告中附上清单。流程变更后清单随之更新，新旧版本的记录分开统计，避免用新清单去衡量旧记录。必填字段一般覆盖输入、执行上下文、审批、产出四类信息，具体字段以流程规范为准。
分母定义需要逐项写清：应记录字段数＝记录条数×每条记录适用的必填字段数；应记录环节数＝记录条数×流程定义的应留痕环节数；总记录数＝时间窗内去重后的执行记录数。字段级分母按记录逐条累加，不按字段种类简单相乘，因为不同记录适用的字段可能不同。
缺失值判定规则建议统一为：字段不存在、字段为空、字段值为占位符（如“无”“待补充”“-”）三种情况均计为未记录；字段有值但内容明显错误，计为已记录，另在准确性评估中处理。这条规则把“有没有记”和“记得对不对”分开，避免完整性指标被内容错误拉低。
分母为零时单列说明。例如某流程在统计期内没有执行记录，字段覆盖率为0÷0，此时不计算比率，在报告中标注“本期无执行”，不并入平均值，也不计为0%。同理，某环节在流程定义中不存在，该环节不进入分母。
计算与评估步骤：从取数到核验
计算流程分五步，每一步都留下可复核的中间结果。
- 确定取数范围。按流程、模型版本、时间窗筛选执行记录，明确起止时间和时区。同一执行因重试或补录产生多条记录时，按执行ID去重，保留最终状态记录，重试次数单独记录。
- 对齐必填字段清单。把清单版本与记录版本匹配，逐条标注每条记录适用的必填字段和应留痕环节，形成分母明细表。
- 计算三项覆盖率指标。按公式逐组计算字段覆盖率、环节覆盖率、可追溯率，结果保留百分比并注明分子分母绝对值。分母为零的组单列，不参与汇总平均。
- 抽样核验可复算性。按记录总量确定样本量，覆盖不同流程和模型版本。抽取记录后，用记录中的输入和上下文重新执行或人工推演，比对产出是否一致或差异可解释。核验人、核验时间和判定结论一并记录。
- 异常样本归类。把缺失记录按原因分类，例如字段未配置、环节未触发、系统未写入、人工跳过。异常样本单独列出，不直接从分母中剔除；确属流程定义变更导致的，在报告中说明并调整口径后重算。
在ONES中，AI助手执行的操作会保存为工作项、Wiki页面等内容，过程可追踪、结果可审计，这为按执行ID归集记录提供了基础。评估时可以把工作项状态流转、评审记录和页面版本作为环节覆盖与可追溯性的核对对象，再结合抽样比对原始输入与产出。具体留存哪些字段、可追溯到哪些维度，需要以实际配置和记录规范为准，评估前先做一次字段盘点。
例子：一次月度完整性评估的算例
假设某团队对“需求摘要生成”流程做月度评估，统计期为某月1日至月末，模型版本为v2，流程规范要求每条记录包含8个必填字段、5个应留痕环节。当月去重后执行记录为200条。
字段覆盖：200条记录中，逐条累加应记录必填字段数为1600个，实际有值的字段数为1480个，字段覆盖率＝1480÷1600＝92.5%。缺口集中在“审批人”和“输入来源”两个字段，共120个。
环节覆盖：应记录环节数为200×5＝1000个，实际有记录的环节数为940个，环节覆盖率＝940÷1000＝94.0%。缺失主要出现在“人工复核”环节，共60条记录未留痕。
可追溯：四要素（输入、模型版本、审批人、产出）齐全的记录为170条，可追溯率＝170÷200＝85.0%。不齐全的30条中，18条缺审批人，12条缺输入来源。
可复算：抽取40条记录核验，其中34条能按记录复现产出，6条存在差异，可复算率＝34÷40＝85.0%。差异样本中4条因输入附件版本不一致，2条因模型参数未记录。
结果解读：该流程字段和环节覆盖较高，主要缺口在审批留痕和输入来源记录；可追溯率与可复算率同时受审批人和输入信息缺失影响，说明这两类字段是优先改进项。若下月模型升级到v3，v2与v3的记录应分开统计，本期结果不能直接与v3期间比较。若某周无执行记录，该周不计算比率，在报告中注明。
解读与限制：覆盖率能说明什么、不能说明什么
覆盖率说明记录是否齐全，不能说明记录是否准确、流程是否合规、产出是否可靠。字段覆盖率100%只表示每个必填字段都有值，不表示值正确；环节覆盖率100%只表示每个环节都留了痕，不表示环节执行到位。把覆盖率当作质量或合规保证，会掩盖真实风险。
不同流程、不同模型版本之间的覆盖率不可直接比较。必填字段数量、环节复杂度、人工介入程度不同，分母结构就不同。跨组比较时应先说明口径差异，或只比较同一流程同一版本的时间序列变化。
单指标不能替代整体评估。字段覆盖高但可追溯率低，说明记录齐全但关联关系断裂；可复算率高但环节覆盖低，说明抽样部分可靠但过程留痕不全。四类指标需要一起看，并结合异常样本的原因分布判断改进优先级。
结果用于验收时，应事先约定评估口径、时间窗和样本方案，避免事后调整分母；用于审计时，需保留分母明细、抽样清单和核验记录，保证他人可以复算；用于流程改进时，按异常原因分类制定措施，并在下一周期用相同口径复评。覆盖率是改进的起点，不是终点。
常见问题
流程中途发生变更，必填字段清单跟着调整，历史记录怎么统计？
按清单版本分组统计，不用新清单去衡量旧记录。评估前把每条记录匹配到其执行时生效的清单版本，新旧版本分别计算覆盖率，报告中附上各版本清单和对应记录数。如果变更只影响少数记录，也可以单独列出变更前后的对比，但不要直接把两个版本的数字相加成一个总数，否则分母结构不一致，结果无法解释。
重试或补录产生的多条记录，算一次执行还是多次？
按执行ID去重，一次执行只计一条记录，保留最终状态，重试次数单独记录。这样字段覆盖率和环节覆盖率的分母才对应真实的执行次数。如果重试过程本身也需要留痕，可以把重试次数作为附加字段统计，但不改变记录单元的定义。去重规则要在报告里写明，便于他人按同样口径复算。
可复算率一定要重新执行模型才能核验吗？
不一定。重新执行是较严格的方式，适合模型调用成本可控、结果可稳定复现的场景。条件不允许时，可以由熟悉流程的人员按记录中的输入和上下文人工推演，判断产出是否一致或差异可解释。两种方式都要记录核验人、核验时间和判定结论。需要注意，模型输出本身可能存在随机性，复算判定应事先约定“一致”的容忍范围，例如关键结论一致即可，避免因措辞差异被判为不一致。
字段覆盖率很高但可追溯率偏低，应该先改哪里？
先看异常样本的原因分布。可追溯率低通常集中在少数几个关联字段上，例如审批人或输入来源缺失，这类问题往往通过配置必填校验、在流程节点上强制关联就能改善，成本较低。字段覆盖率已经较高，说明记录框架基本可用，此时优先补齐关联关系比继续增加字段更有价值。改进后下一周期用相同口径复评，观察可追溯率是否随之上升。
评估结果拿去验收，最容易出现什么争议？
最常见的是分母口径事后调整，比如验收前临时增加必填字段或改变时间窗，导致覆盖率前后不可比。规避方式是在评估开始前就把评估口径、时间窗、样本方案和缺失值判定规则写成书面约定，双方确认后再取数。报告中保留分母明细、抽样清单和核验记录，出现分歧时按约定口径复核，而不是重新定义指标。
