AI敏感信息检查的评估，先要定清检查目标与覆盖范围：哪些AI入口、哪些数据类别、哪个时间窗。在此基础上定义可复算的指标，用检出率看发现能力，用准确率看复核质量，用处置时效看闭环速度，并明确分母、单位、缺失值处理与不可比情形。指标只反映检查机制运行状况，不能单独当作安全绩效或因果保证。检查发现的问题若在ONES中作为工作项跟踪处置，检出、复核、处置的记录链会更完整。
要点总览（TL;DR）
- 先定检查目标与覆盖范围：纳入哪些AI入口、哪些敏感数据类别、哪个时间窗，再定义指标，否则同一“检出率”在不同团队指向不同对象。
- 核心指标至少三个：检出率=检出敏感信息的工作项/会话数÷同期纳入检查总数；准确率=复核确认属实条数÷检出条数；处置时效=处置完成时间−检出产生时间，每个指标都要写清分子、分母、单位和时间窗。
- 分母为零记为“不可计算”，样本过少标注“仅供参考”，不写0%或100%，不做跨团队排名；缺失数据和未接入日志的入口要显式标注覆盖缺口。
- 计算按取数、清洗去重、按口径归类、计算指标、抽样复核、形成结论六步走，抽样结论不一致比例超过约定阈值时回查该类别全部记录并校准规则。
- 指标只反映检查机制运行状况，检出率高低受规则覆盖与使用量影响，不能单独当作安全绩效或因果保证。
检查要回答什么问题：目标与判定边界
AI敏感信息检查的目标可以概括为一句话：发现研发人员在AI使用过程中涉及的敏感信息，并支撑后续处置。评估这套检查是否有效，首先要回答它检查什么、不检查什么。目标模糊时，指标会随之漂移，同一个“检出率”在不同团队可能指向完全不同的对象。
判定边界需要落到三张清单上。第一张是数据类别清单，明确哪些内容算敏感，例如个人身份信息、客户合同条款、未公开的源代码片段、密钥与凭证、内部财务数据。第二张是AI入口清单，明确纳入检查的AI使用场景，例如内部AI助手问答、代码补全工具、文档总结功能、外部大模型对话。第三张是排除清单，写明本期不纳入的对象，例如个人设备上的非受控使用、离线模型推理，避免评估时反复争论范围。
检查评估与相邻治理工作有分工。研发平台权限治理关注“谁能访问什么”，通过角色、项目、页面权限控制数据可见范围；模型训练治理关注训练数据的来源合法性与脱敏。AI敏感信息检查关注的是使用环节：在AI入口处，敏感信息是否被输入、被生成、被带出，以及发现后是否得到处置。三者共享数据分类标准，但评估对象和指标不同，不应混在一张报表里比较。
本节的可交付物是一份检查目标与边界说明，至少包含：检查目标陈述、纳入的AI入口清单、敏感数据类别清单、排除清单、与权限治理和训练治理的分工说明。这份说明是后续所有指标口径的前提，范围调整时应同步更新版本。
指标与统计范围：分子、分母和时间窗
可复算的指标需要同时写清公式、分子、分母、单位和统计时间窗。建议至少定义三类指标：检出率反映检查机制发现敏感信息的能力，准确率反映检出结果的可信程度，处置时效反映从发现到闭环的速度。三者组合使用，单看任何一个都容易得出片面结论。
| 指标名 | 公式 | 分子 | 分母 | 单位 | 时间窗 |
|---|---|---|---|---|---|
| 检出率 | 检出敏感信息的工作项/会话数 ÷ 同期纳入检查的总数 | 检查判定含敏感信息的工作项或会话数 | 同期纳入检查范围的工作项或会话总数 | 百分比（%） | 按自然周或自然月，与分母同窗口 |
| 准确率 | 人工复核确认属实条数 ÷ 检出条数 | 复核结论为“属实”的检出条数 | 同期完成复核的检出条数 | 百分比（%） | 以复核完成时间为准，与检出窗口可错位 |
| 处置时效 | 处置完成时间 − 检出产生时间 | 不适用（逐条计算后取中位数或均值） | 不适用 | 小时或工作日 | 按处置完成时间归入统计窗口 |
| 处置完成率 | 处置完成条数 ÷ 确认属实条数 | 状态为“已处置完成”的条数 | 复核确认属实的条数 | 百分比（%） | 与确认属实同窗口，或按到期口径统计 |
统计范围要在指标定义旁一并写明：覆盖哪些AI入口、哪些团队或项目、哪些数据类别、使用哪个时间窗。同一指标在不同范围下不可直接比较，例如只覆盖内部AI助手的检出率，与同时覆盖外部大模型对话的检出率，分母构成差异很大。跨期对比时，入口清单或规则集发生变化的月份应标注口径变更。
分母为零和样本过少需要预先约定处理方式。分母为零时，检出率记为“不可计算”，不写0%，也不写100%；样本量低于约定阈值（例如检出条数少于10条）时，准确率标注“仅供参考”，不做排名或趋势判断。处置时效在样本过少时同样只列明细，不报中位数。这些约定应写入指标定义表，避免每次评估临时解释。
数据从哪里来：口径、证据与缺失值
检查评估的数据通常来自四类记录：AI使用记录、检查日志、人工复核记录、处置工单。AI使用记录提供纳入检查的总量，检查日志提供检出结果与判定依据，复核记录提供属实与否的结论，处置工单提供处置状态与完成时间。四类记录通过统一的工作项编号或会话编号关联，才能逐条追溯。
字段口径要逐项固定。以“纳入检查的总数”为例，需要明确计数单位是会话、消息还是工作项，同一会话内多次输入是否合并计一条，重复提交的相同内容是否去重。去重规则建议按“同一用户、同一内容指纹、同一时间窗”合并，并在数据口径文档中写明指纹的计算方式。检出条数同样要说明：一条会话命中多个敏感类别时计一条还是多条，通常按“一条检出记录对应一次处置动作”计数更利于闭环管理。
证据留存决定结果能否被复核。每条检出至少保留：触发位置（哪个AI入口、哪条输入或输出）、命中的规则或判定理由、原始内容摘要或脱敏样本、复核人结论、处置动作与完成时间。复核结论应区分“属实”“误报”“待定”三种状态，待定条数单独列出，不计入准确率分子分母。处置结果区分“已删除或撤回”“已脱敏”“已授权保留”“无需处置”，便于后续分析处置结构。
缺失值和不可采数据要显式标注，不能静默剔除。常见情形包括：AI入口未接入日志导致该部分使用量缺失、复核记录未填写结论、处置工单缺少完成时间。处理方式建议为：缺失字段标注“缺失”，对应指标在报表中注明覆盖比例；不可采的入口在范围说明中列为排除项，并在结论中提示覆盖缺口。缺失比例过高时，指标应降级为参考值。
计算与评估步骤：从原始记录到结论
评估流程可以固定为六步，每一步都有明确的输入、动作和完成标志，便于不同人复算出相同结果。
- 取数。按约定的时间窗和入口清单，导出AI使用记录、检查日志、复核记录和处置工单。完成标志：四类数据齐全，记录数可对账。
- 清洗去重。按统一编号关联四类记录，按去重规则合并重复条目，剔除测试数据和明显异常记录并单独登记。完成标志：形成一张逐条可追溯的检查明细表。
- 按口径归类。为每条记录标注AI入口、团队、数据类别、复核状态、处置状态。完成标志：分类字段无空值，空值已标注缺失。
- 计算指标。按指标定义表逐项代入，分母为零或样本过少时按约定标注。完成标志：每个指标都有数值、单位、时间窗和样本量。
- 抽样复核。从检出记录中抽取样本，由未参与原判定的人员重新判断，核对原复核结论。抽样比例可按检出量设定，例如检出条数在100条以内时抽取20条，超过100条时抽取20%且不少于20条；误报率明显偏高的类别提高抽样比例。判定标准为：抽样中结论不一致的比例超过约定阈值（如10%）时，回查该类别全部记录并校准规则。
- 形成结论。汇总指标、样本量、覆盖比例、口径变更和主要问题，给出本期评估结论与下期改进项。完成标志：结论中的每个数字都能回溯到明细表。
结果汇总建议同时给出三个视角：本期绝对值、与上期的环比、按团队或数据类别的分组值。环比对比前先核对两期口径是否一致，入口清单、规则集或去重规则有变化的，在图表上标注断点，不把口径变化解释为效果变化。分组对比用于定位问题集中的入口或类别，不用于团队排名。
检查发现的问题需要进入处置流程才能形成闭环。在ONES中，检出记录可以作为工作项登记，附上证据摘要、复核结论和处置状态，按负责人和期限流转；相关的检查规则、口径说明和评估结论可以沉淀在Wiki文档中，供下一期评估沿用同一口径。ONES Assistant基于项目、工作项和Wiki页面等上下文回答问题并执行操作，AI能力基于ONES权限体系运行，输出过程可追踪、结果可审计，这为检查记录与处置过程的留痕提供了承载方式。需要说明的是，敏感信息的识别规则、检出能力和具体字段口径仍需按团队实际配置确定。
一个算例：两周检查数据怎么算
以下为演示情景，数据为假设值，用于说明公式代入和分母处理方式，不代表任何真实团队的水平。
某团队对内部AI助手入口做两周检查，纳入检查的会话总数为2,000条，检查判定含敏感信息的会话为80条，完成人工复核的检出条数为75条，其中复核确认属实60条，确认属实且已处置完成的为54条。处置完成时间相对检出产生时间的中位数为36小时。
| 指标 | 代入计算 | 结果 | 说明 |
|---|---|---|---|
| 检出率 | 80 ÷ 2,000 | 4.0% | 分母为同期纳入检查的会话总数 |
| 准确率 | 60 ÷ 75 | 80.0% | 分母为已完成复核的检出条数，5条待定未计入 |
| 处置完成率 | 54 ÷ 60 | 90.0% | 分母为确认属实的条数 |
| 处置时效 | 逐条计算后取中位数 | 36小时 | 样本为已处置完成的54条 |
解读这组结果时，检出率4.0%说明每100条纳入检查的会话中约有4条被判定含敏感信息，它同时受规则覆盖面和该入口使用量的影响，不能直接理解为风险发生概率。准确率80.0%说明检出的记录中有两成经复核为误报，规则可能需要校准；5条待定记录应在下一期补完复核，否则准确率的分母不完整。处置完成率90.0%对应6条确认属实但未完成处置的记录，应逐条查明卡点。
分母为零和样本过少的情形同样需要演示。若某数据类别本期检出条数为0，其检出率记为0%，但该类别准确率因分母为零记为“不可计算”，不写成100%。若某团队本期仅检出3条，准确率即使为100%也标注“仅供参考”，不与其他团队比较。若某入口未接入日志，该入口的使用量不计入分母，并在结论中注明覆盖缺口，避免把“未检查”误读为“未发现”。
结果怎么读：限制、误读与改进方向
这组指标反映的是检查机制的运行状况：规则能否发现目标内容、复核是否可靠、处置是否及时。它不直接等于安全水平。检出率下降可能意味着风险减少，也可能意味着规则失效或使用量下降；检出率上升可能是风险增加，也可能是规则补充后覆盖更全。把单期指标当作安全绩效结论，会掩盖机制本身的问题。
跨团队比较需要格外谨慎。检出率的高低受规则覆盖范围、AI入口构成、业务数据敏感度和使用量共同影响，两个团队的分母结构不同，数值差异不能直接归因于管理水平。准确率受复核人判断标准影响，处置时效受工单流程和审批环节影响，这些差异应在对比时说明，而不是简单排名。
常见误读有三类。第一类是把单指标当全部绩效，例如只看检出率而忽略准确率，导致规则越加越宽、误报堆积。第二类是把低检出当作无风险，忽略了未接入日志的入口和未覆盖的数据类别。第三类是把处置完成率当作处置质量，完成状态不等于处置有效，仍需抽查处置动作是否真正消除了暴露。
基于结果的改进方向可以对应到三个环节。规则补充：针对复核中发现的漏检类别和误报集中的规则，调整匹配条件或增加上下文判断。复核校准：统一复核判定标准，对结论不一致的样本组织讨论，必要时提高抽样比例。处置闭环：对确认属实但未完成的记录逐条跟踪，明确责任人和期限，把处置结果回写到检查明细中。下一期评估沿用同一口径，才能看出改进是否生效。
常见问题
检出率下降，能说明AI使用中的敏感信息风险降低了吗？
不能直接这样推断。检出率同时受三个因素影响：规则覆盖面、AI入口的使用量、实际输入内容。规则失效或使用量下降都会让检出率走低，风险本身未必减少。判断风险变化时，建议把检出率与准确率、处置完成率、覆盖比例放在一起看，并核对本期入口清单和规则集是否与上期一致。口径有变化的月份应标注断点，不把口径变化解释为效果变化。
团队规模小、检出条数很少，指标还要不要算？
可以算，但要降级使用。检出条数低于约定阈值（例如少于10条）时，准确率标注“仅供参考”，只列明细，不做趋势判断和团队比较；处置时效同样只列明细，不报中位数。分母为零时，检出率记为“不可计算”，不写0%，也不写100%。这些约定建议提前写进指标定义表，避免每次评估临时解释。
部分AI入口没有接入日志，评估结论怎么写才不误导？
把未接入日志的入口在范围说明中列为排除项，该部分使用量不计入分母，并在结论中注明覆盖缺口和覆盖比例。这样读者能区分“检查过且未发现”和“未检查”。缺失比例过高时，相关指标应降级为参考值。后续改进项可以把入口接入日志列为优先事项，下一期评估时再对比覆盖变化。
抽样复核发现误报偏多，应该怎么处理？
先按类别定位误报集中的规则，再决定处理方式。抽样中结论不一致的比例超过约定阈值（如10%）时，回查该类别全部记录并校准规则；误报率明显偏高的类别可以提高抽样比例。复核判定标准不统一也会推高不一致比例，可对结论不一致的样本组织讨论，统一“属实”“误报”“待定”的判定口径。校准后下一期沿用同一口径，才能看出改进是否生效。
检查发现的问题怎么跟踪到处置完成？
关键是让检出、复核、处置三类记录通过统一编号关联，每条检出都能追溯到处置状态和完成时间。在ONES中，检出记录可以作为工作项登记，附上证据摘要、复核结论和处置状态，按负责人和期限流转；检查规则、口径说明和评估结论可以沉淀在Wiki文档中，供下一期沿用同一口径。ONES Assistant基于项目、工作项和Wiki页面等上下文回答问题并执行操作，AI能力基于ONES权限体系运行，输出过程可追踪、结果可审计。敏感信息的识别规则和具体字段口径仍需按团队实际配置确定。
