AI操作审计的核心,是把“谁在什么场景下对AI做了什么、产生了什么结果”变成可追溯的记录,再配套分级、留痕、复核和定期抽查。本文按审计对象与分级、字段与事件类型、角色分工、流程嵌入、记录示例和完成检查六个部分展开,范围限定在AI使用治理,不涉及全平台权限治理和模型训练治理。
要点总览(TL;DR)
- AI操作审计先划定四类对象——工具使用、提示词与输入数据、生成结果、对外发布动作,再按数据敏感度与影响面分三级,用级别决定记录强度。
- 字段以操作人、时间、工具与版本、任务目的、输入摘要、使用去向为核心,输出摘要和复核人按级别必填;事件类型至少区分常规使用、敏感数据输入、对外发布、异常投诉。
- 使用者提交记录、复核人确认敏感与对外场景、治理角色定规则并抽查、留档角色保证可检索,四类角色各有明确交付物。
- 落地按使用前登记、使用中记录、敏感场景复核、结果归档四步执行,每步都有输入、动作、输出和完成标志。
- 机制是否可用,用覆盖、质量、运行、改进四组检查项逐条核验,任一项给不出判定依据就回到对应环节补齐。
AI操作审计先审什么:对象、边界与分级
AI操作审计的第一步是划定范围。范围过宽会把所有系统日志都卷进来,范围过窄则关键行为没有记录。建议先把AI使用行为拆成四类审计对象,再按数据敏感度和影响面分级,用分级结果决定记录强度。
四类审计对象
- AI工具使用:使用了哪个工具、哪个版本、哪个模型入口,是个人账号还是团队统一入口。
- 提示词与输入数据:任务目的、输入内容摘要、是否包含客户数据、代码、个人信息或未公开的经营数据。
- 生成结果:输出被用于什么用途,是参考、改写后采用,还是直接对外使用。
- 对外发布动作:结果是否进入对外文档、客户交付物、公开渠道内容或正式代码库。
与其他治理工作的边界
AI操作审计关注“使用行为是否可追溯、是否经过必要复核”,与另外两类治理分工如下:全平台权限与账号安全治理负责账号开通、权限授予和登录安全,审计只需引用账号标识;模型训练与微调治理负责训练数据来源、模型变更和评测,审计只需记录使用了哪个模型版本。边界写清楚,可以避免同一份记录被要求承担多种用途。
按敏感度与影响面分级
| 级别 | 典型场景 | 记录要求 |
|---|---|---|
| 低 | 公开资料整理、措辞润色、内部头脑风暴 | 登记使用人、工具、用途,结果不强制复核 |
| 中 | 内部文档起草、代码辅助、会议纪要生成 | 完整字段记录,团队负责人知晓,输出摘要留存 |
| 高 | 含客户数据、个人信息、未公开经营数据的输入;结果对外发布或进入交付物 | 完整字段记录,使用前登记,使用后复核,归档可检索 |
分级表要落到具体场景,避免只写“高敏感”这类抽象描述。完成标志是:团队能对着表判断一次使用属于哪一级,并知道该级别需要哪些记录。
审计字段与事件类型怎么定
字段决定记录能不能查、能不能比、能不能追责。字段太少无法还原过程,字段太多则填写负担过重、记录质量下降。建议先定核心字段,再按分级决定必填范围。
核心字段清单
| 字段 | 说明 | 填写要求 |
|---|---|---|
| 操作人 | 账号标识与所属团队 | 必填 |
| 操作时间 | 使用发生的时间段 | 必填 |
| AI工具与版本 | 工具名称、模型或版本标识 | 必填 |
| 任务目的 | 一句话说明要解决什么问题 | 必填 |
| 输入摘要 | 输入内容类型与敏感度说明,不要求全文粘贴 | 必填 |
| 输出摘要 | 生成结果的关键结论或用途说明 | 中高级必填 |
| 使用去向 | 内部参考、进入文档、对外发布、进入代码库等 | 必填 |
| 审批或复核人 | 敏感或对外场景的复核责任人及结论 | 高级必填 |
| 附件或链接 | 原始记录、发布物或工单的存放位置 | 选填 |
事件类型
事件类型用于分类检索和统计,建议至少区分四类:常规使用、敏感数据输入、结果对外发布、异常或投诉。每类事件对应不同的复核要求和处置路径,例如异常或投诉类事件需要记录处置结论和关闭时间。
脱敏与留存原则
输入摘要记录内容类型和敏感度,避免把客户数据、个人信息原文复制进审计记录。留存期限按数据级别设定:低级别记录保留较短周期用于统计,高级别记录保留到对应项目或合同周期结束后一段时间,具体期限由组织根据合规要求确定。完成标志是字段表经过一次试填,确认填写耗时可以接受、关键信息没有遗漏。
角色分工与各环节交付物
审计机制能否运行,取决于每个环节是否有人负责、有明确产出。建议至少区分四类角色,并把交付物写进各自的日常工作中,而不是另设一套流程。
| 角色 | 职责 | 交付物 |
|---|---|---|
| 使用者 | 按分级要求提交使用记录,说明结果去向 | 一条完整的审计记录 |
| 团队负责人或复核人 | 确认敏感场景的输入范围,复核对外发布内容 | 复核意见与结论 |
| 治理或安全角色 | 制定字段与分级规则,组织抽查,处置异常 | 规则文档、抽查报告、异常处置记录 |
| 审计留档 | 维护归档位置与检索方式,保证记录可查 | 可检索的归档目录或记录库 |
复核人应由熟悉业务内容的人担任,治理角色负责规则和抽查,两者分开可以避免自己审自己。归档位置要统一,按团队、时间或项目建立检索维度,保证抽查时能快速取到记录。
当记录量增加后,用表格或文档分散存放会带来检索困难。ONES 的工作项和文档能力可以把一次AI使用登记为工作项,把复核意见、发布物链接和处置结论挂在同一处,按状态区分待复核、已复核和已归档,抽查时按字段筛选即可。这套承载方式适合已有工作项管理习惯的团队,规模较小的团队用统一表格也能起步。
把审计嵌入AI使用流程的操作步骤
审计要嵌入实际使用流程,而不是事后补录。以下四步给出每步的输入、动作、输出和完成标志,可按团队情况裁剪。
步骤一:使用前登记任务目的与数据范围
输入是任务说明和拟使用的数据;动作是判断分级、填写任务目的与输入摘要;输出是一条待执行的登记记录;完成标志是分级已判定、敏感数据是否涉及已明确。
步骤二:使用中记录工具、输入与关键输出
输入是实际使用的工具和对话过程;动作是补充工具与版本、记录关键输出摘要;输出是字段完整的记录;完成标志是核心必填字段无空缺。
步骤三:敏感或对外场景触发复核
输入是标记为高级别的记录;动作是提交复核人确认输入范围和输出可用性;输出是复核意见与结论;完成标志是复核人给出明确结论,未通过的有修改记录。
步骤四:结果归档并标注去向
输入是复核通过的记录和最终产物;动作是标注使用去向、附上产物链接、移入归档;输出是可检索的归档记录;完成标志是记录状态为已归档,抽查时能按去向检索到。
| 步骤 | 输入 | 动作 | 输出 | 完成标志 |
|---|---|---|---|---|
| 使用前登记 | 任务说明、数据范围 | 判定分级、填写目的与输入摘要 | 待执行记录 | 分级与敏感数据判定完成 |
| 使用中记录 | 工具与对话过程 | 补充工具版本与输出摘要 | 字段完整记录 | 必填字段无空缺 |
| 触发复核 | 高级别记录 | 提交复核并记录结论 | 复核意见 | 结论明确、修改可查 |
| 归档标注 | 复核通过记录与产物 | 标注去向、附链接、归档 | 归档记录 | 状态为已归档、可按去向检索 |
示例:一次敏感数据场景的审计记录
以下为演示情景,用于说明字段如何填写,不代表真实案例。
场景设定:某研发团队成员用AI工具整理一份包含客户反馈原文的需求分析草稿,草稿将发给客户确认。输入含客户名称与反馈原文,结果对外发送,判定为高级别。
填写后的字段示例
- 操作人:研发部某成员,所属项目组A
- 操作时间:某工作日上午
- AI工具与版本:团队统一入口的对话工具,记录模型版本标识
- 任务目的:将客户反馈归类为需求条目,形成需求分析草稿
- 输入摘要:客户反馈原文,含客户名称,属客户数据
- 输出摘要:归类后的需求条目若干,附原文引用
- 使用去向:对外发送给客户确认
- 复核人:项目负责人
复核动作与结论记录
复核人核对输出是否逐条对应原文、是否出现原文没有的推断,确认客户名称在对外版本中已按约定处理,结论为“修改后通过”,并记录修改点。复核意见与结论写入同一条记录,便于后续追溯。
归档与抽查线索
记录归档时附上对外发送版本和修改记录,标注去向为“客户交付物”。抽查时可从“对外发布”事件类型中抽取记录,核对复核意见是否与最终版本一致。这条线索也说明:分级判定发生在使用前,复核发生在对外发送前,归档发生在发送后,三个时间点都能在记录中找到。
完成检查:审计机制是否可用的核对项
机制建成后,用以下清单逐项判断,每项给出可核验的判定方式。
覆盖检查
- 关键场景是否都有记录:抽取近期对外发布物和客户交付物,核对是否都能找到对应审计记录。
- 分级是否实际使用:统计各等级记录数量,若高级别长期为零而业务中确有敏感使用,说明分级判定没有执行。
质量检查
- 字段完整率:抽样计算必填字段的填写完整比例,空缺集中在哪些字段。
- 脱敏合规:检查输入摘要中是否出现客户数据或个人信息原文。
运行检查
- 复核是否实际发生:核对高级别记录的复核人、结论和时间是否齐全,结论是否具体。
- 异常是否有处置闭环:抽取异常或投诉类事件,确认有处置结论和关闭时间。
改进检查
- 抽查频率是否执行:按既定周期统计抽查次数与覆盖范围。
- 规则是否更新:工具版本、事件类型和分级标准是否随实际使用情况调整,调整是否有记录。
清单中任何一项无法给出判定依据,说明该环节还缺少可核验的产物,应回到对应章节补齐记录或规则,再进入下一轮抽查。
常见问题
团队规模小、AI使用量不大,审计记录可以简化到什么程度?
可以先保留最小可用集合:操作人、时间、工具与版本、任务目的、输入摘要、使用去向六项,复核只对含客户数据、个人信息或对外发布的场景执行。分级表可以只保留中、高两级,低风险使用合并登记。简化的是字段数量和复核范围,分级判定和归档检索这两个动作建议保留,否则后续抽查没有依据。
审计记录里要不要保存完整的提示词和AI输出原文?
通常不建议。输入摘要记录内容类型和敏感度,输出摘要记录关键结论与用途,原文放在原有业务载体中,通过链接关联。完整原文进入审计记录会扩大敏感数据暴露面,也增加留存成本。确有需要还原过程的场景,可在受控位置保存原文并限制访问,审计记录只保留指向它的链接和访问说明。
复核人应该由谁担任,和治理角色能不能是同一个人?
复核人建议由熟悉业务内容的人担任,例如项目负责人或领域负责人,负责判断输入范围是否合适、输出是否可用。治理或安全角色负责规则制定、抽查和异常处置。两者分开,可以避免自己审自己,也让复核结论具备业务判断力。团队人数很少时可由上级兼任复核,但抽查仍应由不参与日常复核的人执行。
审计记录和现有的工单、需求、文档系统怎么衔接?
把一次AI使用登记为一条工作项,复核意见、发布物链接和处置结论挂在同一条记录上,用状态区分待复核、已复核和已归档,是常见的衔接方式。ONES 的工作项与文档能力支持这种承载方式,抽查时按字段筛选即可取到记录。已有统一表格习惯的团队也可以先用表格起步,记录量上升后再迁移。
抽查频率怎么定,发现记录缺失时怎么处理?
抽查频率可按使用量和风险级别设定:高级别记录按周期全量核对,中级别抽样核对,低级别按季度或半年统计即可。发现记录缺失时,先确认是流程没执行还是登记入口不方便,前者需要重申要求并补录,后者应简化字段或调整登记位置。连续多个周期同一环节缺失,说明规则与实际工作脱节,需要修订分级标准或流程步骤。
