AI操作审计怎么做:记录范围、流程与检查清单

AI操作审计的核心,是把“谁在什么场景下对AI做了什么、产生了什么结果”变成可追溯的记录,再配套分级、留痕、复核和定期抽查。本文按审计对象与分级、字段与事件类型、角色分工、流程嵌入、记录示例和完成检查六个部分展开,范围限定在AI使用治理,不涉及全平台权限治理和模型训练治理。



要点总览(TL;DR)


  • AI操作审计先划定四类对象——工具使用、提示词与输入数据、生成结果、对外发布动作,再按数据敏感度与影响面分三级,用级别决定记录强度。
  • 字段以操作人、时间、工具与版本、任务目的、输入摘要、使用去向为核心,输出摘要和复核人按级别必填;事件类型至少区分常规使用、敏感数据输入、对外发布、异常投诉。
  • 使用者提交记录、复核人确认敏感与对外场景、治理角色定规则并抽查、留档角色保证可检索,四类角色各有明确交付物。
  • 落地按使用前登记、使用中记录、敏感场景复核、结果归档四步执行,每步都有输入、动作、输出和完成标志。
  • 机制是否可用,用覆盖、质量、运行、改进四组检查项逐条核验,任一项给不出判定依据就回到对应环节补齐。


AI操作审计先审什么:对象、边界与分级


AI操作审计的第一步是划定范围。范围过宽会把所有系统日志都卷进来,范围过窄则关键行为没有记录。建议先把AI使用行为拆成四类审计对象,再按数据敏感度和影响面分级,用分级结果决定记录强度。


四类审计对象


  • AI工具使用:使用了哪个工具、哪个版本、哪个模型入口,是个人账号还是团队统一入口。
  • 提示词与输入数据:任务目的、输入内容摘要、是否包含客户数据、代码、个人信息或未公开的经营数据。
  • 生成结果:输出被用于什么用途,是参考、改写后采用,还是直接对外使用。
  • 对外发布动作:结果是否进入对外文档、客户交付物、公开渠道内容或正式代码库。

与其他治理工作的边界


AI操作审计关注“使用行为是否可追溯、是否经过必要复核”,与另外两类治理分工如下:全平台权限与账号安全治理负责账号开通、权限授予和登录安全,审计只需引用账号标识;模型训练与微调治理负责训练数据来源、模型变更和评测,审计只需记录使用了哪个模型版本。边界写清楚,可以避免同一份记录被要求承担多种用途。


按敏感度与影响面分级


级别 典型场景 记录要求
低 公开资料整理、措辞润色、内部头脑风暴 登记使用人、工具、用途,结果不强制复核
中 内部文档起草、代码辅助、会议纪要生成 完整字段记录,团队负责人知晓,输出摘要留存
高 含客户数据、个人信息、未公开经营数据的输入;结果对外发布或进入交付物 完整字段记录,使用前登记,使用后复核,归档可检索

分级表要落到具体场景,避免只写“高敏感”这类抽象描述。完成标志是:团队能对着表判断一次使用属于哪一级,并知道该级别需要哪些记录。



审计字段与事件类型怎么定


字段决定记录能不能查、能不能比、能不能追责。字段太少无法还原过程,字段太多则填写负担过重、记录质量下降。建议先定核心字段,再按分级决定必填范围。


核心字段清单


字段 说明 填写要求
操作人 账号标识与所属团队 必填
操作时间 使用发生的时间段 必填
AI工具与版本 工具名称、模型或版本标识 必填
任务目的 一句话说明要解决什么问题 必填
输入摘要 输入内容类型与敏感度说明,不要求全文粘贴 必填
输出摘要 生成结果的关键结论或用途说明 中高级必填
使用去向 内部参考、进入文档、对外发布、进入代码库等 必填
审批或复核人 敏感或对外场景的复核责任人及结论 高级必填
附件或链接 原始记录、发布物或工单的存放位置 选填

事件类型


事件类型用于分类检索和统计,建议至少区分四类:常规使用、敏感数据输入、结果对外发布、异常或投诉。每类事件对应不同的复核要求和处置路径,例如异常或投诉类事件需要记录处置结论和关闭时间。


脱敏与留存原则


输入摘要记录内容类型和敏感度,避免把客户数据、个人信息原文复制进审计记录。留存期限按数据级别设定:低级别记录保留较短周期用于统计,高级别记录保留到对应项目或合同周期结束后一段时间,具体期限由组织根据合规要求确定。完成标志是字段表经过一次试填,确认填写耗时可以接受、关键信息没有遗漏。



角色分工与各环节交付物


审计机制能否运行,取决于每个环节是否有人负责、有明确产出。建议至少区分四类角色,并把交付物写进各自的日常工作中,而不是另设一套流程。


角色 职责 交付物
使用者 按分级要求提交使用记录,说明结果去向 一条完整的审计记录
团队负责人或复核人 确认敏感场景的输入范围,复核对外发布内容 复核意见与结论
治理或安全角色 制定字段与分级规则,组织抽查,处置异常 规则文档、抽查报告、异常处置记录
审计留档 维护归档位置与检索方式,保证记录可查 可检索的归档目录或记录库

复核人应由熟悉业务内容的人担任,治理角色负责规则和抽查,两者分开可以避免自己审自己。归档位置要统一,按团队、时间或项目建立检索维度,保证抽查时能快速取到记录。


当记录量增加后,用表格或文档分散存放会带来检索困难。ONES 的工作项和文档能力可以把一次AI使用登记为工作项,把复核意见、发布物链接和处置结论挂在同一处,按状态区分待复核、已复核和已归档,抽查时按字段筛选即可。这套承载方式适合已有工作项管理习惯的团队,规模较小的团队用统一表格也能起步。



把审计嵌入AI使用流程的操作步骤


审计要嵌入实际使用流程,而不是事后补录。以下四步给出每步的输入、动作、输出和完成标志,可按团队情况裁剪。


步骤一:使用前登记任务目的与数据范围


输入是任务说明和拟使用的数据;动作是判断分级、填写任务目的与输入摘要;输出是一条待执行的登记记录;完成标志是分级已判定、敏感数据是否涉及已明确。


步骤二:使用中记录工具、输入与关键输出


输入是实际使用的工具和对话过程;动作是补充工具与版本、记录关键输出摘要;输出是字段完整的记录;完成标志是核心必填字段无空缺。


步骤三:敏感或对外场景触发复核


输入是标记为高级别的记录;动作是提交复核人确认输入范围和输出可用性;输出是复核意见与结论;完成标志是复核人给出明确结论,未通过的有修改记录。


步骤四:结果归档并标注去向


输入是复核通过的记录和最终产物;动作是标注使用去向、附上产物链接、移入归档;输出是可检索的归档记录;完成标志是记录状态为已归档,抽查时能按去向检索到。


步骤 输入 动作 输出 完成标志
使用前登记 任务说明、数据范围 判定分级、填写目的与输入摘要 待执行记录 分级与敏感数据判定完成
使用中记录 工具与对话过程 补充工具版本与输出摘要 字段完整记录 必填字段无空缺
触发复核 高级别记录 提交复核并记录结论 复核意见 结论明确、修改可查
归档标注 复核通过记录与产物 标注去向、附链接、归档 归档记录 状态为已归档、可按去向检索


示例:一次敏感数据场景的审计记录


以下为演示情景,用于说明字段如何填写,不代表真实案例。


场景设定:某研发团队成员用AI工具整理一份包含客户反馈原文的需求分析草稿,草稿将发给客户确认。输入含客户名称与反馈原文,结果对外发送,判定为高级别。


填写后的字段示例


  • 操作人:研发部某成员,所属项目组A
  • 操作时间:某工作日上午
  • AI工具与版本:团队统一入口的对话工具,记录模型版本标识
  • 任务目的:将客户反馈归类为需求条目,形成需求分析草稿
  • 输入摘要:客户反馈原文,含客户名称,属客户数据
  • 输出摘要:归类后的需求条目若干,附原文引用
  • 使用去向:对外发送给客户确认
  • 复核人:项目负责人

复核动作与结论记录


复核人核对输出是否逐条对应原文、是否出现原文没有的推断,确认客户名称在对外版本中已按约定处理,结论为“修改后通过”,并记录修改点。复核意见与结论写入同一条记录,便于后续追溯。


归档与抽查线索


记录归档时附上对外发送版本和修改记录,标注去向为“客户交付物”。抽查时可从“对外发布”事件类型中抽取记录,核对复核意见是否与最终版本一致。这条线索也说明:分级判定发生在使用前,复核发生在对外发送前,归档发生在发送后,三个时间点都能在记录中找到。



完成检查:审计机制是否可用的核对项


机制建成后,用以下清单逐项判断,每项给出可核验的判定方式。


覆盖检查


  • 关键场景是否都有记录:抽取近期对外发布物和客户交付物,核对是否都能找到对应审计记录。
  • 分级是否实际使用:统计各等级记录数量,若高级别长期为零而业务中确有敏感使用,说明分级判定没有执行。

质量检查


  • 字段完整率:抽样计算必填字段的填写完整比例,空缺集中在哪些字段。
  • 脱敏合规:检查输入摘要中是否出现客户数据或个人信息原文。

运行检查


  • 复核是否实际发生:核对高级别记录的复核人、结论和时间是否齐全,结论是否具体。
  • 异常是否有处置闭环:抽取异常或投诉类事件,确认有处置结论和关闭时间。

改进检查


  • 抽查频率是否执行:按既定周期统计抽查次数与覆盖范围。
  • 规则是否更新:工具版本、事件类型和分级标准是否随实际使用情况调整,调整是否有记录。

清单中任何一项无法给出判定依据,说明该环节还缺少可核验的产物,应回到对应章节补齐记录或规则,再进入下一轮抽查。



常见问题


团队规模小、AI使用量不大,审计记录可以简化到什么程度?


可以先保留最小可用集合:操作人、时间、工具与版本、任务目的、输入摘要、使用去向六项,复核只对含客户数据、个人信息或对外发布的场景执行。分级表可以只保留中、高两级,低风险使用合并登记。简化的是字段数量和复核范围,分级判定和归档检索这两个动作建议保留,否则后续抽查没有依据。


审计记录里要不要保存完整的提示词和AI输出原文?


通常不建议。输入摘要记录内容类型和敏感度,输出摘要记录关键结论与用途,原文放在原有业务载体中,通过链接关联。完整原文进入审计记录会扩大敏感数据暴露面,也增加留存成本。确有需要还原过程的场景,可在受控位置保存原文并限制访问,审计记录只保留指向它的链接和访问说明。


复核人应该由谁担任,和治理角色能不能是同一个人?


复核人建议由熟悉业务内容的人担任,例如项目负责人或领域负责人,负责判断输入范围是否合适、输出是否可用。治理或安全角色负责规则制定、抽查和异常处置。两者分开,可以避免自己审自己,也让复核结论具备业务判断力。团队人数很少时可由上级兼任复核,但抽查仍应由不参与日常复核的人执行。


审计记录和现有的工单、需求、文档系统怎么衔接?


把一次AI使用登记为一条工作项,复核意见、发布物链接和处置结论挂在同一条记录上,用状态区分待复核、已复核和已归档,是常见的衔接方式。ONES 的工作项与文档能力支持这种承载方式,抽查时按字段筛选即可取到记录。已有统一表格习惯的团队也可以先用表格起步,记录量上升后再迁移。


抽查频率怎么定,发现记录缺失时怎么处理?


抽查频率可按使用量和风险级别设定:高级别记录按周期全量核对,中级别抽样核对,低级别按季度或半年统计即可。发现记录缺失时,先确认是流程没执行还是登记入口不方便,前者需要重申要求并补录,后者应简化字段或调整登记位置。连续多个周期同一环节缺失,说明规则与实际工作脱节,需要修订分级标准或流程步骤。