评估AI跨工作项操作的准确率，关键是把一次操作拆成可核对的单元，分别统计字段、动作和端到端结果，再用统一分母和人工复核记录保证可复算。本文给出一套适用于批量改状态、跨项目关联、父子项联动等场景的指标口径与计算步骤，并说明结果如何解读。
要点总览（TL;DR）
- 把一次跨工作项操作拆成目标定位、字段值、动作类型、关联关系四类操作单元，逐项核对后再汇总，避免一个请求只给一个对错结论。
- 分三层口径统计：字段级准确率、动作级准确率、端到端成功率，另设误操作率反映错误造成的实际影响。
- 分母统一为进入评估集的全部操作请求，包含失败、中断和放弃的请求；剔除样本需登记原因和数量，保证分母可还原。
- 多字段、多动作请求同时给出分字段报告和按字段加权结果，并与按请求等权的端到端成功率并列呈现。
- 准确率反映执行一致性，不同操作类型、评估集和时间窗之间不可直接比较，报告时需附样本量、操作类型和错误类型分布。
评估目标：准确率要回答哪几个问题
评估对象是一次跨工作项操作请求从识别到执行的结果，例如“把A、B两个项目里这五个需求的状态改为已完成，并关联到同一个父项”。准确率评估要回答三个问题：AI识别出的目标工作项和字段值对不对；它执行的动作类型和落点对不对；最终结果能否不经修改直接采用。这三个问题对应识别、执行、结果三层口径，需要分开统计。
评估边界需要提前说清。确定性规则自动化（如固定条件触发状态流转）的可靠性由规则配置和测试保证，不属于本文的AI准确率范畴；接口连接失败、权限配置错误、网络超时属于系统可用性问题，应单独统计为执行失败原因，不与AI判断错误混在一起。把这三类问题分开，准确率数字才能指向真正需要改进的环节。
评估目标清单可以写成：确认AI在目标定位、字段值识别、动作执行、关联关系四个环节的正确比例；识别高频错误类型；判断结果能否直接进入业务流程；为后续提示词、上下文或流程设计提供依据。评估不承担证明业务收益的任务，也不用于给单个模型打通用分数。
指标与范围：操作单元怎么拆、指标怎么定
统计的最小单位是操作单元。一次跨工作项请求可拆成四类单元：目标工作项定位（要改哪些项）、字段值识别（改成什么）、动作类型（改状态、改负责人、建关联等）、关联关系（与哪个父项、哪个项目关联）。每个单元单独核对，避免一个请求只给一个“对/错”的粗结论。
指标定义如下表，分母统一为进入评估集的操作请求或应变更单元总数，单位均为百分比。
| 指标 | 计算口径 | 回答的问题 |
|---|---|---|
| 字段级准确率 | 正确字段数 ÷ 应变更字段总数 | 字段值识别是否准确 |
| 动作级准确率 | 正确动作数 ÷ 应执行动作总数 | 动作类型与落点是否正确 |
| 端到端成功率 | 完全正确请求数 ÷ 请求总数 | 整次操作能否直接采用 |
| 误操作率 | 产生非预期变更的请求数 ÷ 请求总数 | 错误是否造成实际影响 |
统计范围要在评估前固定：纳入哪些工作项类型（需求、缺陷、任务）、哪些操作类型（批量改状态、跨项目关联、父子项联动、批量指派）、哪些项目或空间。范围一旦确定，评估期间不随意增删，否则前后批次数字不可比。范围外的操作单独记录，不混入主口径。
数据口径与证据：分母、时间窗和复核记录
分母是进入评估集的全部操作请求，包括执行成功、执行失败、被人工中断和主动放弃的请求。失败和放弃的请求同样消耗了用户操作，若从分母中剔除，准确率会被系统性抬高。确需剔除的样本（如请求原文缺失、无法判定预期结果）要单独登记剔除数量和原因，保证分母可还原。
时间窗按批次划分，例如以一周或一个迭代为一个批次，每批固定样本量或固定抽样比例。跨批次比较时保持操作类型构成一致，否则某一类简单操作占比升高会拉高整体数字。评估集建议按操作类型分层抽样，每层记录样本数。
人工复核记录是准确率可核验的基础，每条请求至少记录以下字段：
- 请求原文与提交人、提交时间；
- AI解析结果：目标工作项、字段值、动作类型、关联对象；
- 实际执行结果：操作前后状态、被修改的工作项清单；
- 判定：正确、部分正确、错误；
- 错误类型：目标定位错误、字段值错误、动作类型错误、关联关系错误、权限拦截、执行成功但结果不可用；
- 复核人与复核时间。
无法判定的样本（如预期结果本身存在歧义）标记为“不可判定”，单独计数，不计入分子，是否计入分母需在口径说明中写明并保持前后一致。评估集构建和复核记录可以放在研发管理平台中承载：操作前后的工作项状态、字段变更和关联关系本身就在工作项记录里，复核人可直接对照；ONES Assistant 在 ONES 中执行操作并将结果保存为工作项等内容，其输出过程可追踪、结果可审计，可作为复核证据的来源之一，具体记录字段与保留方式需按团队实际配置确认。
计算步骤：从逐条核对到汇总公式
计算分四步，每一步都留下可复算的中间数。
第一步，逐条核对。对评估集中每条请求，按目标定位、字段值、动作类型、关联关系四类单元逐项标注正确或错误，并记录错误类型。部分正确的请求在单元层面拆开计，不整体记为错误。
第二步，计算字段级准确率：字段级准确率 = 正确字段数 ÷ 应变更字段总数 × 100%。应变更字段总数指按预期结果本应被修改的字段个数，多字段请求按字段累加。
第三步，计算动作级准确率：动作级准确率 = 正确动作数 ÷ 应执行动作总数 × 100%。动作包括状态变更、负责人变更、建立关联、创建子项等，每个动作单独计数。
第四步，计算端到端成功率与误操作率：端到端成功率 = 完全正确请求数 ÷ 请求总数 × 100%；误操作率 = 产生非预期变更的请求数 ÷ 请求总数 × 100%。完全正确指该请求所有单元均正确且结果可直接采用。
多字段、多动作请求不能只报一个整体数字。推荐同时给出分字段报告和按字段加权的结果：字段多的请求在字段级指标中权重自然更高，而端到端成功率按请求等权，两者并列呈现，可以看出一处小错是否集中在少数复杂请求上。若某类操作字段数差异很大，可在汇总时按操作类型分层报告，不做跨类型合并。
例子：一次批量跨项目改状态的评估演算
以下为演示情景，数字仅用于说明计算方式。某批次评估集共20条跨工作项操作请求，其中“批量改状态并补充关联”类请求5条。取其中一条：把项目甲的两个需求、项目乙的三个需求状态改为“已完成”，并为这五个需求建立与父项“版本V2”的关联。
该请求的应变更单元为：目标工作项5个、状态字段5个、关联关系5个，共15个字段级单元；动作层面为5次状态变更加5次关联建立，共10个动作。复核结果：目标定位5个全对；状态字段4个正确，项目乙中一个需求被误改为“已关闭”；关联关系5个全对，但其中一个关联挂到了错误的父项下。逐条核对后，该请求判定为部分正确，结果不可直接采用。
按公式计算该请求：字段级正确数13 ÷ 15 = 86.7%；动作级正确数8 ÷ 10 = 80%；端到端计为0（未完全正确）；该请求产生了2处非预期变更，误操作计1次。
汇总该批次5条同类请求：应变更字段共62个，正确55个，字段级准确率88.7%；应执行动作共41个，正确35个，动作级准确率85.4%；完全正确请求2条，端到端成功率40%；产生非预期变更的请求3条，误操作率60%。分字段报告显示错误集中在“状态值”和“父项关联”两类，可据此定位改进方向。
样本过少时不给百分比结论。若某类操作在批次内只有2至3条请求，只做定性描述，例如“3条请求中2条完全正确，1条关联对象错误”，并注明样本量。分母为零的操作类型不计算比率，在报告中标注“本批次无样本”。
解读与限制：准确率能说明什么、不能说明什么
准确率反映AI执行与预期结果的一致程度，是流程可靠性的一个侧面。它不直接等于业务价值：准确率提升是否带来返工减少、流转加快，需要结合人工修正耗时、操作量等数据另行观察。把准确率当作唯一绩效指标，容易诱导团队只挑选简单操作进入评估集。
不同操作类型、不同评估集、不同时间窗之间的数字不可直接横向比较。批量改状态的字段结构简单，跨项目关联涉及对象更多，两者准确率天然不同；评估集构成变化也会改变整体数字。对外沟通时应同时说明操作类型、样本量和时间窗。
样本量小、场景覆盖不足时，准确率只能作为方向性参考。评估集若只覆盖顺利路径，未包含目标名称相似、跨项目重名、权限受限等边界情况，得到的数字会偏乐观。建议在评估集中保留一定比例的边界样本，并单独报告其表现。
错误类型分布比单一数字更有指导意义。目标定位错误、字段值错误、关联关系错误对应的改进动作不同：前者可能需要更明确的筛选条件，后者可能需要更完整的上下文。报告准确率时附上错误类型计数和典型样本，读者才能判断下一步该改什么。
常见问题
评估集里应该放多少条请求，样本量多少才够下结论？
没有通用的样本量门槛，取决于操作类型的复杂度和团队对误差的容忍度。可操作的做法是按操作类型分层，每层先保证能覆盖典型场景和边界情况（目标名称相似、跨项目重名、权限受限等），再逐步累积批次。某类操作在一个批次内只有两三条请求时，只做定性描述并注明样本量，不给出百分比结论；分母为零的操作类型标注“本批次无样本”。跨批次比较时保持各层样本构成一致，否则简单操作占比升高会拉高整体数字。
AI执行失败或用户中途取消的请求，要不要计入准确率分母？
计入。失败、被人工中断和主动放弃的请求同样消耗了用户操作，从分母中剔除会系统性抬高准确率。正确做法是把它们保留在分母里，同时在复核记录中标注失败原因：属于AI判断错误的计入错误，属于权限拦截、接口超时、网络异常等系统问题的单独归类统计，不与AI判断错误混算。确实无法判定的样本（如请求原文缺失、预期结果本身有歧义）单独登记剔除数量和原因，保证分母可以还原。
一次请求改了多个字段，有的对一个的错，这条请求算正确还是错误？
在单元层面拆开计，不整体记为错误。字段级和动作级指标按单元累计，部分正确的请求贡献部分正确数；端到端成功率按请求等权，只有所有单元均正确且结果可直接采用才计为完全正确。这样同一条请求会同时出现在两个口径里：它在字段级指标中贡献了大部分正确数，在端到端指标中计为0。两个数字并列呈现，才能看出一处小错是集中在少数复杂请求上，还是普遍存在。
复核记录需要保留哪些内容，才能让准确率事后可复算？
每条请求至少保留：请求原文与提交人、提交时间；AI解析出的目标工作项、字段值、动作类型和关联对象；操作前后的实际状态与被修改的工作项清单；判定结果（正确、部分正确、错误）；错误类型；复核人与复核时间。操作前后的工作项状态和字段变更本身就在工作项记录里，复核人可直接对照。ONES Assistant 在 ONES 中执行操作并将结果保存为工作项等内容，其输出过程可追踪、结果可审计，可作为复核证据的来源之一，具体记录字段与保留方式需按团队实际配置确认。
准确率算出来之后，怎么判断该先改哪里？
看错误类型分布，而不是只看总数。目标定位错误通常指向筛选条件或指代描述不够明确；字段值错误多与取值枚举、状态命名相近有关；关联关系错误往往需要更完整的上下文，比如父项所在项目、版本范围。把错误按类型计数并附上典型样本，再对照各类型对应的改进动作，优先级自然浮现。同时留意错误是否集中在少数复杂请求上：如果端到端成功率低但字段级准确率高，说明问题出在多单元组合场景，改进重点应放在复杂请求的解析与确认环节。
