评估提案筛选机制是否有效，可以从三个层面入手：漏斗质量看各阶段提案数量、转化与停留时间是否合理；标准一致性看同类提案在不同评审人、不同批次下的评分与结论是否可比；决策可追溯性看每个结论能否回溯到提案材料、评分记录、评审意见和决策人。三层各设指标、数据口径和证据要求，再用同一时间窗的样本复算并交叉解读，避免把单一指标当成筛选有效性的全部证明。
要点总览（TL;DR）
- 评估提案筛选机制要分三层：漏斗质量看各阶段提案数、转化率与停留时长；标准一致性看同类提案评分离散度、评审人评分差与复议改判率；可追溯性看决策记录完整率、材料可回溯比例与决策周期。
- 三层指标必须使用同一时间窗、同一提案类型分层和同一阶段划分口径，否则交叉比对失去意义。
- 漏斗指标的分母统一取进入该阶段的提案数；一致性指标只在同一评分量表、同一评分维度内比较；可追溯性以字段完整性统计加抽样复核作为证据。
- 评估按确定样本、逐层计算、三层交叉比对、形成结论四步推进，每条结论标注证据强度。
- 转化率、评分一致性和记录完整率都不能单独证明筛选有效，需结合退回原因、准入后表现和样本量一起解读。
评估目标：判断筛选机制是否真的在起作用
评估对象是组合准入环节的筛选机制，即提案从提交、初审、评审到准入决策的完整过程。评估要回答三个问题：漏斗是否有效过滤了不适合推进的提案；筛选标准是否被不同评审人、不同批次一致执行；每个准入结论是否可追溯到具体材料和决策依据。单项目的立项授权、已准入项目之间的优先级排序，属于另外的管理环节，不在本次评估范围内。
把目标写成一份评估说明，至少包含三项内容：评估覆盖的提案类型与来源、评估时间窗、三个评估问题各自对应的判断标准。说明中还应写明本次评估不回答什么，例如不评价某个已准入项目的商业价值，也不替代单项目的立项审批。范围写清楚，后续取数才不会把不同环节的数据混在一起。
指标与范围：三层评估各看哪些指标
三层指标各自回答一个问题，定义、单位和统计范围需要在评估开始前固定下来，避免中途调整口径导致前后不可比。
| 评估层 | 指标 | 定义与单位 | 统计范围 |
|---|---|---|---|
| 漏斗质量 | 各阶段提案数 | 进入该阶段的提案数量，单位：件 | 同一时间窗内提交的提案 |
| 漏斗质量 | 阶段转化率 | 进入下一阶段的提案数 ÷ 进入本阶段的提案数，单位：% | 按提案类型分层统计 |
| 漏斗质量 | 平均停留时长 | 提案在本阶段停留的自然日之和 ÷ 本阶段提案数，单位：天 | 剔除撤回提案或单独统计 |
| 漏斗质量 | 退回与撤回数 | 被退回补充、由提交方主动撤回的提案数量，单位：件 | 按退回原因分类 |
| 标准一致性 | 同类提案评分离散度 | 同一类型提案评分的标准差或极差，单位：分 | 同一评分量表、同一评分维度 |
| 标准一致性 | 评审人之间评分差 | 同一提案多位评审人评分的最大差值或平均差值，单位：分 | 仅统计完成多评委评审的提案 |
| 标准一致性 | 复议改判率 | 复议后结论发生改变的提案数 ÷ 提起复议的提案数，单位：% | 统计周期内完成的复议 |
| 决策可追溯性 | 决策记录完整率 | 关键字段齐全的决策记录数 ÷ 决策记录总数，单位：% | 关键字段清单事先约定 |
| 决策可追溯性 | 材料与评分可回溯比例 | 抽样中能回溯到提案材料与评分记录的决策数 ÷ 抽样决策数，单位：% | 按提案类型分层抽样 |
| 决策可追溯性 | 决策周期 | 从提案提交到准入结论的平均自然日，单位：天 | 剔除中途撤回的提案 |
统计范围要同时约定三件事：时间窗按提交日期还是决策日期切分；提案来源按部门、业务线还是外部渠道划分；提案类型按投入规模、所属领域还是创新程度分层。范围一旦确定，三层指标都使用同一套划分，交叉比对才有意义。
数据口径与证据：每个指标从哪里取数
漏斗类指标的分母统一取进入该阶段的提案数，而不是提交总数。阶段划分口径要事先写清，例如提交、初审通过、评审完成、准入决策四个节点，每个节点以什么动作作为进入标志。同一提案被退回后重新提交，按一次提案还是多次流转统计，需要在口径中明确；常见做法是以提案编号为主键，退回重提计为同一提案的多次流转，不重复计入提交数。
一致性指标只有在同一评分量表、同一评分维度下才可比。如果不同批次使用了不同量表或不同权重，需要先做换算或只比较同一量表内的数据。评审人之间评分差只统计完成多评委评审的提案，单人评审的提案不进入该指标。复议改判率的分母是提起复议的提案数，不是全部提案数，两者不能混用。
可追溯性以两类证据支撑：一是决策记录字段完整性统计，关键字段包括提案材料版本、评分记录、评审意见、决策人和决策日期；二是抽样复核，从每个提案类型中抽取一定数量决策，逐条核对能否从结论回溯到上述材料。字段完整率是定量证据，抽样复核是定性证据，两者结合才能说明追溯链条是否真正可用。
缺失值和特殊情况需要预先约定处理规则：关键字段缺失的决策记录计入不完整，不做事后补填；重复提交的提案按主键去重；跨期提案以提交日期归入时间窗，决策发生在窗口外的单独标注，不强行并入当期转化率。
计算与评估步骤：从取数到形成判断
评估按以下步骤推进，每一步都保留分子、分母和样本清单，便于他人复算。
- 确定时间窗与样本。选择一个完整季度或半年作为窗口，按提案类型分层，每层抽取足够数量的提案，样本过少的类型单独标注。
- 逐层计算指标。漏斗指标按阶段顺序计算转化率与停留时长；一致性指标按提案类型计算评分离散度和评审人差值；可追溯指标先算字段完整率，再做抽样复核。
- 三层交叉比对。把漏斗转化率、评分离散度、记录完整率放在同一张表里观察组合。例如某类提案转化率很高但评分离散度也很大，可能说明评审标准在该类提案上执行不一致；转化率低而记录完整率高，则更可能是标准偏严而非流程失控。
- 形成结论与待改进点。每条结论标注证据强度：有完整分子分母和抽样复核支撑的为强证据，仅凭单指标观察的为弱证据，样本过小的标注为待观察。
评估过程中产生的提案记录、评分表和决策记录，如果分散在邮件、表格和会议纪要里，取数成本会很高。ONES 效能管理可以自动收录系统内日常流转的研发数据并形成分析指标，支持多维度、自定义的分析，适合把提案流转和评审记录沉淀在同一系统中后做周期性复算；预置的仪表盘模板可供管理人员和项目经理直接查看。需要说明的是，提案评审打分与准入决策留痕的具体字段配置，需要结合团队实际流程在系统中约定。
例子：一个季度的提案筛选评估怎么算
以下为演示情景，数据为示例，不代表任何组织的实际水平。某季度共收到提案 120 件，按四个阶段统计：提交 120 件，初审通过 84 件，评审完成 60 件，准入决策通过 36 件。初审转化率为 84÷120＝70%，评审完成转化率为 60÷84≈71.4%，准入通过率为 36÷60＝60%。平均停留时长方面，初审阶段合计 240 个自然日，平均 2 天；评审阶段合计 480 个自然日，平均 8 天。退回补充 18 件，撤回 6 件。
一致性方面，抽取同一类型的 20 件提案，每件由 3 位评审人打分，满分 100 分。该类型评分标准差为 9.5 分，同一提案三位评审人的最大差值平均为 14 分，其中 4 件差值超过 20 分。本季度提起复议 8 件，改判 3 件，复议改判率为 37.5%。
可追溯性方面，本季度决策记录 60 条，关键字段齐全 51 条，完整率 85%。按类型分层抽取 15 条决策复核，能完整回溯到提案材料版本、评分记录和评审意见的有 12 条，可回溯比例 80%。决策周期从提交到结论平均 21 天。
从这组数据可以得出几条初步判断：评审阶段平均停留 8 天、评审人评分最大差值平均 14 分，说明评审环节既耗时又存在标准执行差异，值得优先检查评分维度和评审人培训；记录完整率 85%、可回溯比例 80%，意味着约五分之一的决策在复核时缺少完整依据，需要补齐字段要求。局限也很明显：单季度样本量有限，复议仅 8 件，改判率的波动区间较大，不宜据此直接下结论。
解读与限制：指标能说明什么、不能说明什么
转化率高低受提案质量分布影响，不能单独用来判定筛选严格程度。提案整体质量高时，高转化率可能说明筛选顺畅；提案质量参差时，同样的转化率可能意味着过滤不足。判断时需要结合退回原因分布和准入后表现一起看。
评分一致不等于标准正确。评审人打分接近，可能说明大家对标准的理解一致，也可能说明标准本身过于宽松或过于笼统。要验证标准是否有效，需要把准入后的项目表现与当时的评分做对照，观察高分提案是否确实推进得更顺利。
可追溯性完整不代表决策质量高。记录齐全只说明决策有据可查，不说明决策本身合理。追溯性的价值在于让复核和复盘成为可能，它是决策质量的前提条件，而非结论。
几种情况需要特别处理：某阶段分母为零时，转化率不计算，标注为无数据；样本量过小（例如某类型提案不足 10 件）时，比率类指标只作参考，不与其他类型横向比较；跨期提案无法归入同一时间窗时，单独列出，不并入当期指标。把这些边界写进评估说明，结论才经得起复核。
常见问题
提案数量少、样本不足一个季度时，这套评估还能做吗？
可以做，但要调整结论的表述方式。样本量小的时候，比率类指标（转化率、改判率、可回溯比例）的波动区间会明显变大，此时更适合看绝对数量和具体案例，而不是把比率与其他类型或往期横向比较。建议把评估周期拉长到两个季度以上再计算比率，或者把提案类型合并到更粗的分层，让每层至少有十件以上的样本。样本仍然不足的类型，单独列出并标注为待观察，不强行给出结论。
评审人评分差异大，应该先改评分量表还是先做评审人校准？
先判断差异的来源。如果同一提案在不同评审人之间的差值集中出现在某一两个评分维度上，通常说明该维度的定义模糊，优先细化评分维度和评分说明；如果差异分散在各个维度，更可能是评审人对标准的理解不一致，优先做评审人校准，例如用同一批历史提案做集体打分练习并对比结果。两种动作可以并行，但量表调整会影响历史数据的可比性，调整前应保留旧量表下的评分记录，避免前后数据无法对照。
决策记录字段完整率达到多少才算合格？
没有通用的合格线，阈值应由组织根据自身风险承受能力设定。可行的做法是先明确哪些字段是决策复核不可缺少的，例如提案材料版本、评分记录、评审意见、决策人和决策日期，再以这些字段的完整率作为基线，观察连续几个周期的变化趋势。比起追求某个具体百分比，更值得关注的是缺失集中在哪些字段、哪些提案类型，以及缺失是否导致复核时无法还原决策依据。
漏斗转化率和评审一致性指标出现矛盾时，应该相信哪个？
两个指标回答的是不同问题，出现矛盾恰恰是需要进一步核查的信号，不宜二选一。例如某类提案转化率很高但评分离散度也很大，可能说明该类提案的评审标准执行不一致，部分提案在标准模糊的情况下被放行；转化率低而评分离散度小，则可能是标准偏严但执行统一。此时应回到具体提案，抽取若干条决策复核评分记录和评审意见，看结论与评分是否匹配，再判断问题出在标准本身还是执行环节。
提案在系统中流转的数据分散在多个工具里，评估取数成本很高，有什么办法降低？
核心是把提案提交、评审打分和准入决策留痕收敛到同一套记录中，让提案编号成为贯穿各阶段的主键。ONES 效能管理可以自动收录系统内日常流转的研发数据并形成分析指标，支持多维度、自定义的分析，并提供预置的场景化仪表盘模板；提案评审打分与准入决策留痕的具体字段配置，需要结合团队实际流程在系统中约定。数据集中后，周期性复算只需按固定口径取数，不必每次从邮件和表格中重新收集。
