很多大模型报告里，最容易让人安心的是一串高分：能力榜单接近满分，安全评测通过，红队攻击成功率下降。

但这篇《EvalSafetyGap》想追问一个更麻烦的问题：如果评测指标本身已经被优化、被污染、被选择，或者只覆盖了风险的一小块，那么分数变好到底说明模型更安全，还是说明它更会通过考试？

这不是一篇提出新防御算法的论文。它更像一张“安全评测失真地图”：把 benchmark 饱和、数据污染、LLM-as-judge 偏差、jailbreak 鲁棒性、reward hacking、机制可解释性和治理审计放在同一个框架里看。

• 论文
  ：EvalSafetyGap: A Hybrid Survey and Conceptual Framework for LLM Evaluation-Safety Failures
• 作者 / 机构
  ：Buğra Alperen Uluırmak（Erciyes University）、Rifat Kurban（Abdullah Gül University）
• 发表时间
  ：2026 年 6 月
• arXiv
  ：https://arxiv.org/abs/2606.30219

分数不是问题，问题是分数被当成目标

这篇论文最核心的直觉，其实可以用 Goodhart 定律来概括：当一个指标变成目标，它就会慢慢失去原本的测量意义。

在大模型评测里，这件事有两条线。

一条是能力评测线。模型在 MMLU、GPQA、各种 leaderboard 上越刷越高，但这些分数可能受到 benchmark 饱和、训练数据污染、提示格式敏感、题目覆盖不足影响。高分不一定等于真实任务能力稳。

另一条是安全对齐线。RLHF、拒答机制、安全分类器、红队评测也都是代理指标。它们想代表“模型在真实部署中是否安全”，但实际测到的可能只是某个攻击集、某个 judge、某个尝试次数预算下的表现。

EvalSafetyGap 说的“gap”，就是这两条线共享的测量裂缝：代理指标在变好，但它想代表的真实目标仍然不确定。

论文不是说所有评测都没用。更准确地说，它提醒我们：评测结果必须带着协议一起读。没有攻击预算、judge 设置、模型版本、数据来源和不确定性，一个安全分数很容易变成漂亮但脆弱的标签。

这张地图怎么切

作者采用的是 hybrid survey，也就是系统检索加叙事综合，再单独追踪模型卡、系统卡、组织安全报告这类灰色证据。

检索范围覆盖 2018 年 1 月 1 日到 2026 年 6 月 14 日。主流程里，作者从 237 条记录开始，去重后剩 188 条标题/摘要记录，最后有 58 篇 primary studies 进入叙事综合。另外还有 24 条灰色记录，其中 11 条用于前沿模型或治理语境。

它把文献分成八条证据流：

能力 benchmark 的有效性和饱和，污染与动态评测，LLM-as-judge 可靠性，安全评估和红队，jailbreak / refusal 鲁棒性，reward hacking 与代理优化，机制可解释性，以及治理和可审计性。

这张地图的价值在于，它没有把“安全失败”只理解成 jailbreak 成功，也没有把“评测失败”只理解成排行榜刷分。它把两者都当成代理测量问题：我们真正关心的是能力、真实危害、部署鲁棒性和可审计性，但手里拿到的往往是某个简化分数。

攻击预算会改变你看到的安全性

论文里最适合科普的一张图，是攻击次数预算。

这张图不是具体模型实验，而是数学示意。但它说明了一个很现实的评测坑：如果每次攻击只有 1% 成功率，听起来很低；可如果攻击者能尝试 100 次，累计成功概率就不再像“1%”那么安慰人。

更麻烦的是，真实攻击往往不是独立抽签。攻击者会根据失败结果改 prompt，换角度，换任务包装，甚至换 judge 漏洞。于是“单次 ASR”与“多次尝试下的暴露面”测的是两个问题。

所以作者反复强调：安全报告不能只写一个攻击成功率。它至少要说明攻击生成器、judge、停止规则、尝试次数、turn 数、模型版本和不确定性。否则不同论文里的 ASR 数字看起来都叫 ASR，实际上可能不是同一种测量。

这个提醒很工程化，也很重要。因为很多安全争论并不是“模型 A 比模型 B 安全多少”，而是双方拿着不同攻击预算、不同评测协议，在比较两个不相干的数字。

十个模型审计：别急着把它读成排行榜

论文还做了一个 exploratory ten-model audit。这里要先说清楚：作者自己不把它当排行榜，而是当“诊断示例”。

他们选了 10 个系统，分成 4 个 provider-controlled 系统和 6 个 open-weight 系统。每个模型有 7 个归一化指标：

能力、单次 ASR 鲁棒性、100 次尝试 ASR 鲁棒性、sycophancy resistance、隐私保护、透明度、可审计性。

其中 Core Safety 是四个行为指标的均值，Governance 是透明度和可审计性，Composite Safety 则把六个非能力指标都平均进去。

这套拆法很关键。因为“安全”如果混成一个总分，读者很难知道分数来自真实行为更稳，还是来自披露更充分。

作者用 Table 3 的四舍五入数据重新计算后，能力与 100 次攻击预算下鲁棒性的 Pearson 相关是 r = +0.232，p = 0.520，n = 10，95% 置信区间是 [-0.530, 0.741]。

这句话翻译成人话就是：在这 10 个模型里，能力越高是否意味着持续抗攻击能力越强，看不出来。区间宽到既容得下负相关，也容得下正相关。最诚实的结论不是“能力和安全无关”，也不是“能力越强越安全”，而是“现有公开证据还不够约束这个问题”。

这点我觉得是全文最值得保留的克制。很多论文会忍不住把小样本画成趋势线。这里作者反而提醒读者：图能帮助发现测量问题，但不能替代共同协议下的大样本复现。

开源和闭源的差异，主要差在哪里

另一个容易被误读的地方，是 open-weight 和 provider-controlled 模型的差异。

如果看 Composite Safety，provider-controlled 组均值是 0.661，open-weight 组均值是 0.497，t 检验给出 p = 0.031，Cohen's d = 1.69。这个数字看起来像是“闭源更安全”。

但论文马上把它拆开。

Core Safety，也就是更偏行为表现的部分，差异较小，p = 0.075。ASR-100 这一项几乎没有组间差异：provider-controlled 是 0.335，open-weight 是 0.292，差距只有 0.043，p = 0.640。

真正拉开距离的是 Governance，也就是透明度和可审计性：provider-controlled 组均值 0.626，open-weight 组均值 0.358，gap = 0.268。

这就把问题从“谁天然更安全”改写成了“你把什么算进安全”。

如果你是部署团队，你可能更关心行为鲁棒性：模型被攻击时是否泄露、是否顺从恶意指令、是否过度讨好。 如果你是监管者或审计者，你会把透明度、可追溯性、独立评估条件也算进安全保障。

两种定义都有道理，但不能混着用。把治理披露和行为鲁棒性平均成一个总分，再把总分解释成“模型本体更安全”，这就是 EvalSafetyGap 想避免的推理跳跃。

论文还指出，这个组间差异对 Grok 4 很敏感。Grok 4 被归入 provider-controlled，但有 5 个基础指标是估计值，披露分也低。把它排除后，provider-controlled 组的多个差异会显著放大。这不是一个稳健结论，而是小样本、分类选择和估计数据共同作用下的警报。

它和已有工作的关系

这篇论文站在几条已有脉络上。

Goodhart 相关工作提供了代理指标失真的基础语言。Bowman 和 Dahl 对 LLM benchmark 的批评，主要关心 contamination、saturation、construct validity 和 evaluation gaming。HarmBench、StrongREJECT 等安全评测工作，则把 jailbreak 和拒答鲁棒性往标准化方向推进。

EvalSafetyGap 的增量不是发明了“指标会失真”这个观点，而是把能力评测和安全对齐两边的失真放到一张表里，并要求每次比较都说明：代理是什么，目标是什么，优化压力在哪里，外部目标如何测，哪些证据能反驳当前解释。

它提出的 Instability Decomposition 也是这个用途。里面包括优化压力、代理错配、测量或标注波动、评测证据量、训练到目标的分布偏移，以及模型和数据过程。作者非常小心地说，这不是定理，不是下界，也不保证单调关系。更像是一张实验设计检查表。

Alignment Trilemma 也类似。它把对齐方法拆成三个要测的维度：优化有效性、价值或构念保真度、稳健泛化。名字叫 Trilemma，但作者明确说它不是不可能性定理。它只是逼你问清楚：你到底优化了什么，怎么证明这个目标代表真实价值，又在什么分布 shift 和攻击下仍然成立。

我会怎么评价这篇

创新点：它的创新不在单个实验，而在整合视角。它把 benchmark validity、alignment failure、Goodhart、jailbreak、治理披露放到同一个“代理测量失真”框架里。这个框架对研究者和评测团队有用，尤其适合拿来审查安全报告里的指标链条。

可信度：文献综述部分比较扎实，但不是完整系统综述。作者自己也承认没有独立双人筛选，Scopus 和 Web of Science 不在计数源里，部分证据流依赖 citation chasing。十模型审计更应当被看成示范，不是结论。13/70 个基础指标是估计值，样本只有 10 个，公开协议也不统一。

可落地性：很高，但落地点不是“按它给模型排名”。更实用的做法是把它变成评测报告模板：每个安全指标都要写清楚版本、攻击预算、judge、attempt/turn 数、是否估计、来源协议、是否可复现；总分必须拆成行为安全、治理披露和审计条件。

我最喜欢这篇的一点，是它没有把所有不确定性包装成宏大理论。它反复提醒读者：有些图只能说明“这里值得复现”，不能说明“这里已经有定律”。

边界也很明显

这篇论文最大的局限，是它的经验部分还无法支撑强因果结论。

十个模型不是随机样本，open-weight 和 provider-controlled 也不是实验处理变量。开源模型更容易被外部攻击和机制检查，闭源模型可能有更多内部报告但更难独立复现。发现更多失败，有时代表更危险；有时也代表更可测试。

另外，Composite Safety 的定义本身带有决策取向。把透明度和可审计性纳入安全，是监管和 assurance 视角下合理的选择；但如果你要讨论模型行为本身，就必须把治理指标拿出来单独看。

最后，这篇论文没有解决“怎么构造一个真正统一的安全评测协议”。它更像在告诉大家：别急着统一成一个分数，先把你测到的东西拆清楚。

最该带走的一句话

EvalSafetyGap 最重要的提醒不是“排行榜不可信”，而是：

安全评测不能只问模型得了几分，还要问这个分数是怎么来的、代表什么、漏掉什么，以及在被优化之后还剩多少测量意义。

对研究者，这意味着要做版本锁定、共同协议、多攻击预算和外部目标验证。 对产品团队，这意味着不能把单次红队通过率当成部署安全承诺。 对监管者，这意味着能力阈值需要配上行为安全、治理披露和可审计性证据，但三者不能混成一个不透明总分。

分数当然还重要。只是从这篇论文之后，我们更应该把分数当作一条证据链的入口，而不是结论本身。