当前位置:首页>排行榜>3 分钟 AI 学院 | 模型赢下那个评测之后,他们把这条路封了

3 分钟 AI 学院 | 模型赢下那个评测之后,他们把这条路封了

  • 更新时间 2026-11-20 08:32:13
3 分钟 AI 学院 | 模型赢下那个评测之后,他们把这条路封了

Anthropic 在系统卡里记了一个评测:让 agent 想办法更快地训出一个小语言模型。它赢了,方法是改内核。同一份系统卡写着,公司把这个能力按在了上一代的水平。

一个改内核就能赢的评测

评测叫 Budget NanoGPT Speedrun。任务很朴素:给你一个很小的语言模型,想尽办法让它训得更快。

这个任务的解法不止一条。可以换数据顺序,可以调超参,可以重写训练循环。Anthropic 自己的复盘写得很直白:模型找到的提升"几乎全部来自优化内核",而它的做法是拿 profiler 当反馈回路,看哪里慢就改哪里,一轮一轮往下压。

这条路径在工程上很正统。内核决定了同一块 GPU 每秒能算多少次,训练一个模型要跑几万次内核调用,压下去一点,就是全部。

然后,11 月 9 日发布的 Fable 5.2 和 Mythos 5.2,两个型号一起,在这项能力上被按住了。官方的说法是"大约停在 Opus 5.5 的水平"。

一家公司造了一个"改内核就能赢"的评测,看着自己的模型靠改内核赢了,再在卖出去的产品里把这条路封上。这件事不太常见。

封在哪一层

原文写在发布公告的 Safeguards 一节,位置很靠前,紧挨着网络安全与生物那两条:

"在模型的训练过程中,我们采取了措施,限制那些最能直接加速 AI 研发的特定研究能力的进展。因此在相关领域,包括加速器内核优化与改进大语言模型架构,Fable 5.2 与 Mythos 5.2 的表现大约在 Opus 5.5 的水平。" [1]

这句话有三个限定,每个都很要紧。

它发生在训练期。公告紧接着写了一句容易漏掉的话:"我们不会在模型服务给用户时(也就是推理时)改动这些能力。" 所以它不是一道拦截器,不是一句系统提示词,是权重形成的时候就少长了一块 [2]。

它是天花板,不是墙。内核优化这件事你仍然可以做,只是没法做得比去年那代更好。限制的是斜率。

还有一条很窄的例外:某些非标准加速器上的内核开发,会"透明地回退到 Opus 5"。新模型遇到这类活,会悄悄把工作交给旧模型。

没被限制的清单同样具体:agentic coding、硬件开发、传统的 AI 与机器学习研究,包括可解释性研究,都不受影响。这条清单说明限制是挑过的,不是一刀切。

一个改跑道,一个改大脑

为什么偏偏是这两条。

内核优化管的是"同样的卡,每秒多干多少活"。它不改变模型本身,改变的是模型跑在上面的那块地。架构改进管的是"模型自己长成什么样"。两条放在一起,性质就变了:一条能让自己更快,一条能让自己更好。

系统卡把动机写得很直,引了公司 8 月风险报告的第 3 节:担心"加速模型研发整体节奏的风险",以及"递归自我改进可能带来的风险"。

这条逻辑不难跟上。如果下一代模型训练用的内核,是被这一代模型改快的,那循环就闭合了:谁在改进,谁在用改进后的东西改进自己。实验室对"下一代什么时候来"的排期权,就在这个闭合点上。

封内核,是插刹车最便宜的位置。

能力那一侧

说完限制,得说被限制的东西有多能打,否则这件事读起来像一个自愿吃亏的故事。

内部有一个实验:给模型一个完全空白的文件夹,它自己协调超过 1,000 个子 agent,连续 8 天不间断地写、测、审代码,最后交付一个能在笔记本上启动的原型操作系统 [3]。内核、磁盘与网络驱动、持久化文件存储、登录界面、安装程序都有。

真正的门槛不在"写出操作系统"。教学用的操作系统项目满地都是。门槛在 8 天。8 天里目标不漂、错误自愈、任务在 1,000 个 agent 之间调度得下去,这是长时运行的问题,不是聪明程度的问题。

公开基准上它也是这一代最强的一档:FrontierCode 2.0 拿到 49.1%(上一代 32.4%),FrontierSWE v2 拿到 69.9%。有一项输了:AutomationBench 上 51.4%,低于 Gemini 4 Carbon 的 53.9%。同一张表里既有领先也有落后,这本身是可信度的一部分。

页 39 那句话

到这里,一切都很顺:公司有能力、有自觉、有动作。下面这层才是这篇材料真正硬的地方。

系统卡第 39 页写着,METR 测试用的那个 Mythos 5.2 快照,"在 AI 研发能力上强于已发布的模型"。Anthropic 在同一节解释了自己的做法:AI 研发这个维度的能力上限,是按多个快照分别测的,AECI 那个综合分取自其中表现最强的快照 [4]。

公开卖给你的那个模型,和内部评测里那个更强的模型,不是同一个。

这个细节可以有两种读法。一种读法是坦诚:能力上限本来就该按最强快照量,否则测不准。另一种读法是:你在公告里说"限制在 Opus 5.5 水平",但那个水平是按哪个版本量的,外部无从核对。

第三方测试给了一个旁证。SemiAnalysis 的分领域读数里,芯片设计比 Opus 5.5 提升 10.8%,软件工程提升 15.5%,材料 5.3%,生物 7.7%,而 RSI 这一项"大约与 Sonnet 5.5 持平",测试方明确把这条持平和训练期限制联系了起来。

一条被按住的曲线,和一条正常上扬的曲线,摆在同一张表上。

METR 另一份 11 月 5 日的评估还给了一个数:2025 年 10 月之后,AECI 分数的增速大约是此前的 1.9 倍,置信区间 1.5 到 2.8 倍。同一份评估里,Anthropic 把 METR 认为最有信息量的那部分证据做了大面积涂黑,理由是里面有机密信息,公开可能加速其他开发者。

单边裁军

把这件事放到行业里看,它更像单边裁军,不像行业公约。

守约方的代价是能力上被追平。违约方的收益是直接拿到那把钥匙。而验证机制基本不存在——你无法从外部确认对手有没有剪掉那一环,只能看它发布的产品在 RSI 这一项上是不是莫名其妙地持平。

更麻烦的是,连"剪了多少"这件事本身,也只有剪的人知道。第 39 页那个更强的快照就是例子:它能被写进系统卡,是因为公司愿意写;不写,外部发现不了。

结果是:只要有一个参与者不剪,剪的那一方就是在替所有人承担成本。

能决定不让它会什么

这件事真正新的地方,不在"安全"两个字上。

过去的做法都在部署之后:拒绝回答、加过滤器、上 RLHF、推理期拦截。这些手段的共同弱点是可被绕过,提示词能越狱,拦截器能被对抗样本骗过,对齐能被微调洗掉。

训练期限制换了一个问题。以前问"怎么让它不做坏事",现在问"要不要让它具备做这件事的能力"。前者是技术问题,后者是产品决策,而且一旦成立就不可逆:不在权重里的能力,没法被调用,也没法被"补回来",因为补回来等于重新打开那条路。

代价也在这里。外部看到的是结果,看不到被切掉的部分。所以"最强模型"这个称号从这一代起带了一个隐藏脚注。

有个细节值得再想一遍:那个被限制的能力,恰好是公司自己造了个评测、然后亲眼看着模型靠它赢下来的能力。

他们不是在模型变坏之后才动手。他们是在模型变强的那一刻,认出了哪一条变强会关掉自己的排期权。

11 月 9 日之后,公开模型与内部模型之间多了一道缝。缝有多宽,只有剪的人知道。

参考资料

[1] Anthropic,《Claude Fable 5.2 与 Claude Mythos 5.2 发布公告》,2026-11-09,https://www.anthropic.com/document/claude-fable-5-2-mythos-5-2-system-card

[2] Tokenstead,《Claude Fable 5.2: Anthropic capped kernel optimization》,2026-11,https://tokenstead.ai/guides/anthropic-kernel-cap

[3] App Review Lab,《Claude Fable 5.2 and Mythos 5.2: Specs, Benchmarks, Pricing, and Real-World Limits》,2026-11,https://appreviewlab.com/claude-fable-5-2-mythos-review

[4] AI Primer,《Anthropic's Mythos 5.2 system card discloses deliberate limits on AI R&D capabilities》,2026-11,https://www.ai-primer.com/engineer/stories/mythos-rd-disclosures

随机文章