大模型集体掉档-Cognition评测改了什么规则

10月27日，Cognition发布了自建的评测榜FrontierCode 2.0。
这次更新直接把评测的标准，改成了开源项目维护者到底愿不愿合并这些代码。

因为采用了更严格的拦截标准，并且由项目维护者共同参与制定规则，各大编程大模型在2.0版本里的表现相比1.1版本都出现了明显下滑。

哪怕是排在头牌的Opus 5.5，最终得分也只有45.5%。

这意味着，即便是目前最顶尖的编程Agent，提交上去的代码也有超过一半会被维护者直接拒绝合并。

有意思的是，这份榜单的排名和DeepSWE等传统评测榜出现了明显错位。

过去各大厂商喜欢宣传模型多么会写代码，但真实开发场景里，能写出代码和能顺利合入代码完全是两回事。

当评测标准从单纯跑通测试用例，变成真实开发者的审查标准时，很多在传统榜单上拿高分的模型就暴露了短板。

对比这几天密集发布的各类Agent评测基准，Cognition这次直接戳破了厂商的跑分泡沫。

那些不符合项目规范、增加维护负担的AI代码，哪怕功能跑得通，在真实工程里依然没有实用价值。