看完 AA 的新榜单,很容易冒出一个疑问:怎么换了个版本,几个熟悉的国产模型就被甩开了?
Artificial Analysis(以下简称 AA)在 2026 年 10 月 27 日发布了 Intelligence Index v5。这次更新里,Kimi、DeepSeek、GLM 等模型与榜首的距离确实扩大了。不过,原文讨论的主要是开放权重模型的分差,没有把所有国产模型前后下降了多少名逐一列出来。这个区别得先说清楚,否则很容易越聊越偏。

在这次发布的快照中,Claude Opus 5.5(max)得分 58,Kimi K3.1 Pro 得分 46。AA 所称的开放权重阵营与榜首的差距,从 v4.3 的 3 分扩大到 12 分。不过,Kimi 当时尚未发布权重;只看已经发布权重的模型,DeepSeek V4.1 Flash 1017(max)与 GLM-5.3(max)最高,均为 32 分。

1确实扎眼。但“国产”“开放权重”“已经能下载权重”,说的是三回事。看见这组数字就直接下结论,说国产模型全面落后了,多少有点着急。
读完评测细节,我的感觉是:几个代表性国产模型在复杂科研、工程交付上的短板,确实被考出来了。但差距到底有多大,还得看考了什么、模型拿到了什么输入,以及允许它花多少力气去做。
v5 将总分分为四类,各占 25%。这次新加入的 FrontierCode 2.0 和 Terminal-Bench-Science,各占总分的 15%。也就是说,整张卷子有三成分数,交给了这两项新评测:一个让模型进真实代码仓库改东西,一个让它跑科研流程。
旧项目也动了不少。GDPval-AA、SciCode 和 AA-LCR 被移出总分,GDP.pdf 的权重由 10% 降至 5%,HLE 与 CritPt 换用了新的题集或子集。考什么、每项值多少分,都变了。
先看编程。FrontierCode 2.0 的核心标准是:模型提交的修改,能否达到代码仓库维护者愿意合并的水平。它提高了对完整性、设计和正确性的要求;一项阻断性检查失败,整次尝试就会归零。
这个标准,写过代码的人应该很容易理解:代码跑起来了,离放心合并还差不少事。
模型得先读懂项目,找出哪些地方会受影响,再动手修改、跑测试,发现不对还得接着修。少做一步,都可能留下坑。我的理解是,v5 更认真地检查了这些环节,也就更容易看出谁能把事情做完。
流程越长,问题还可能越明显。我们算一笔很简单的账:假设一件事有十个关键步骤,各步骤相互独立,任何一步失败都算整件事失败。每步有 95% 的成功率,十步全做对的概率约为 60%;每步降到 90%,最后就只剩约 35%。
当然,真实模型会重试、会纠错,但它说明了一件事:每一步看着只差一点,等到验收时,可能就差得挺多了。
到了科研任务,这个问题更难绕过去。
Terminal-Bench-Science 的任务来自实际科研工作,覆盖数据分析、模拟、优化、证明等流程,最终检查分析结果、代码和数据产物。
其中一个公开示例要求模型根据卫星影像,重建某个湖泊多个冬季的结冰与解冻日期,并输出结构化结果。模型需要处理影像、理解判定条件,再把这些条件落实成计算流程
你问它“怎么用卫星影像判断湖泊结冰”,它也许能讲得头头是道。可现在,数据就放在面前,它得自己处理完,把日期算出来。中间少一个处理步骤、误读一个判定条件,最后交上来的结果就可能不对。
看这次发布时的成绩,Terminal-Bench-Science 上 GPT-6 Astra(max)为 63%,Kimi K3.1 Pro 为 34%,DeepSeek V4.1 Flash 1017(max)为 13%。这个差距没必要回避。只是光看分数,我们还不知道具体卡在了哪里,但还是能过推出某家的训练方法出了什么问题。
AA 过去的 HLE 测试使用纯文本题;新的 HLE-Diamond 包含 1,000 道题,其中 272 道带有图片。但我们不能把落后全归咎于看不到图。HLE-Diamond 占总分 10%,其中图片题对应的总分权重约为 2.72%。
那么是国产大模型训练时刷题了吗?“以前题见多了,这次换成私有题,就不行了。” v5 有 60% 的指数权重基于私有测试集或未公开答案的评测。
比较说得通的可能性是:一个模型如果长期围着某几类任务优化,换一种做事方式,未必适应得过来。
还有一件事,看榜单时经常被模型名字抢了风头:名字后面的 low、high、max。

同一个 Claude Opus 5.5,从 low effort 切到 max,指数得分由 35 提升至 58,单任务成本则由 0.98 美元升至 10.04 美元。
同一个模型,仅仅换个推理档位,分数就能差这么多。所以我觉得,这次 v5 最有用的地方,是把一些平时不容易察觉的问题集中摆了出来。
几个国产模型在新考卷上没考好,该承认就承认。毕竟,用模型的人最后在意的事情很具体:活儿交出去了,我能不能少回来收拾几次?