观点如此说|60% 的 AI 评测藏在私有考卷里:谁来验证榜单的分数?
- 更新时间 2026-11-01 22:29:16
观点如此说|60% 的 AI 评测藏在私有考卷里:谁来验证榜单的分数?信息来源：Artificial Analysis 官方博客《Announcing Artificial Analysis Intelligence Index v5》（2026 年 10 月 27 日）；《Gemini 4 Carbon is the new#1on the Artificial Analysis Intelligence Index v5》（10 月 28 日）；Artificial Analysis Intelligence Index v5 方法论页面。 内容摘要：一张 AI 榜单，60% 的评分权重来自私有测试集或留出答案。10 月 28 日，Gemini 4 Carbon 以 59 分登顶；Kimi K3.1 Pro 在 v5 中得 46 分，开放权重模型与领先闭源模型的分差扩大。新榜单试图解决公开考题被污染的问题，却也带来另一个问题：当外部无法逐题复核时，我们该如何判断一个分数是否可靠？
10 月 28 日，Artificial Analysis 公布了一个醒目的结果：Google 的 Gemini 4 Carbon 以 59 分登上 Intelligence Index v5 榜首，比 Claude Opus 5.5 高一分。 另一个变化同样引人注意：Kimi K3.1 Pro 得分 46 分。按照新榜单的结果，开放权重模型与榜首的分差扩大到了 12 分。 但在讨论谁更强之前，有一件事值得先弄清楚：这张成绩单，已经换了一把尺子。 10 月 27 日，Artificial Analysis 发布 Intelligence Index v5，称这是自 v4 以来最大的一次升级。最值得注意的变化是：指数中 60% 的权重，来自私有测试集或留出答案。 这并不难理解。公开基准一旦被大规模收集并进入模型训练数据，测试成绩就可能受到污染。模型答对一道题，究竟因为掌握了相关能力，还是因为训练时见过原题？如果无法区分，高分就不再是能力的可靠证据。 因此，评测机构需要更新题目、剔除已经饱和的题目，或者把部分测试内容保留起来。AA 在 v5 中采取的正是这条路线：新增 FrontierCode 2.0 和 Terminal-Bench-Science，并更新多个已有基准。 从技术目标看，私有评测有其合理性。问题不在于考题应不应该保密，而在于保密之后，外部还能验证多少。 v5 中有一个具体案例：CritPt v2。 AA 使用了一个包含 40 道研究级物理题的私有难子集。其构造方式是：从原有 70 道题中，剔除七个前沿模型在发布时的五次尝试中都能答对的 30 道题，留下其余 40 道。 这意味着，测试集不只是保密，还经过了针对现有模型能力的筛选。它试图保留更有区分度的难题，而不是让模型在已经普遍能够解决的题目上拉不开差距。 这种设计有明确的技术动机，但也带来一个问题：当测试题经过筛选，且结果无法逐题独立复核时，外部如何判断这套题是否仍然具有代表性？ 需要说明的是，筛选难题并不等于操纵成绩。难度较高的题目也不必然比普通题目更能代表真实使用能力。真正需要审视的是题目质量、筛选标准、评分规则，以及这些因素是否足以支撑最终的综合排名。 CritPt v2 的私有难子集占 Intelligence Index 总权重的 10%。它不是整张榜单，却是一个值得观察的缩影。 回到 Gemini 4 Carbon。 AA 公布的结果显示，Carbon 在九项评估中的四项领先，包括 HLE-Diamond、Terminal-Bench-Science、AA-Omniscience 和 AutomationBench-AA。但它并没有在编码和知识工作方面全面领先。 这恰好说明综合榜单的作用：它把不同类型的能力按照预设权重汇总为一个数字，方便横向比较，却无法替代对具体任务的分析。 问题在于，v5 有 60% 的权重来自私有测试集或留出答案。外部读者可以查看公开的方法论、评测类别和权重分配，却无法对所有相关题目进行同等程度的逐题复核。 这里必须区分两件事：不能独立复现全部测试，不等于测试结果一定错误；但无法独立复现，也确实限制了外界发现错误、检验评分和提出异议的能力。 Kimi 的排名变化也应当放在这个背景下理解。v4.3 与 v5 的评测构成和权重发生了变化，因此不能把新旧分数的差值直接当成模型能力下降的证据。我们看到的是模型在两套不同评测体系中的表现，而不是一场完全同条件的前后测验。 AA 面临的难题，其实也是整个 AI 评测行业的难题。 公开题库容易受到污染，私有题库却会增加外部验证的成本。两者之间不存在一个可以轻松消除所有缺陷的选择。 因此，真正值得讨论的，不是评测机构有没有资格保留考题，而是当私有题目承担越来越大的权重时，有没有其他机制来弥补可复现性的不足。 例如，能否由独立机构审查题目质量与评分规则？能否公开足够的统计信息，让外部检验不同模型的成绩是否稳定？能否在不泄露测试答案的前提下，建立明确的争议处理和事后审计机制？ 这些措施未必需要公开全部考题，却能让评测结果不必完全依赖机构自身的信誉。 AI 榜单越来越频繁地进入产品发布、行业报道和日常讨论。一个排名可能影响公众对模型能力的判断，也可能影响企业选型与开发者决策。分数越有影响力，支撑它的验证机制就越重要。 一张可信的榜单，不仅要告诉我们谁得分更高，还应当让我们知道：这个结论有多可靠，以及我们凭什么相信它。 防污染需要锁，公信力需要验证。两者并不矛盾。真正成熟的评测体系，应当在保护测试集的同时，为独立审查留出足够的空间。 否则，榜单上的数字越精确，公众就越有必要追问：这份精确，究竟经过了怎样的检验？
正文
一场绕不开的防作弊战争
40 道物理题，为什么值得关注？
59 分，究竟意味着什么？
锁上考卷之后，还需要什么？
本文来自网友投稿或网络内容，
如有侵犯您的权益请联系我们删除，
联系邮箱：wyl860211@qq.com 。
