评测榜抗刷分:题比模型晚出生

截至2026年11月6日，答案不是题最难，是信息时间差：题目与判分标准须在训练后才有。静态公开题库最易刷——OpenAI 审计 SWE-bench Verified，138 题里 59.4% 有题面或测试问题；换成取训练截止后新 issue 的 SWE-bench-Live，同一套 agent 从 43.2% 掉到 19.25%。

公开综合榜里最抗刷的是 Artificial Analysis 智能指数 v5：10 月 27 日把 60% 权重换成私有测试集与保留答案，新增 FrontierCode 2.0，132 个真实仓库任务按维护者愿否合并 PR 判分。换尺当天 Kimi K3.1 Pro 从第 4 掉到第 9，开源与闭源差距从 3 分拉回 12 分，挤掉的正是公开题库的水分。

但私有只挡抄答案，挡不住反复提交看分数调参的自适应过拟合，也让外部无法复现。盲测也非解药：The Leaderboard Illusion 记录 Meta 在 Llama 4 前私测 27 个变体挑最高分；用 Arena 数据微调可把 ArenaHard 胜率从 23.5% 抬到 49.9%，MMLU 却几乎不动——涨的是迎合榜单口味，不是能力。

最难刷的是题在评测后才产生的榜：每月轮换约 1/6 题的 LiveBench、只取新 issue 的 SWE-bench-Live，以及用未决事件出题、答案尚不存在的路线；还有私有评测集。古德哈特定律：榜成了采购与估值依据，就从度量变成目标。选型别问谁第一，问题目训练时是否存在、判分是否客观、可否反复提交。

你会自建私有评测集吗？评论区聊聊。