AI EVALUATION / 全景洞察
同一道数学题,换个问法分数能差 20 分;同一个模型,换个脚手架榜单排名就变。
-- 这份报告把评测集、能力维度、打分方式和跑分框架一次理清楚
大模型评测早已不是「跑个 MMLU 看多少分」的时代。截至 2026 年 11 月,业界在用的评测集超过 80 个,从博士级科学问答、竞赛数学,到真实 GitHub issue 修复、多轮客服工具调用,再到中文幻觉控制、桌面 GUI 操作,乃至连续几小时的长程软件工程与真实漏洞攻防——每一把尺子量的是不同的能力。更麻烦的是,很多老牌评测集已经「考满分」退休,新评测集又不断涌现。这份报告不做罗列,而是回答三个问题:都有哪些评测集、分别测什么能力、到底怎么评出来的。
知识推理数学与代码智能体中文评测多模态安全对齐网络攻防评测方法论 | |
| |
| |
| |
| 选模型的工程师 / 做评测的研究者 / 想看懂榜单的人 |
| |
目录
导读 这份报告到底在讲什么
一句话结论:评测测的从来不只是模型有多聪明,而是「模型 × 题目 × 问法 × 判卷方式」这四个变量共同作用的结果。看懂一份榜单,必须把这四件事一起看。
为什么这件事难?因为大模型不像考试那样有标准答案。它会出现事实性幻觉——一本正经地胡说八道;同一个问题换个 prompt 措辞,分数可以波动 5% 到 20%;面对开放式写作,连人类专家都未必意见一致。
这份报告按三层展开:能力层(有哪些评测集、各测什么)、方法层(怎么出题、怎么打分)、工程层(评测框架怎么把分数「造」出来,以及分数为什么会失真)。
收录的评测集从 2020 年的 MMLU,一直到 2026 年的 Terminal Bench 3.0、DeepSWE、Agents' Last Exam、CyberGym、GDPval-AA 这批最前沿的长程与攻防评测,覆盖知识、数学、代码、智能体、中文、多模态、长上下文、安全攻防等方向。
最反直觉的一点放在后面讲:很多你熟悉的评测集(MMLU、HumanEval、TruthfulQA)在 2026 年已经饱和,退到了模型卡的附录里。下面按 14 节拆开,共 14 节。
01
评测到底在测什么
这一章回答:大模型评测的底层流程长什么样,为什么它比考试复杂得多。
先把话说白了:评测就是给大模型出一套卷子,让它答,再按标准判分。三步听起来简单,但每一步都藏着坑。
第一步「出题」,用标准题库或按业务自己出,关键是别让模型在训练时背过答案——这叫数据泄漏。第二步「答题」,要用固定的 prompt 模板收集模型的原始输出,因为问法差一点,结果就变。第三步「打分」,选择题直接对答案,代码题跑单元测试,开放题就得请一个裁判——可能是规则、强模型,也可能是真人。
图 1一次评测就是三步闭环 出题、答题、打分,每一步都引入变量
除了流程,还要想清楚测哪个维度。业内常说「三维一体」:能力决定它聪不聪明,安全决定它会不会使坏,对齐决定它听不听话。只看能力分高,可能得到一个「聪明的坏人」;只看安全,可能得到一个什么都不敢答的「胆小鬼」。
先把这个记牢
评测分数 = 模型能力 + 题目质量 + 提问方式 + 判卷标准。四个变量里,只有第一个是模型自己的。
表1五种评测范式
| 范式 | 怎么测 | 代表 | 主要短板 |
|---|
| 判别式 | 选择题算准确率 | MMLU / ARC | 只测再认不测生成 |
| 生成式 | 生成答案与标准比对 | GSM8K / MATH | 参考答案单一 |
| 执行式 | 跑单元测试 | | 只适用可执行任务 |
| 模型裁判 | 强模型按标准打分 | MT-Bench | 裁判自带偏好 |
| 人类偏好 | 匿名 A/B 投票 | Chatbot Arena | 慢、贵、有样本偏差 |
← 左右滑动查看完整表格 →
02
一张地图:十大能力维度
这一章回答:市面上这么多评测集,到底可以按什么框架归类的看。
别指望有一个评测集打天下。每个评测集本质是一把尺子,只量一个或几个维度。把主流评测集按能力摊开,大致就是下面这十类。
图 2十大能力维度全景 每把尺子对应一组代表评测集
表2十大维度与代表评测集
| 维度 | 代表评测集 | 核心考察 | 2026 状态 |
|---|
| 通用知识 | | 多学科事实与专家级问答 | MMLU 饱和,HLE 前沿 |
| 科学推理 | | 博士级理化生、抽象归纳 | 区分度最高 |
| 数学 | GSM8K / AIME / FrontierMath | 多步推理到研究级数学 | GSM8K 饱和 |
| 代码 | HumanEval / SWE-bench Verified | 函数生成到真实仓库修复 | HumanEval 饱和 |
| 智能体 | | 多步工具使用与任务规划 | 增长最快 |
| 中文 | C-Eval / CMMLU / SuperCLUE | 中文学科与场景能力 | SuperCLUE 为主 |
| 多模态 | MMMU / MMBench / Video-MME | 图文视频理解与推理 | 快速迭代 |
| 长上下文 | | 百万 token 信息检索 | 32K 后普遍掉分 |
| 事实幻觉 | | 乱编与事实一致性 | 仍是硬骨头 |
| 安全对齐 | | 有害、偏见、过度拒绝 | 攻防持续升级 |
← 左右滑动查看完整表格 →
记住这句话
读任何榜单前先问一句:这张卷子量的是哪一把尺子?它和你关心的场景是不是一回事?
03
通用知识与推理
这一章回答:最能代表「聪明程度」的知识类评测,已经进化到哪一步了。
这一类的老大哥是 MMLU:57 个学科、约 1.6 万道题,2020 年至今的事实标准。但到 2026 年它已经饱和——头部模型普遍 88% 到 94%,差距接近统计噪声,只能当「地板检查」。它的增强版 MMLU-Pro 改成 10 个选项、强制思维链,减少瞎蒙,至今仍有区分度;MMLU-Redux 则是把原题里的错误修正后的清洗版。
真正卡住前沿模型的是这几张卷子:GPQA Diamond 是 198 道博士级理化生题,非专家 PhD 只能做对约 34%,而顶尖模型已到 90% 上下;HLE(Humanity's Last Exam) 由各领域专家出题、约 2500 道,故意不上网可查,前沿模型只有 30% 到 45%,是少数还没饱和的测试;ARC-AGI-2 考抽象视觉归纳,人类平均约 60%,前沿模型不用大量测试时计算常常不到 50%。
表3知识推理类评测集
| 评测集 | 规模 | 考什么 | 状态 |
|---|
| MMLU | 约 1.6 万题 | 57 学科通识 | 已饱和 |
| MMLU-Pro | 约 1.2 万题 | 10 选项 + 推理 | 仍活跃 |
| GPQA Diamond | 198 题 | 博士级理科 | 接近饱和 |
| HLE | 约 2500 题 | 专家级多学科 | 前沿主战场 |
| ARC-AGI-2 | 400+ 题 | 抽象归纳推理 | 远未饱和 |
| BIG-Bench Hard | 23 个子任务 | 模型曾低于人类的难题 | 趋于饱和 |
← 左右滑动查看完整表格 →
一个新趋势
2025—2026 年前沿模型卡的头条表格里,HLE、GPQA Diamond、ARC-AGI-2 已经取代 MMLU 成为标配;MMLU 被挪到了附录做连续性对照。
04
数学:从刷题到研究级
这一章回答:数学评测是怎么从小学数学题一路卷到研究级证明的。
数学是进步最快、也最快饱和的赛道。GSM8K 是 8500 道小学数学应用题,几年前还是大模型的能力分水岭,如今头部模型已接近满分。MATH 收了 1.25 万道竞赛题,常用的 MATH-500 子集也到了 92% 到 97%。
现在真正有区分度的是竞赛与 research 级:AIME 2025 / 2026 是美国数学邀请赛,带代码执行的推理模型已经能打到 95% 甚至 100%;FrontierMath 由数学家出题、答案私有,前沿模型只有个位数到三成左右的通过率;MathArena 则把奥赛、HMMT 等新题按月汇总,专门对抗题库泄漏。
这一章的关键
数学评测的「卷」不是把题变多,而是把题变新、变难、变得无法靠背答案通关。
05
代码:从补全到修 bug
这一章回答:为什么「会写函数」和「会做软件工程」是两种完全不同的能力。
HumanEval 是 164 道 Python 函数补全题,用 pass@1 打分,曾是代码评测的黄金标准,如今头部模型 93% 以上,已经饱和;MBPP 的 974 道基础题同样如此。它们的继任者是 LiveCodeBench(从 LeetCode、AtCoder 按月抓新题,结构上防泄漏)和 BigCodeBench(1140 道真实库调用题)。
真正的分水岭是 SWE-bench 系列:它直接拿真实开源仓库的 GitHub issue 让模型修,跑单元测试判对错。SWE-bench Verified 是其中 500 道经工程师人工核验可解的子集,是事实上的「代码智能体门槛」;更难、抗污染的 SWE-bench Pro 覆盖 41 个专业仓库、约 1865 个任务,前沿模型最好成绩也只有七成上下。Terminal-Bench 2.0 则考长程命令行操作。
表4代码类评测集演进
| 评测集 | 测什么 | 评分方式 | 现状 |
|---|
| HumanEval | 函数级 Python 生成 | pass@1 跑测试 | 已饱和 |
| LiveCodeBench | 月度刷新竞赛编程 | 通过率 | 抗污染主力 |
| SWE-bench Verified | 500 个真实 issue | 补丁能否过测试 | 事实标准 |
| SWE-bench Pro | 41 个专业仓库 | 端到端修复 | 前沿仍难 |
| Terminal-Bench | 长程终端任务 | 任务完成率 | 智能体编码 |
← 左右滑动查看完整表格 →
一道鸿沟
HumanEval 高分说明会写函数,SWE-bench 高分才说明能在真实代码库里定位、修改、验证——两者往往差着几十个百分点。
上面这张表是「上一代」代码评测。到 2026 年,软件工程评测又整体升级了一次:从「修一个 bug」变成「从零建一个仓库」「连续干几个小时」。下面这批名字,现在频繁出现在 GLM-5.3、Kimi K3 这类前沿模型卡上。
表52026 长程软件工程评测
| 评测集 | 测什么 | 怎么评 |
|---|
| Terminal Bench 2.1 | 隔离环境里的可验证终端任务 | pass@1,95% 上下趋饱和 |
| Terminal Bench 3.0 | 2.1 的大幅加难版,任务更长更刁 | 平均多次运行,前沿仅 20%–35% |
| DeepSWE (v1.1) | | |
| NL2Repo | 从自然语言需求直接生成整个仓库 | 规则+LLM 判卷,防作弊 |
| ProgramBench | 据二进制行为与文档反推出程序实现 | 隐藏测试通过率 |
| FrontierSWE | | |
| 多小时、整项目级长程工程 | 完成率,任务数少 |
| PostTrainBench | | 自动化 ML 实验的改进幅度 |
← 左右滑动查看完整表格 →
这批评测在考什么
关键词是「长程」和「交付」:不再是一问一答,而是给模型一台机器、几小时预算,看它能不能独立跑完一整套工程流程。Terminal Bench 3.0 上前沿模型只有两三成,说明加难后重新拉开了差距。
06
智能体:会干活的评测
这一章回答:当模型要「用工具办事」,评测怎么从答题变成看轨迹。
智能体评测不再问「你知道吗」,而是问「你能不能把事办成」。GAIA 考多步检索与工具使用,分 L1 到 L3 三档,最难档前沿模型仍不到 60%;OSWorld 让模型直接操作 Linux 桌面 GUI,WebArena 在真实网站里做购物、订票这类任务,前沿通过率普遍只有两三成到四成。
τ-bench / τ²-bench 让模型扮演客服,一边查数据库一边和用户多轮对话;BFCL v4 专测函数调用是否正确;BrowseComp 考浏览器研究与信息搜集;SWE-Lancer 更直接——用真实自由职业任务的「挣了多少钱」来打分。
图 3脚手架决定分数 同一模型,工具与重试策略不同,分数可以拉开几十个百分点
最容易踩的坑
智能体评测分数重度依赖脚手架:同一个模型,只给 prompt 和给「工具+重试+多智能体协作」,成绩可能判若两模。
2026 年智能体评测又往「真刀真枪」迈了一大步:不只在网页里点鼠标,而是给模型一台装好专业软件的沙箱、几小时预算,让它干完一整件有经济价值的活,再交付一个能被程序直接验收的文件。下面这批就是这类「长程专业工作流」评测。
表62026 工具使用与专业工作流评测
| 评测集 | 测什么 | 怎么评 |
|---|
| 跨多种真实工具的调用与组合 | 官方服务 pass@1,多次取均值 |
| 业务流程自动化 | 完成率,版本差异会改分 |
| Agents' Last Exam (ALE-CLI) | 专家级长程专业工作流,13 个行业簇 | 私有题+确定性验收器,5 小时上限 |
| HLE w/ Tools | 允许联网搜索和跑代码的 HLE | 强模型当裁判,分数明显高于裸考 |
| GDPval-AA v2 | 有真实经济价值的职业工作任务 | |
← 左右滑动查看完整表格 →
其中最值得单说的是 Agents' Last Exam(伯克利 RDI 出品):它有 1490 个任务实例、覆盖 960 种真实工作流,从设置 Siemens NX 刀路到跑基因测序分析,大部分题目藏进私有池防止背题。结果相当扎心——一个在 Terminal Bench 能考 82% 的编程智能体,在这里的最难一档 pass rate 不到 1%。短任务的高分,不等于长工作流的真本事。
07
中文评测这一块
这一章回答:中文能力评测有哪些本土基准,它们和英文评测有什么不同。
中文评测最早是 C-Eval(13 个学科方向、上万道题)和 CMMLU(覆盖 67 个主题)打底,主要测学科知识。后来 AGIEval 把中国高考、SAT、LSAT、GRE 这类人类考试搬进来。
现在国内最活跃的是 SuperCLUE。它不只是考知识,而是把中文通用能力拆成五个维度:智能体编程、数学与科学推理、幻觉控制、精确指令遵循、超长上下文——而且把每道题的 token 用量和成本也算进榜单,这对落地选模型很实用。
表7主要中文评测基准
| 基准 | 考察重点 | 特点 |
|---|
| C-Eval | 中文学科知识 | 早期事实标准 |
| CMMLU | 67 个中文主题 | 覆盖面广 |
| AGIEval | 高考 / SAT / LSAT | 人类考试题 |
| SuperCLUE | 五维中文综合能力 | 含 token 与成本 |
中文评测不是英文评测的简单翻译:它要额外测成语典故、本土文化背景、中文指令的细微约束,以及中文长文本下的幻觉控制。做中文产品,SuperCLUE 这类本土榜单比纯英文榜单更有参考价值。
08
多模态与长上下文
这一章回答:图片、视频和超长文本,分别该怎么测。
多模态这块,MMMU 是大学水平的图文混合考题,MMMU-Pro 加强了干扰项、更难蒙对;MMBench 是中文多模态基准,Video-MME 考视频理解,MathVista、ChartQA、DocVQA 分别测图表、公式与文档阅读。2026 年前沿模型在 MMMU-Pro 上大约 65% 到 81%。
长上下文这块最有意思。早期的「大海捞针」(Needle-in-a-Haystack)已经饱和,于是有了 RULER(4K 到 128K、多针检索)和 LongBench v2。一个稳定现象是:很多模型标称支持 100 万 token,但在 32K 之后准确率就开始明显下滑——「能塞进去」不等于「真能读懂」。
09
事实、幻觉与安全
这一章回答:怎么测一个模型会不会一本正经地胡说,以及该拒绝时会不会拒绝。
幻觉与事实性是最难的一块。TruthfulQA 专门设计那些会诱导模型说出常见误解的问题,但它已经饱和;SimpleQA 用短事实问答测幻觉率,成为新的主力;FACTS、HalluLens 则把事实性、忠实度拆开细测。
安全评测测的是「聪明的坏人」和「胆小的好人」两头。HarmBench 收录 510 种有害行为,看越狱攻击成功率;WMDP 测生物、化学、网络等危险知识;BBQ 测社会偏见;XSTest 专门测过度拒绝——那些本该正常回答却被模型拒掉的无害问题。
2026 年还有一组值得单独看的方向:把模型的网络安全能力拆成漏洞生命周期的几个阶段来测。从「找到并验证漏洞」,到「把漏洞写成真正能用的攻击」,逐级加难。GLM-5.3 发布时正是因为这批分数大涨、又主动推迟了权重开源,引发不少讨论。
表8网络攻防能力评测
| 评测集 | 测什么 | 怎么评 |
|---|
| CyberGym | | 1507 个真实实例,pass@1 |
| ExploitBench | 理解真实漏洞成因并完成利用 | 覆盖率均值,41 个任务 |
| 把已知漏洞的 PoV 变成可用攻击 | 2 小时 / 6 小时预算内完成数 |
← 左右滑动查看完整表格 →
三维一体的落点
能力高 + 安全强 + 对齐好,才是真正能用的模型。缺任何一维,都会在实际产品里以另一种形式还回来。
10
没有标准答案怎么评
这一章回答:开放对话和写作这类没有唯一正确答案的任务,靠什么打分。
当答案是「写好一封邮件」「讲清一个概念」,就没有标准答案可对。最初的做法是 MT-Bench:让 GPT-4 当裁判按维度打分,但它有明显的位置偏好和长度偏好——回答越长越占便宜。AlpacaEval 用胜率对比,同样受长度偏差困扰。
目前公认最可信的是 Chatbot Arena:把两个匿名模型的回答并排给用户,让人选哪个更好,再用 Elo 算法算分。它最接近真实用户感受,但慢、贵、且存在样本偏差。新的 Arena-Hard、WildBench 用更难的提示和风格控制,试图减轻裁判偏见。
图 4五种打分方式对照 从对答案到人类投票,判卷方式决定了分数的含义
11
六种打分机制
这一章回答:把所有评测的打分方式抽象出来,一共就这六种套路。
不管评测集叫什么名字,底层打分方式翻来覆去就六种。准确率最直接,选择题对答案即可;pass@k 看生成 k 次里至少一次通过测试的概率,代码题常用;执行验证是真跑代码或查询数据库,客观无幻觉风险;LLM-as-Judge 用强模型按评分细则打分,兼顾速度与主观质量;人类偏好 Elo 最贴近真实体验;红队 ASR 专用于安全,看诱导攻击成功率。
表9六种评分机制对照
| 机制 | 原理 | 优点 | 坑 |
|---|
| 准确率 | 答案比对 | 快、可重复 | 测不了生成质量 |
| pass@k | k 次至少一次过 | 符合代码场景 | k 越大越虚高 |
| 执行验证 | 跑测试 / 查库 | 客观无幻觉 | 仅可执行任务 |
| LLM-as-Judge | 强模型打分 | 可扩展、近人类 | 有偏好与泄露 |
| 人类 Elo | 匿名 A/B 投票 | 最贴真实感受 | 慢、贵、偏差 |
| 红队 ASR | 诱导攻击 | 发现真实漏洞 | 覆盖不全 |
← 左右滑动查看完整表格 →
选评分器的原则
能自动判的就别请裁判,能执行的就别对文本;只有主观质量才值得上 LLM-as-Judge 或人类投票。
12
谁在跑分:评测框架
这一章回答:同一个模型为什么在不同榜单上分数不一样——问题往往出在跑分的「机器」上。
跑分不是把题丢给模型就完事,中间有一整套流水线,行业里叫 harness(评测框架)。它负责把数据集按固定模板拼成 prompt、调用模型、从输出里抠出答案、算分、再聚合成报告。
图 5harness 的七步流水线 从配置到聚合,任何一步不同,分数就不同
2026 年主流的框架有四个:lm-evaluation-harness(EleutherAI,最广泛使用)、LightEval(Hugging Face,轻量)、OpenCompass(覆盖 100+ 数据集,中文评测尤其强)、HELM(斯坦福,同时看准确率、校准、公平、效率等多个维度)。
它们的设计差异会实打实改变分数:prompt 模板是「Question:」还是「Q:」、选项是「A.」还是「(A)」、用对数概率选答案还是让模型生成后再抽取、few-shot 例子选哪几个——这些细节都写进框架里。有研究发现,仅仅改 few-shot 的格式,就能让同一个模型差出几十个百分点。
这一章的金句
一个脱离了「用哪个框架、什么脚手架跑出来」的分数,是不完整的分数。
13
饱和与污染
这一章回答:为什么评测集总在「过期」,以及行业怎么应对。
评测集有两个天敌。一是饱和:当所有前沿模型都考到九十分上下,这张卷子就失去了区分能力,MMLU、HumanEval、TruthfulQA 都走到了这一步。二是污染:题目和答案一旦进入训练数据,模型等于「背过答案」,分数虚高。
应对办法是把题库做成「活水」:LiveCodeBench 只取模型训练截止之后的新题;LiveBench 每月替换约六分之一的题目,半年换一遍;MathArena 按月汇总最新竞赛题。它们共同的逻辑是——让题目新鲜到模型来不及背。
所以 2026 年前沿模型卡的头条榜单已经换了一批:HLE、FrontierMath、GPQA Diamond、AIME、ARC-AGI-2、SWE-bench Verified、MMMU-Pro、τ-bench、RULER。老将们退居附录,做历史连续性对照。
14
一套务实的评测策略
这一章回答:如果只能搭一套最小评测栈,该怎么选。
别想着跑全部 60 个评测集。一套务实的做法是分三层:
第一层,地板检查。用 MMLU-Pro 或一个通用集确认模型没有明显短板。第二层,前沿区分。按你的核心场景挑一两个高区分度集——看重推理上 HLE / GPQA Diamond,看重数学上 AIME,看重工程上 SWE-bench Verified。第三层,场景私有集。用 100 到 200 道贴合自己真实业务的题做最终决策,这一层往往比公开榜单更管用。
中文产品记得加 SuperCLUE;代码助手加 SWE-bench;智能体加 τ-bench。最后别忘了分数之外的东西:推理速度(每秒 token)、单题成本、脚手架复杂度——一个分高但跑得慢、烧钱又难伺候的模型,在生产环境里照样会让人失望。
全文收束
评测不是给模型排座次,而是帮你想清楚「我要它干什么」。先定义场景,再挑尺子,最后看分数——顺序反了,再漂亮的榜单也帮不了你。