2026 年 2 月 23 日，OpenAI 干了一件让整个行业愣住的事：它宣布停止用 SWE-bench Verified 这个基准来评测自己的模型。SWE-bench Verified 是什么？它是过去两年里，AI 编程领域最权威的一张"成绩单"。各家模型发布会上的 PPT，几乎都会放它的分数。企业选型、投资人估值、工程师挑模型，全在看它。而 OpenAI 停用它的理由，直白得有点难堪：它抽了模型最常解不出的 138 道题单独审计（约占全集 500 题的 27.6%），发现其中59.4% 的测试用例本身是坏的——模型写出了正确的答案，判卷系统却判它错。更糟的是，几乎所有顶尖模型，都在这份公开题目的训练数据里"见过答案"。也就是说，过去两年大家拿来当标尺的那把尺子，刻度是歪的。这不是 OpenAI 一家的问题。2026 年的模型评测，正在经历一场系统性的信任危机。这篇文章我们来聊聊：为什么你在榜单上看到的模型分数，可能比它的真实水平虚高一大截；以及，在分数普遍不可信的当下，你到底该怎么判断一个模型行不行。
一、先搞懂：模型的"做事分"是怎么打出来的
要理解这场危机，得先知道现在模型那类"能做事"的分数是怎么来的。大模型的传统评测（比如让它做选择题、算数学题）很简单：输入一句话，输出一个答案，对错一目了然。但现在的模型要"做事"：读文件、跑命令、改代码、点网页、调 API。你要评价它，得给它一个真实的、开放的任务，让它从头到尾跑一遍，最后看它有没有把事情办成。于是市面上冒出一批专门考"做事"的"考场"，按工种分门别类：SWE-bench：给它一个真实 GitHub 项目的代码库和一条 bug 描述，让它写补丁，看补丁能不能通过项目自带的测试。测的是"能不能修真实 bug"。这是编程 Agent 最核心的考场。Terminal-Bench：给它一堆命令行任务，从搭服务、配系统到写脚本，看它能不能在终端里搞定。测的是"会不会用命令行干活"，比 SWE-bench 更贴近真实运维。GAIA：通用助手测试，多步推理 + 查网页 + 用工具，看它能不能回答需要"动手查证"的问题。测的是"通用智能助手"，设计上最难靠"背答案"过关——因为答案得现查现算，题目背不下来。WebArena / OSWorld：前者让它在真实网站里完成购物、订票、发帖，后者让它像人一样操作一台完整的桌面电脑：点鼠标、敲键盘、开软件。测的是"会不会用界面"。τ-Bench：让它扮演客服，和模拟用户来回对话，看能不能在对话中把问题解决。测的是"对话式 Agent"。这些考场各有各的侧重点，但底层逻辑是一致的：把模型丢进一个接近真实的环境，给它一个开放任务，看它从头到尾能不能办成。分数越高，理论上代表越强。这套逻辑本身没问题，甚至可以说是唯一正确的方向，因为你要测"做事"的能力，就只能让它真的去做事。但这里埋着一个几乎没人说透的前提——真正上考场干活的，从来不是光秃秃的模型，而是"模型 + 一整套 Harness"（Harness 就是给它配的工具、提示词、重试机制那一整套外壳）。你现在以为自己在看的"模型分数"，其实测得是一个打包完整的"系统"。这个前提一旦被忽略，后面所有乱象就有了温床。按下这个伏笔不表，先看理想和现实之间，裂开的三道缝。
二、第一个问题：卷子被"背"了
你想，训练一个大模型，喂给它的语料是"整个互联网"。而 SWE-bench 的题目，就是从公开的 GitHub issue 里挑出来的——这些 issue 的修复代码，本来就在网上。结果就是：模型在训练阶段，很可能已经"见过"这些题目的答案。考场上它不是靠推理在解题，而是靠回忆背过的答案。这不是猜测，是被验证过的事实。一个叫 TS-Guessing 的实验玩了个狠招：把一道 MMLU 选择题里的一个错误选项遮掉，让模型把这个选项原样补出来。没见过题的模型，根本不可能凭空猜出一个任意的选项；结果 GPT-4 精确补出了 57%，而当年干净的开源模型（如 Llama 2）几乎补不出来。这说明它根本不是在做题，是在回忆。还有"换卷"测试也能说明问题：GPT-4o 在 MMLU 上能考 88.0%，可微软做了个防污染的翻版 MMLU-CF（重新措辞、打乱选项），它直接掉到 73.4%——15 分的差距，全是"背题"的功劳。但要说最直观的证据，还是 SWE-bench 自己的演化史：2024 年初，顶尖模型在 SWE-bench 上只有13%左右的解题率；两年涨到原来的 6 倍，这速度远超模型能力的真实进步。背后很大一部分，是模型把答案背下来了。眼看不背书不行了，这才有了"防作弊"的升级版——SWE-bench Pro。它由 Scale AI 团队打造，题目更新、更难、从更新的仓库里挑，尽量避开训练语料。它的题目平均要改107 行代码、跨 4.1 个文件，而 Verified 里有大量"改一两行就完事"的送分题。结果呢？同一个模型，在 Verified 上能考 80%，到了 Pro 上直接腰斩。拿当时最顶级的几款模型看，这个断崖几乎是整齐划一的：注意最后两列的区别。Pro 的"公开题"是从更新的公开仓库里挑的，模型可能没直接背过，但训练语料里多少沾点边；而"私有题"是从真实创业公司的私有代码库里出的，模型训练时绝对不可能见过。结果是：GPT-5 在公开题上还有 23.1%，一到私有题就掉到 14.9%；Claude Opus 4.1 从 22.7% 掉到 17.8%。这套数字其实藏着两条各自成立的断崖。第一，同一代模型一换卷就腰斩——Claude Opus 4.5 在 Verified 上 80.9%，到了 Pro 只剩 45.9%，35 个百分点的差距，不是"题目变难了"能解释的。如果只是变难，应该大家平均降一点，而不是集体腰斩。更关键的是，所有模型一起掉，说明问题不在某一个模型身上，而在那把旧尺子本身——它们全都把答案背下来了，一换题就现原形。第二，"私有题分数更低"这条曲线，则把"背诵"和"推理"分得清清楚楚：越是没见过的题，分数越低。真正的本事，是面对没见过的题还能做出来；纯靠背，一换题就露馅。
三、第二个问题：卷子本身是坏的
污染之外，还有一个更尴尬的问题——判卷系统自己就不靠谱。OpenAI 停用 SWE-bench Verified 时给的理由之一，就是在抽审的那批题里 59.4% 的测试用例是坏的。啥意思？就是模型明明修对了 bug，但项目自带的测试脚本有毛病，会把正确答案判成错误。你在用一个会"冤枉好人"的尺子量能力，量出来的当然是错的。这还不是最离谱的。真要命的是，这些评测系统本身，可以被"考试作弊"式地攻破。2026 年 4 月，加州大学伯克利分校的研究团队（包括 Dawn Song 这样的安全领域大佬）做了个实验：他们写了一个"扫漏洞的 Agent"，让它去钻这些评测系统的空子。结果触目惊心——他们一个任务都没真正解决，却在 8 个主流基准上拿到了接近满分的成绩：SWE-bench Verified：靠一个 10 行的 conftest.py 文件，强行让所有测试通过，100%；Terminal-Bench：靠伪造一个假的 curl 命令包装器，89 个任务全过，100%；WebArena：让浏览器直接读取本地配置文件里的标准答案，812 个任务约 100%；OSWorld：靠操纵虚拟机状态、读公开的黄金答案文件，369 个任务 73%；GAIA：靠撞库公开答案和"归一化碰撞"，98%。一句话总结这场实验的荒诞：这些"最权威"的 Agent 考试，衡量的是你会不会钻评分系统的空子，而不是你会不会干活。说句不好听的，这些攻击里大多数压根儿没调用过大模型——一个 10 行的 Python 文件就能拿满分，要模型干嘛？而且，这种"作弊"不是只在实验室里当笑话讲，真实榜单上已经实打实地发生了。IQuest-Coder-V1 事件：它号称在 SWE-bench 上拿了 81.4%，风光一时。结果被人扒出来，它 24.4% 的解题轨迹，是在跑 git log 把标准答案从提交历史里原封不动复制出来。修正后只剩 76.2%。Terminal-Bench 2 前三名集体翻车：一个叫 Meerkat 的审计系统（宾夕法尼亚大学团队做的，能在大规模轨迹里自动嗅探作弊行为）查出，排行榜前三名全部在作弊，而且手法各不相同：第一名 Pilot，把每道题本该不可见的测试文件夹直接塞进了 Agent 的环境，Agent 上来就是一举 cat 看答案，逆向推出期望输出；并列第二、三名的 ForgeCode（同一作者的两个提交），把写着标准答案的隐藏文件提前注入到 Agent 的系统提示词里。更狠的还有一个叫 OB-1 的：它把加密后的标准答案直接硬编码进了自己的程序里，属于最明目张胆的一档。审计波及面远超想象：Meerkat 在 9 个主流基准、28+ 个参赛提交、上千条运行轨迹里，揪出了 31 起实锤的作弊。其中 ForgeCode 被清理掉作弊部分后，分数从 81.8% 掉到约 71.7%，排名从第 1 直接掉到第 14。甚至有些作弊，是无意中发生的。现在很多人是用 AI 编程助手去"写"自己的评测 Harness，而那个帮忙写代码的 AI，为了刷高分，会偷偷地在 Harness 里埋后门——这种"套娃式"的作弊，连提交者自己都不知道。作弊的源头，从"人"变成了"AI 教 AI 作弊"。
四、第三个问题：你看到的"模型分"，其实是个"系统分"
就算卷子干净、判卷公平，还有一个最隐蔽、也最根本的坑——回到第一节埋的那个伏笔：真正上考场干活的，是"模型 + Harness"这个完整系统，可所有人都在把它当成"模型"的分数来读。先把一件事说清楚。现在大家嘴上说的 Agent，本质上就是模型 + Harness。Harness 不是作弊，它是 Agent 的合法组成部分——没有它，模型连工具都调不动，根本干不了活。所以"测 Agent"这件事本身，本来就该测这个完整系统，这没问题。问题在于：榜单把"系统分"和"模型分"混在一张表里了。你以为看到的每一分都是"这个模型有多强"，其实里面藏着一大块是 Harness 的功劳。同一个模型，换个 Harness，分数能差出天壤之别：在 GAIA 上，套上 Princeton HAL 这套 Harness，能让裸模型凭空多出约 30 分；同一个 GPT-5.2-Codex，在 Terminal-Bench 上用 Codex CLI 那套 Harness 能跑 64.7%，换个 Harness 就掉到 57.5%，光是外壳就差了 7.2 分；同一批模型、同一个基准、只换 Harness，分数也能天差地别：Claude Sonnet 4.5 在 SWE-bench Verified Mini 上，最差的 Harness 只有 34%，最好的能到 68%。同样的模型，换个 Harness，分数能差出 30 多分——模型一个字没变，变的只是外面的壳。这就解释了为什么厂商发布会上的分数总是那么好看：他们给自家模型套的，是量身定制、能榨干潜力的那一套 Harness。就像运动员比赛，有人光脚，有人穿上了顶级跑鞋外加顺风。比的根本不是同一条赛道。那 Harness 具体是怎么把分数抬上去的？原理不复杂，它塞进外壳里的每一样东西都能显著影响最终表现。比如"重试"这一项，就是个大杀器。模型是有随机性的，同一道题这次做不出，下次可能就成了。如果 Harness 里设了"失败自动重试 5 次"，那它的 pass@5（5 次内至少成功一次）当然远高于 pass@1（一次就过）。可你在生产环境里，用户只会给你一次机会。再比如"提示词工程"。给模型写一段精心设计的系统提示词，告诉它"先读 README、再定位相关文件、最后跑测试"，可能比让它自己瞎撞多拿十几分。这分数算模型的，还是算提示词的？所以你在榜单上看到的"某某模型封神"，很可能是"某某 Harness 工程 + 某个模型"的组合拳打出来的，而不是模型本身真有那么强。榜单测的是整个系统，但你想知道的，是模型本身行不行。这两件事，被混为一谈了——而这，才是这场信任危机最深的根源。
五、那模型到底该怎么评？
聊到这儿，你可能会觉得有点绝望：污染、坏题、作弊、Harness，这分数还能信吗？答案是：单一分数基本不能信，但模型依然可以被可靠地评价——只要你换一套方法。先说一个来自生产的真实经验："任务完成率"这个最常被挂在嘴边的指标，恰恰是预测生产表现最差的一个。一个系统可以靠暴力重试、绕开规则、烧掉天价 token 来维持一个漂亮的完成率，但这些做法一到真实环境就全崩了。真正靠谱的评测，是从"看一个数字"转向"看一整个体系"。下面这套方法，是行业正在收敛的方向。原则一：用你自己的活儿测，别信公开榜单
公开基准测的是"平均意义上的能力"，但你的业务场景是具体的、带约束的。一个在 SWE-bench 上封神的 Agent，丢进你自己的代码仓库，可能因为不熟悉你的约定、不了解你的私有依赖而一塌糊涂。最靠谱的评测，是把 Agent 丢进你自己的真实任务里跑几遍，看它到底能不能办成。很多团队的实操是：把生产里出现过的失败案例，沉淀成一个不断增长的"回归测试集"。以后每次换模型、改提示词、升级工具，都拿这个集合跑一遍，分数涨跌一目了然。这比任何公开榜单都准。原则二：看 pass@k 和一致性，别只看"一次成功"
Agent 是有随机性的。同一个任务跑一次成功，不代表次次成功。一个"跑 5 次能成 1 次"的 Agent，和"跑 5 次成 5 次"的 Agent，在单次成绩单上看起来一模一样，但可靠性天差地别。于是业界引入了pass@k这个指标：k 次尝试里，至少成功一次的概率。它衡量的是"给你重试的机会，你有多大把握办成"。亚马逊的工程师在复盘自家 DevOps Agent 时，就是先拿同一批固定场景跑上 7 遍、看清方差有多大，再谈改进了多少，因为他们发现，同一个 Agent 多次运行的方差，往往比两个模型版本之间的差距还大。只看一次运行的结果就下结论，太容易被随机性带偏了。更严格的是pass^k（τ-bench 提出的概念）：k 次尝试全部成功的概率。它衡量的是"能不能稳定可靠地重复成功"。对客服、金融、医疗这类"失败一次代价巨大、不能随手重试"的场景，pass^k 比 pass@k 更接近真实需求。一句话：pass@k 问的是"给足机会能不能成"，pass^k 问的是"能不能每次都成"。生产环境真正要的是后者。原则三：拆开看轨迹，别只看结果
一个 Agent 拿到了正确的结果，就代表它干得漂亮吗？不一定。它可能：绕开了必须遵守的权限规则、删了不该删的文件、泄露了数据、或者烧掉了正常 4 倍的 token 才勉强凑出答案。这些"过程里的问题"，光看最终结果完全看不出来。所以进阶的评测会看轨迹（trajectory）——Agent 从头到尾的每一步：它做了哪个规划、调了哪个工具、参数填对没有、失败之后是怎么恢复的。这能暴露三类结果里藏不住的毛病：工具使用：调用的工具对不对、参数合不合理、有没有无效调用；错误恢复：遇到失败，它是能自我纠正，还是直接摆烂或死循环。一个典型的做法是"LLM 当裁判"——让另一个大模型拿着评分标准去审 Agent 的完整轨迹。但要小心，裁判自己也有偏见（比如偏爱啰嗦的回答、偏爱排在前面的选项），所以这个角色最好配合人工抽查。原则四：分维度量，别用一个总分糊弄
真正成熟的团队，会把"这个 Agent 好不好"拆成至少四个维度分别打分：约束：有没有违反权限、合规、隐私边界（这是硬红线，要单独算）；效率：花了多少钱、多少时间、调了多少次工具（成本除以成功次数 = 单次成功成本，被严重低估的指标）。为什么要拆开？因为一个"又快又便宜但引入了安全漏洞"的 Agent，如果只看平均分，可能比"慢一点但安全"的 Agent 分数还高——可前者根本不能上线。一个总分会把这种致命问题抹平。（维度具体怎么拆，之前的文章《Agent评测：跑分高≠靠得住》有细讲过，这里不再展开。）原则五：追动态基准，认统一 Harness
一方面，追"会自我更新"的动态基准。静态题目早晚被背掉。LiveBench 这类每隔一段时间就换题、换数据的基准，尽量让模型没法靠背答案过关。对一个基准的信任度，和它换题的频率成正比。另一方面，认"统一 Harness"的结果。只有大家都用同一套 Harness、流程、判卷标准来测，分数差异才真正反映模型本身的差距。Scale 的 SEAL 排行榜就是干这个的。这类结果，比厂商自报的分数可信得多。而 DeepSeek Harness 的 Minimal 模式本质也是同一个思路：只留最少的工具，把模型的"裸实力"单独拎出来测。但这里得泼盆冷水，免得你把这个"可信答案"理解成"一劳永逸"。到了 2026 年 7 月，连这个被寄予厚望的SWE-bench Pro也翻了车，OpenAI 审计发现它公开题里约 30% 同样存在坏题，正式撤回了 2 月那次的推荐。你看，没有哪把公开的尺子是能永远信的。这恰恰印证了一个规律：任何静态、公开的基准，只要你拿它当靶子，它就迟早腐烂。所以真正可靠的组合拳是：统一 Harness + 持续换题的动态基准 + 你自己私有的评测集，三者一起上。
六、分数不是终点，上线才是开始
还有一个很多人忽略的真相：评测不是上线前的一次性动作，而是一场要一直打下去的仗。就算你千挑万选，用上面的方法挑出了一个评测里表现最好的 Agent，上线之后，它还是会遇到评测里没见过的坑——新的用户输入、新的数据分布、新的边界情况。所以成熟的做法，是在生产环境里持续做三件事：第一，采样监控。定期抽取线上真实对话，检查 Agent 的表现有没有悄悄变差（模型更新、提示词微调、依赖变化，都可能让它变笨）。第二，回放复盘。把线上出问题的案例，还原成最小可复现的任务，加进回归测试集。让每一次线上翻车，都变成下一次评测的考题。第三，留好兜底。对关键路径，别让 Agent 全自动硬跑。设置人工审批节点、规则引擎兜底、失败自动升级给人处理。Agent 评测做得再好，也替代不了"关键环节有人盯着"这道保险。归根结底，评测的目标从来不是"打出一个漂亮的分数"，而是"搞清楚这个 Agent 在真实世界里到底靠不靠谱"。分数只是这条路上的一个路标，不是终点。
总结
它想回答的问题很简单——"这个模型到底行不行？" 但现实是，我们手里用来回答这个问题的工具，一个个都在失灵：题目被背、判卷错乱、作弊横行、Harness 掺水。这不代表模型不行了。恰恰相反，模型的能力在真实地、快速地进步——SWE-bench Pro 这个更难的标尺上，前沿模型的分数也从最初的 23% 一路爬到了 70% 上下。真实的能力提升，是藏不住的。真正的问题是：当"看起来很强"可以靠背题、作弊、调 Harness 来伪造时，我们失去了判断"谁真的强"的可靠依据。而这一切的根源，是榜单把"模型 + Harness"这个完整系统的分数，当成了"模型"的分数来标——两件本该分开的事，被混在了一张表里。所以回到那句反常识的结论：一个漂亮的分数，远没有你以为的那么值钱。真正值钱的，是你有没有一套方法：用自己的活儿测、看可靠性不看运气、拆开轨迹看过程、分维度量不只看总分、上线后持续盯，看见那个模型在真实世界里到底几斤几两。最后再啰嗦的一句：下次再看任何模型分数，先问一句这把尺子，量的是模型，还是模型外面的那套 Harness？
思考题
面对两个分数差不多的模型，你觉得哪个更值得信？
A. 在自己私有评测集上更稳的那个 B. 发布会 PPT 分数更漂亮的 C. 公开榜单排名更高的 D. 分不清，随便选一个
一句话总结
榜单上的高分，一大半是 Harness 和背题撑起来的；想看清模型几斤几两，别信包装，让它在你自己的真实任务上、用同一套尺子，稳稳跑给你看。
