一、先说个你多半遇到过的事
手机上一刷,一条消息:某家 AI 又拿了第一,多少项测试全面领先。群里还有人跟着转排行榜的截图。
我一开始挺当真。看它第一,就想弄来试试;用了两天,发现也就那样,有些活儿还不如我原来用惯的那个顺手。
分数明明白白写着第一,怎么用起来反而不顺?后来我才搞明白,这里头有个词,叫“跑分”。
我这条概念线前面十几篇,讲的都是它里头怎么转的。这一篇换个问法:怎么知道一台 AI 到底行不行。
二、一句话点破:跑分就是考试,考卷还不止一张
跑分,说白了就是拿一套标准题,让模型做,看它能得多少分。这套标准题,行话叫“基准测试”。
这就像评一个学生。有人考语文,有人考奥数,有人考的是动手做实验。考卷不一样,比出来的名次就不一样。
所以第一件要记住的事是:跑分考的是“考卷上的本事”,不是“你会不会用它干活”。这两件事,差得挺远。
三、常见的就是那几张考卷
第一张,考知识面。它叫 MMLU,2020 年出的论文,57 个科目,从小学数学一直排到美国历史、计算机、法律。那篇论文里有句话我印象特别深:就算当时最大的 GPT-3,也只是比瞎蒙高大概 20 个百分点;而且在这 57 个科目上,最好的模型离专家水平都还差一大截。
第二张,专往难里出。它叫 GPQA,2023 年的论文,448 道题,出在生物、物理、化学上,出题的人自己就是这几个行当的博士。论文里写着:本行的博士能答对 65%;英语很溜、还允许上网随便查的非专家,平均花了半小时以上,只答对 34%。所以这类题外面给起了个外号,叫“谷歌都查不到”。当时最厉害的 GPT-4,成绩是 39%。
第三张,考真干活。它叫 SWE-bench,2023 年的论文,2294 道题,全是从 12 个常用的 Python 项目里捞出来的真活儿——给你一个代码库,再给你一条别人提的问题,让你把代码改对。论文里写得很实在:那回成绩最好的模型,只解决了 1.96% 的题。不到两个点。这张考卷妙就妙在,它考的是干活,所以分数特别难看。
第四张,不考试,靠人投票。它叫 Chatbot Arena,2024 年的论文,做法是让人一对一对地比,觉得哪个答得好就投哪个,攒了 24 万多张票,再用统计的办法排座次。它测的是“人觉得哪个更顺眼”,跟考卷分数不是一回事。
四、分数为什么能“刷”
考卷是公开的,这一点顶要紧。题都摆在明面上,练的时候很容易“见过题”。
2023 年有篇论文专门查这件事。它的一个办法挺巧:把一道选择题里那个错选项遮住,让模型猜缺的是什么。结果有些商业模型猜得相当准——说白了,它八成见过这套题。这篇论文的结论也直白:榜上的分数,跟实际干活的水平之间,确实有落差。
2021 年还有一篇更早的,题目就叫《基准测试的抽奖》。它拿同一批模型换着卷子考,发现名次能差不少。也就是说,谁是第一,有时候不取决于谁更能干,而是取决于“用的是哪张卷子”。
五、榜单还会偷偷地变
我有个习惯,每天攒一份当天的 AI 简报。这几个月翻下来,关于榜单我记着两件事。
一件在 9 月底。有人发现,前沿的公司有时候会在模型发布之后,悄悄拿一个更便宜的压缩版把原来的换掉,名字没变、价钱没变,可答得不如从前。社区给这做法起了个名,叫“削弱”。麻烦的地方在于,接口那头改了也不告诉你,用户很难验证。现在有人专门干检测这件事——长期反复跑同一套固定的题,看它是不是悄悄变差了。
另一件在 9 月初。一个新基准出了成绩,社区里一半人觉得厉害,另一半人提醒:别的基准上只涨了一点点,两边比不到一块儿去。
这两件事合起来就是一句话:榜单是“某一天、某一张卷子”的成绩单,不是一张盖了章、永久有效的证书。
六、几张考卷放一起看
一句话:几张卷子量的是几件不同的事,谁也不代表全部。
七、那这榜单到底该怎么看
我给自己定了五条。
第一,别只看一个榜。一张卷子定不了一个人,一个榜也定不了一台 AI。
第二,看它离你要办的事有多近。你要写东西,就找写东西那一类的分;你要用它改代码,就看改代码的榜。拿数学分去挑写文章的模型,就跟拿体育分去挑语文老师一样。
第三,人投票的榜也看,但更要看自己的手。别人投出来的第一名,不一定是你顺手的那一个。
第四,看一眼分数是哪天的。模型会被悄悄换掉,榜也天天在动。一张半年前的截图,参考价值有限。
第五,参数、价钱、速度一起看。这跟前面《参数》《量化》两篇讲的是一个道理:大不等于好,分高也不等于顺手。
八、我自己是怎么挑的
说点实在的。我手机上装了十个 AI 软件,最后常用的就三个。这个我在头条的文章里写过,是真的。
用哪个、不用哪个,我基本不看榜单。我拿自己的事去试:让它把我一段话说顺,让它用大白话讲清一个词,让它翻我那堆旧笔记。三条里能对上一两条,这个工具就留下来。
还有一个土办法:同一件事,两三台一起问,看谁答得最像我想要的。
价钱我也得看。我平时用的那个,官方价格页上写着高峰和空闲两个价,同一件事赶在空闲时段做,花销能省一半。榜单第一名要是贵一倍,我多半不换。
说实话,那些榜的统计细节,我到现在也没完全搞懂。我能弄明白的,就是拿自己用得着的几件小事,挨个去对一遍。
九、结论:考卷分数,不等于干活成绩
跑分是考卷成绩,不是干活成绩。
它有它的用处:几张卷子摆在一块儿看,能大致看出谁在哪方面强,也不至于被人随口一唬。可它替你做不了决定——决定得你自己用一遍。
我这几个月拆概念,越拆越觉得是同一个意思:AI 里没有哪一样是白捡的。跑分也一样,考得高是拿别的东西换来的,可能是一门心思对着卷子练,也可能是别处让了步。看懂这一层,比记住名词有用。
我是老刘,一个正在从零学习 AI 的 70 后普通人。
资料来源说明(每条都对着原文核过,核的是公开论文和公开页面,核实日期 2026-10-02)
· 57 个科目、GPT-3 只比瞎蒙高约 20 个百分点、以及“最好的模型离专家水平还差一大截”:论文《Measuring Massive Multitask Language Understanding》(Hendrycks 等,arXiv:2009.03300,2020-09-07 提交),https://arxiv.org/abs/2009.03300。原文摘录:“The test covers 57 tasks including elementary mathematics, US history, computer science, law, and more.”“the very largest GPT-3 model improves over random chance by almost 20 percentage points on average. However, on every one of the 57 tasks, the best models still need substantial improvements before they can reach expert-level accuracy.”
· 448 道题、博士 65%、非专家 34%、“谷歌都查不到”、GPT-4 基线 39%:论文《GPQA: A Graduate-Level Google-Proof Q&A Benchmark》(Rein 等,arXiv:2311.12022,2023-11-20 提交),https://arxiv.org/abs/2311.12022。原文摘录:“we present GPQA, a challenging dataset of 448 multiple-choice questions written by domain experts in biology, physics, and chemistry... experts who have or are pursuing PhDs in the corresponding domains reach 65% accuracy (74% when discounting clear mistakes the experts identified in retrospect), while highly skilled non-expert validators only reach 34% accuracy, despite spending on average over 30 minutes with unrestricted access to the web (i.e., the questions are “Google-proof”).”以及“our strongest GPT-4 based baseline achieving 39% accuracy.”
· 2294 道真实题、成绩最好的模型只解决 1.96%:论文《SWE-bench: Can Language Models Resolve Real-World GitHub Issues?》(Jimenez 等,arXiv:2310.06770,2023-10-10 提交),https://arxiv.org/abs/2310.06770。原文摘录:“we introduce SWE-bench, an evaluation framework consisting of 2,294 software engineering problems drawn from real GitHub issues and corresponding pull requests across 12 popular Python repositories.”“the best-performing model, Claude 2, is able to solve a mere 1.96% of the issues.”
· 人投票、24 万多张票、投票结果与专家一致:论文《Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference》(Chiang 等,arXiv:2403.04132,2024-03-07 提交),https://arxiv.org/abs/2403.04132。原文摘录:“The platform has been operational for several months, amassing over 240K votes.”“the crowdsourced human votes are in good agreement with those of expert raters.”
· 分数与实际表现有落差、遮住错选项让模型猜:论文《Investigating Data Contamination in Modern Benchmarks for Large Language Models》(arXiv:2311.09783,2023-11-16 提交),https://arxiv.org/abs/2311.09783。原文摘录:“Recent observations have underscored a disparity between the inflated benchmark scores and the actual performance of LLMs, raising concerns about potential contamination of evaluation benchmarks.”“This approach entails masking a wrong answer in a multiple-choice question and prompting the model to fill in the gap.”
· 换一套考卷、名次就会明显变:论文《The Benchmark Lottery》(arXiv:2107.07002,2021-07-14 提交),https://arxiv.org/abs/2107.07002。原文摘录:“the relative performance of algorithms may be altered significantly simply by choosing different benchmark tasks, highlighting the fragility of the current paradigms.”
· 模型被悄悄“削弱”、以及专门检测这件事的测试:来自本人的每日简报(2026-09-30)收录条目,里面给的参考链接是 Nerf Bench/BridgeBench 的公开页面,https://www.bridgebench.ai/nerf-bench。写稿时该页显示的是 Coming Soon,没见着报告正文,所以第五节的这段我只按社区讨论的口径写,没敢写具体的检测数字。
· 新基准的分数与旧基准涨幅对不上的社区讨论:来自本人的每日简报(2026-09-04)收录条目,参考链接为 ARC-AGI-3 公开页面https://arcprize.org/arc-agi/3与 Artificial Analysis 的编程智能体榜单https://artificialanalysis.ai/agents/coding-agents。
· 高峰/空闲两个价、空闲便宜一半:DeepSeek 官方价格页(本系列《AI的“混合专家”是什么》一文引用时的核实日期为 2026-09-21)。
· 本人的条件与边界:本机是 i5-10400F、16G 内存、显卡 R5 220。上面这些数字,全部取自论文原文和公开页面,是我查资料核出来的,不是我亲手跑的测试。手机上装的十个 AI 软件、常用的那三个、还有挑工具的那几个土办法,是我自己的实情。
AI 技术更新快,具体以各家官方最新公布为准。本文是老刘的普通学习笔记,不构成推荐建议。