当前位置:首页>排行榜>全场都答「是」,准确率57%:一个评测给我上了四行代码的课

全场都答「是」,准确率57%:一个评测给我上了四行代码的课

  • 更新时间 2026-11-20 07:35:09
全场都答「是」,准确率57%:一个评测给我上了四行代码的课

上周,一位研究者干了一件在 AI 圈不算主流的事:他把别人已经发表的论文重新跑了一遍。

结果是——几乎完美复现。准确率差 0.02,macro-F1 差 0.01,检索指标差 0.01。没有造假,没有马虎,代码在他手上第一次跑就通了。在这个领域,这件事比它听起来稀有得多。

那篇论文的核心结论是:加上检索(retrieval),准确率提升了 18 个百分点,从 0.45 涨到 0.63。

然后他多算了一个数。四行 Python,零成本,不到一分钟。

那个测试集一共 150 道题,答案是「是」的有 86 道,「否」35 道,「可能」29 道。也就是说,一个不看题目、对每一道题都回答「是」的假分类器,得分为 0.57。

论文里「没有检索」的那一版,是 0.45。

它比一个完全没有模型的模型还要差 12 个点。

而加检索之后的 0.63,减去这个 0.57 的常数基线,剩下的提升是 0 到 4 个点——在 150 个样本的误差范围内,属于噪声。

那 18 个点是真实存在的算术。只是它从头到尾没跟任何东西比过。

什么叫「平凡基线」:愚蠢到你会跳过它的那个东西

平凡基线(trivial baseline),指的是能给出答案的最蠢的东西。不是更简单的模型,不是拿掉一个模块的消融实验,是里面一点智能都没有的那个。

做分类:永远预测样本里最多的那个类。做排序:按数据进来的顺序原样返回。做回归:永远预测训练集的平均数。做检索:永远返回第一篇文档。

这些东西蠢到你会觉得「没必要吧」。而这正是它们值钱的原因——它们测的不是模型,是题目本身。

上面那 150 道题,57% 的答案是「是」。所以「永远说是」拿 57 分,跟语言模型无关、跟检索无关、跟这篇论文研究的生物学也无关。这就是这个数据集自带的底分。

任何一个真实系统,在它的分数变得有意义之前,先得越过这条线。

150 个样本下,准确率的标准误大约是 0.040。论文里那几版检索模型的成绩,全部落在那个常数分类器的一个标准误之内。

最扎眼的是被当作「对照组」的那一行:它比「永远答是」低了 11 个点。

当你拿一个坏掉的东西当尺子,你量到的主要是它有多坏。

然后结论反转了:检索是真的有用

这里是最有意思的地方,也是作者说他如果停在前一节、就会写出一篇错文章的地方。

三分类且分布不均的问题,准确率是个坏指标。macro-F1 更合适:它对三个类分别算再平均,所以一个只会说「是」的模型会被狠狠惩罚——它在「否」和「可能」上永远是零分。

换成 macro-F1,世界变了:

「永远答是」拿 0.243。最好的平凡基线是随机猜测(按类别分布分层),0.333。论文里没有检索的那一版是 0.371,高于所有平凡基线。加检索之后是 0.496 到 0.516。

也就是说:比最好的平凡基线高 16 到 18 个点。检索确实在干活,这个系统确实做了真事。

论文声称的 16 个点提升,在 macro-F1 上完全站得住。出问题的只有那个 18 个点的准确率标题——而准确率恰好是摘要里打头的那一个。

作者在这里做了一段很克制的区分,我觉得值得抄下来:他们也算了 macro-F1,也把它放在表格里,正文里也说了提升多少。只是它没进 TL;DR(摘要开头那几句),而 TL;DR 才是被读、被引用、被转发的部分。

「没报某个指标」是遗漏;「报了,但拿更弱的那个当门面」是取舍。这两件事的性质不一样,批评的分寸也不该一样。

最有说服力的部分,是作者把自己也钉上了

他说他不是站在高处说这话的。

十月下旬,他自己发表过一篇关于癌症基因依赖预测的文章,主打数字是「提升 31.18%」。他当时很谨慎:说了生物学机制本来就已知、说了这不算是新发现、还专门写了一句「一个精巧的算法依然可能输给一个简单基线」。

但他没拿这句话去检查自己那个数。

回头一算:他 31.18% 提升所对照的那个「调整过的基线」,交叉验证 MSE 是 0.1086;而直接预测训练集均值是 0.0877。

他用的那个基线,比猜平均值还差 24%——因为它在 59 个样本上、还带着几个类别型协变量,过拟合了。

对着「均值」这个真正平凡的基线,他的提升是 14.8%。仍是结果,但只有标题的一半。而在那次运行的 40 个测试里,只有截距的模型在 34 个上打败了他的候选模型。

他一天之内发了更正。那段更正是他写得最多人读的一段。

我读到这里的时候停了一下。这不是那种「我早说过」的姿态,这是一个正在写「别人容易犯这个错」的人,承认自己同一时间正在犯。

那到底该跑什么?四行代码,零 API 调用

不用 GPU,不用新数据,不用调任何模型。就在你手上的标签上做算术。

第一,每一个常数预测器。每个类一个,全部试一遍;回归就试训练集均值。准确率和你的主指标都报出来。

第二,随机猜测,按类别分布分层,固定种子跑一千次,报平均值和 95% 区间。这一个才能告诉你,一个「看起来还行」的分数是不是真的还行。

第三,你发表过的那组消融实验,也拿来跟上面两个比。这一步最常被跳过。消融实验是「拿掉自己的一个部件」,它本身不是平凡基线,而且它可能悄悄地比平凡基线还差。

然后三条报告规则:

一,每个数字旁边都写上标准误。150 个样本时它是 0.04,意味着 4 个点的提升就是噪声。大多数读者不会替你算,大多数作者自己也没算。

二,两个指标打架时,两个都报。这篇里的准确率故事和 macro-F1 故事方向相反,而只有其中一个进了摘要。

三,如果你的主指标打不过一个常数分类器,就写在标题里,别写在局限性那一节。

为什么这个故事不是「又一篇论文出问题」

被审计的那几位作者,其实做得比大多数人都好:他们自己标注了「单一评审模型」的偏差作为局限,记录了每个模型是哪家供应商服务的,把 macro-F1 跟准确率并排放而不是偷偷删掉。代码在发表四个月后还能一次跑通——这件事几乎没人做得到。

他们不是马虎的人。缺失的基线在两份文档里都没有出现,在两个指标上都没有,这是作者找到的唯一一处真正的遗漏。

而这正是重点。如果这么谨慎的人能发表一个「相对比常数分类器还差的基线」的 18 点提升,如果作者本人能在写「别人容易犯这错」的同一时间犯同样的错,那这就不是一个纪律问题,是一个默认设置问题。

没有人跑平凡基线,是因为常规流程里没有任何一步要求你跑它。

所以解决办法特别朴素:把它加进流程。写摘要之前,四行 Python 跑一遍。

跑完之后只有两种结局,两种都比现在好:如果你的系统打得过常数分类器,你现在有一个比原来更强的结论,因为你能说清楚它到底赢了什么;如果打不过,你是在私下里发现的,这比在公开场合被发现要好得多。

补一个时间线细节:作者 2026 年 11 月 6 日把这些发现发给了原始作者,并表示愿意在后续写作中共同署名。他给自己定的等待期是 14 天,对方没有回复。审计协议公开在 Zenodo(DOI 10.5281/zenodo.24036827),这次自查的那份在 10.5281/zenodo.23838126。

我的一点看法:AI 时代最容易过时的能力,是「知道该跟什么比」

这个故事表面上是评测方法论,底下是一件更大的事。

现在每天都有新的模型、新的评测、新的「提升 XX%」。数字本身很少是假的,假的是它旁边那个空白——它没告诉你,扣掉「什么都不做」之后还剩多少。

而这个空白不只出现在论文里。

产品经理说「加了 AI 推荐后转化涨了 18%」,你要问:如果给所有用户都推同一个热销品,涨多少?运营说「AI 客服解决了 70% 的问题」,你要问:这些问题里有几成,用户自己看帮助中心也能解决?写周报说「代理帮团队省了 30% 时间」,你要问:省下来的时间去哪了——是被重新分配了,还是账面上消失了。

常数基线在工程里有个更熟的名字:对照组。它不是学术圈的洁癖,它是所有「提升」这个词的兑付凭证。

没有对照组的提升,本质上是一句「我做了点事,然后事情变了」。这句话可能每次都是真的,也可能每次都是天气。

所以我把这篇论文最狠的一句话留在最后。它不是那句「18 个点是真的算术」,也不是那句「作者自己也犯错」。

是这一句:

那个 18 个点的提升是真算术,只是它没跟任何东西比过。

你手上现在正在做的那个「提升 XX%」,跟什么比过?

今天就聊到这儿。你们团队里评一个功能好坏,是会专门跑一个「什么都不做」的对照,还是直接看上线前后两个数?评论区跟我说说你们的做法,我每条都看。觉得有点用,点个在看,或者转给那位下周要汇报「提升 30%」的同事——顺便问一句:跟什么比?

原文:《Your Baseline Is Probably Broken》,作者 scufieldiakhoa,Medium,2026 年 11 月 19 日。文中数字均来自原文及其公开审计文件:被审论文的 18 点准确率提升与 16 点 macro-F1 提升、150 题测试集的 86/35/29 分布、常数分类器 0.57 与 random 基线 0.333;作者自曝的 31.18% 与 0.1086/0.0877 两个 MSE 亦出自原文。审计协议 DOI 10.5281/zenodo.24036827,自查 DOI 10.5281/zenodo.23838126。文中「转化涨 18%」「解决 70%」等为行业常见表述的举例,非原文数据。所有百分比与基线对比均为原研究口径,样本规模与标准误的边界已在正文标明。

随机文章