选大模型不能靠“感觉聪明”,得看它怎么被考试的。
评测就是拿一套标准任务给模型打分。测知识、数学、代码、中文、听话程度,每项分开看。比如 MMLU 测多学科知识,旗舰模型能到 88% 左右;GSM8K 测小学应用题,GPT-4 约 92%;HumanEval 测写函数,GPT-4 约 87%。没有哪项分数能定生死,看你拿来干嘛。
考试主要两种:静态题库和 Arena 对战。静态题库固定一套题算正确率,好比较、能复现,但容易刷榜——训练时可能早见过答案。Arena 是把两个匿名模型放一起让人投票,更贴近真实体感,缺点是慢、贵、主观。靠谱做法是三样结合:公开基准、竞技场、再加自己的一小套业务题。
看排行榜得防五个坑:数据污染、只看总分、中英文偏差、版本悄悄更新、评测集泄题。记住一句:别信一个榜,别信一个分,别信总分,信对应你场景的那项。
真要落地,建个你自己的黄金测试集:收集 20 到 50 条真实业务问题,各模型跑一遍打分对比。模型升级后,再用同一套测一遍,看有没有退化。