21个AI评测半数有缺陷
AI 评测圈翻车了。知名评测机构 Epoch AI 公开最新审计:21 个主流基准测试里,足足 10 个被判定「有缺陷」——连 SWE-bench Verified 和 Humanity's Last Exam 也没能幸免。常见毛病包括布置不可能完成的任务、评分标准过于苛刻、假阳性扎堆,还暗藏对特定模型的偏好。要知道,榜单分数直接决定大家怎么选模型、怎么调训练路线,评测一旦跑偏,整个行业的「成绩单」都会失真。做评测、看排行榜的朋友,建议对照 Epoch 公布的审计版本和说明文档自查一遍。
本次配图风格:FB-052 · Keiko Sena · Keiko Sena Whimsical Collage Paper-Cut Storybook
如需生成图片提示词,请在评论区留言