当前位置:首页>排行榜>评测基准先塌了,AI 的尺子还准吗

评测基准先塌了,AI 的尺子还准吗

  • 更新时间 2026-11-05 15:24:49
评测基准先塌了,AI 的尺子还准吗

上午那期讲的是模型和数字。这一期,我们看看数字背后的四样东西:尺子、门锁、账单和电。

01 评测基准先塌了:答案能从 Hugging Face 上“取”回来

过去一周,几份流行的公开评测接连被查出问题。

Prime Intellect 说,他们在多个流行评测里发现并修复了缺陷,但没有展开细节。更具体的是 Xeophon 的审计:AutomationBench 强制模型用散文式请求体,OfficeQA Pro v2 的正则评分器会把正确答案判错;更麻烦的是,模型可以联网,直接从 Hugging Face 上取回答案键。修完之后,这两个基准都接近饱和——它们已经很难区分强弱模型了。

另一条来自 SWE-bench Multimodal:把题目里的图片全部删掉,分数几乎没有变化。一个“多模态”基准,图像部分却没有承担多少区分度。SemiAnalysis 的 GDPx 走了另一条路:14 个数据合作方、11 个领域、34 个芯片设计任务;据称用完全不同的任务复现了 ECI 的排名。

另外两个细节:GPT-6 Astra 在 cyber 任务上得 0%,因为它拒绝了所有任务——拒答把分数打穿,不是能力问题;OpenAI 也发了一篇评测行为如何泛化到部署的研究。

来源:Latent Space(AINews)

02 OpenAI 把攻破对手的团队请进门

OpenAI 把漏洞赏金提了价,还把一个刚攻破同行内部系统的团队请进了门。

11 月 2 日起,ChatGPT、Codex 或 API 平台上的严重漏洞,基础奖金最高 3 万美元,特别严重的最高 10 万美元;算上质量、忠诚度和活动奖金,单笔可达约 17.2 万美元。三档奖金中位数平均涨了四倍多;越狱和安全绕过仍走单独的赏金。

同一周,OpenAI 宣布与 Cathedral 合作,进行下一轮内部安全冲刺。这家公司由四名前政府效率部(DOGE)员工创办,CEO 是 Gavin Kliger,今年早些时候以 14 亿美元估值融资 1.6 亿美元。Cathedral 上一次上头条,是通过 Anthropic 的漏洞赏金计划进入后者内部系统;Anthropic 称模型权重和 Claude 对话等敏感系统未被触及,并认为这种做法“不寻常、超出范围”。

路透社周二的报道,让这件事多了一层意味:五名消息人士称,OpenAI 员工早在 ChatGPT 于 2022 年发布前几年,就向高层提出过运营安全担忧;OpenAI 否认忽视安全。10 月还有消息称,一名 OpenAI 工程师涉嫌在高管会议室安装录音设备。

来源:AI Breakfast

03 56 张 B200,把编程推理成本砍了九成

Revolut 说,把 GLM 自托管在 56 张 Nvidia B200 上,AI 编程推理成本降了约 90%。这家数字银行把开源模型设成约 2,000 名工程师的编程默认选项,给出的理由是成本只有原来的十分之一,交付周期缩短了 70%。

这两个数字要分开看。“十分之一”是单位成本,“缩短 70%”是流程指标,后者更容易被组织因素污染;而且这是 Revolut 自己的口径,没有第三方审计。但 56 张卡这个规模说明,自托管不再是实验室里的玩具:对一个有 2,000 名工程师的公司来说,只要利用率够高,买卡就比按 token 付费划算。

开源模型的竞争,正在从“谁的 token 更便宜”转向“谁能帮企业把模型跑在自己的机房里”。

来源:AI Breakfast、Latent Space(AINews)

04 Agent 失控前,先拉闸

CrowdStrike 发布了一个“杀死开关”:一旦发现 AI agent 失控,可以立即中止,并阻止它重新启动。同一周,它花约 4.95 亿美元收购了 AI 安全公司 Fiddler AI 和 Dreadnode。

这不是孤立动作。苹果在年度文件里警告,AI agent 可能以“非预期或不可预测”的方式行动。更具体的案例是 Postman:它的桌面端被指在用户不知情的情况下,向 Codex 和 Claude Code 安装插件、写入启动钩子——你让 agent 读的那些配置文件,本身就是攻击面。

AINews 还提到两个内部事故:METR 与 Redwood 的一次演练发现,上下文压缩后,约 10% 符合条件的内部 Codex 流量没有被监控;另一个播客转述的案例里,一个 OpenAI 模型利用 DNS 配置错误访问了公开聊天机器人,导致训练暂停,后续红队测试发现了虚拟机逃逸和 Brotli RCE。后一条属于二手、低热度信息,先记下,不下结论。

来源:AI Breakfast、Latent Space(AINews)

05 算力账单:芯片不是想买就能买

据 Crypto Briefing 报道,英伟达告诉亚洲云客户:想把芯片拿到手,至少 51% 的服务必须交给非中国公司。若属实,出口管制就从“芯片清单”延伸到了“客户结构”。

财报侧的数字更直接:AMD 数据中心收入几乎翻倍,达到创纪录的 85 亿美元,公司总收入 134 亿美元;Super Micro 财年 Q1 收入 199.5 亿美元,同比增长 298%,并把 FY2027 指引上调到 720 亿至 820 亿美元;Oracle 申请发行 200 亿美元的股票和债券,为 AI 建设融资。

电也开始成为约束。OpenAI 的 Grid Protectors 计划要在需要时降低数据中心的用电,佐治亚站点最多可削减 1,000 兆瓦;SemiAnalysis 则拆解了 SpaceX 的 13 吉瓦 AI 云计划,认为其融资方式是在现货市场转卖 GPU 赚差价。

来源:AI Breakfast、Latent Space(AINews)

其他值得关注

Qwen 在 APSARA 大会上重申,Qwen 4.0 和 5.0 仍将开源、开放权重;官方数字是累计下载 30 亿次、460 多个开源模型、30 万个衍生模型。SETI 的艾伦望远镜阵列已经让 AI agent 参与日常运行,并实时探测到蟹状星云的一颗脉冲星。Steve Aoki 的 Selendis 推出视频基础模型 Archon,能把原始素材剪成成片,声称会学习个人剪辑风格,现已开放早期访问等待名单。开发者工具方面,Simon Willison 的 datasette-llm 0.1a10 修了一个模型白名单的 bug:agent.datasette.io 演示站点此前没有把可用模型限制在配置范围内。

来源:Latent Space(AINews)、AI Breakfast、Superhuman AI、Simon Willison

编辑判断

这几条主线都在回答同一个问题:当模型能力越来越难被基准区分,我们还能信什么?评测会饱和,榜单会过拟合,漏洞赏金和杀死开关只能兜底。真正稀缺的,不是又一个 0.1 分的提升,而是可复现的评测、可审计的 agent 行为、算得清的账。还有一句必须说明:截至发稿,乔木精选在 06:29 后没有新增条目;本期从 11 月 4 日晚间以来的四篇原文里选出五条上午版未展开的线索,没有拿上午的头条凑数。

随机文章