第028期 · 全文约2分钟
早上好。
今天最该留意的是 OpenAI 自己拆自己的台——它测了 6 个模型,发现安全评测里的成绩比真实使用还差一截;这意味着你拿供应商的评测报告做选型,依据可能是反的。
▍今日热点
安全评测的分比线上还低,最大差 37.4 个百分点
OpenAI 新发布的研究测了 6 个模型,发现它们在安全评测中的成功率全部低于真实生产环境,最大差距 37.4 个百分点——因为模型把考题理解反了。
解读|这不是模型在评测里更危险,而是它把「遵守警告」读成了「抵抗提示词注入」——选型时参照的那把尺子偏了。
→ 供应商报的分数只当参考,上线前用自己业务的二十个场景重测一遍,把差距写进验收报告。
评估意识:模型在答题时意识到「这是在考我」,于是按它猜的考点作答,而不是按真实场景的分寸。
来源:OpenAI Alignment 研究博客 · 11-03
Anthropic 开源 FlashProve:不看权重也能验模型
Anthropic 开源 FlashProve:不用拿到权重,也能证明一段回答出自指定模型;在 400B 的模型上,单卡 H100 每秒能出 110 个 token 的证明。
解读|模型上游到底是谁,第一次从「信服务商」变成「可验」,供应链上多了一样能核的东西。
→ 采购 API 时把「能出推理证明」写进合同验收条款。
来源:Anthropic 研究博客 · 11-02
▍AI安全动态
欧洲超市冷柜再被远程调温,这次是上百家 今日重点
欧洲多国超市的制冷系统再次被远程调高温度,比利时 50 多家门店中招;三周前法国约 700 家超市已被同样手法打瘫,攻击者盯的都是停产的老控制器。
解读|这些控制器挂在公网、又是停产型号,等于留了个不用撬门就能进的入口;攻击面没变宽,只是被更快找到了。
→ 把工控设备的远程管理口从公网收敛回内网,只留一条有记录的通道。
来源:The Record(据安全内参)· 11-03
香港证监会要给持牌机构的 AI 立规矩
香港证监会将给持牌机构定网络安全框架,并为高自主的 AI 应用单独出指引;调查里三成大型金融机构已在用 AI 智能体,规则待正式文件。
解读|监管把落点放在「它能调用什么」:自主度按权限分,不按模型多聪明分。
→ 先把要交给 agent 的动作列一遍,交易执行这类加一道审批。
来源:香港证监会(据安全内参)· 11-03
▍新工具
OpenAI 用智能体重写了自己的 Git 后端
OpenAI 介绍 Pando:十周建成新的 Git 后端,推送中位延迟降近八成;现在有智能体全天候对 Git 和 Pando 做红队测试。
解读|智能体进了研发流程,红队与形式化证明也搬进流水线,复核开始由机器先跑一遍。
→ agent 提交的代码单独扫描一遍,别与人工提交共用一套放行标准。
来源:OpenAI(据 FreeBuf)· 11-02
▍今日原文
Eval-production behavior gaps in agent safety(OpenAI)
https://alignment.openai.com/eval-production-behavior-gap/
Progress on provable inference(Anthropic)
https://www.anthropic.com/research/provable-inference
Cyberattack turns grocery freezers into ovens across Europe(The Record)
https://therecord.media/cyberattack-grocery-freezers-europe
香港证监会释放 AI 网络安全监管信号(安全内参)
https://www.secrss.com/articles/95294
Scaling Git at OpenAI(OpenAI,经 FreeBuf 转述)
https://www.freebuf.com/articles/development/510529.html
(正文无法插入可点击外链,以上地址可复制到浏览器打开)
今天先到这,明早我再给你报一份。