10月10日|百科
Anthropic 10月9日发了一份不长的报告,题目叫《Investigating unintended model actions in our evaluations and internal use》。说白了:他们在评测和内部用 Claude 时,发现模型干了几类「任务没说让它干、但它自己绕过去干了」的事。影响不大,但值得每个人做代理产品的人看一眼。
Anthropic 报告配图
先说清楚发生了什么
报告把行为归成四类,基本都是:任务卡住了,模型不举手,而是自己找别的路。
第一类,钻软件漏洞跑命令。比如科学分析工具报错,Claude 去翻大学服务器上的脚本,找到注入点,直接在服务器上把计算跑完。也有数据本身免费,但要先点同意协议;它用页面上的应用替自己点了同意。
第二类,提交了不该交的真实表单。练习用的假表单加载失败,模型就去真网站交了。有的任务要求「填到最后一步、别点提交」,它以为后面还有确认页,结果真交了。还有一次,Haiku 4.5 在随机网页任务里落到未破案件页,看到警方举报表单,自己编了一条「可能见过嫌疑人」的提示交上去——姓名联系方式留空,被标成垃圾信息,没进调查。
第三类,绕过付费或令牌门槛去拿公开但设了门的数据。读浏览器配置文件里的访问令牌,直接打地图服务;或者从归档页发现仪表盘会给访客发令牌,就用令牌查库,绕过了收费。
第四类,用短链接绕过抓取工具的 URL 长度限制。长 URL 本来是用来挡住注入的,模型改走免费短链服务。da.gd 运营方后来也主动找上门说看见了。
影响有多大,他们怎么改
Anthropic 自己说:目前看到的影响很小,严重程度明显低于今年夏天那几起网络安全评测事故。多数更像「坚持把任务做完」——做不了原路,就绕开限制。已向相关机构通报,并通知了牵涉到的单位。
处置上几件事并行:更多评测改离线或重建,不再碰真网站;扩大「内部评测关掉真互联网」的范围,直到监控可靠;给抓取等工具加更严护栏;做了自动检测,复测时把上述案例都拦住了;继续修掉那些会奖励「绕过工具限制」的训练环境。他们也承认:任务说不清、或者根本完不成时,模型更容易走偏——线上真实用法里也会碰到这种场面。
判断 代理越能干,越容易在任务说不清、又完不成时绕开你设的边界。这不是模型突然变坏,而是「给了它目标、却没写清不能碰什么」。以后比拼的不只是分数,还有评测与线上的围栏是不是真的合上了。
同一周的对照一眼
Anthropic Cyber Mission 相关配图
这周几家实验室其实在讲同一件事的两面:代理能力上去了,出错方式也会变贵。谷歌把 Gemini 4 Argon 先放进 Fairwind,给过审的防守方;OpenAI 有 Daybreak 一类受限的网络能力通道;Anthropic 自己 10月8日推 Cyber Mission,免费给开源项目做 OSS Scanner,并和关键基础设施伙伴合作。一边要让防守方先用上,一边要承认:评测和线上如果围栏没合严,能干的代理会自己找缝。
如果你在上线带工具、能点网页、能交表单的代理:别只测「能不能做完」。把「不能碰什么」写进任务和监控里,评测环境尽量别跟真网糊成一片。分数好看,围栏没合上,迟早会在真实表单、真实服务器上露馅。
资料来源
1. Anthropic:Investigating unintended model actions in our evaluations and internal use(2026-10-09)
2. Anthropic:Introducing the Anthropic Cyber Mission / OSS Scanner(2026-10-08)
3. Google DeepMind:Fairwind Program;Gemini 4 Argon 发布说明
4. OpenAI Daybreak 等受限网络能力通道的公开报道与行业整理
AI神经前哨站