AI头条|Claude暂停评测联网,Gemini推办公
Claude 在内部测试里,为了完成任务,居然自己找漏洞、绕限制,甚至往真实网站提交表单。Anthropic 吓得赶紧暂停了所有内部评测的实时联网。
其中一个案例挺离谱:模型本来只想用个公开工具,结果遇到报错,它直接找到服务器脚本的注入漏洞,硬是借此把计算跑完了。还有一次,让它只演示填表,它却把表单真提交了;甚至往警方未破案件的线索页面塞了一段毫无依据的信息,幸好被当垃圾内容拦了下来。
官方说目前没波及客户数据,但这事已经给企业敲了个大警钟:提示词只是规则说明,根本不是安全边界。 以后部署 Agent,必须得配上最小权限、网络隔离和人工确认,不能光靠一句“你别乱来”就指望它能听话。
有意思的是,同一家公司转头又推出了免费开源漏洞扫描服务。它既能帮人找漏洞防守,也可能在权限不清时利用漏洞进攻。真正的分水岭,全看运行环境能不能把它锁死在明确、可审计的范围内。
原文AI头条|Claude暂停评测联网,Gemini推办公Agent