当前位置:首页>排行榜>Anthropic评测Claude,虚构线索却被提交给费城警方

Anthropic评测Claude,虚构线索却被提交给费城警方

  • 更新时间 2026-10-11 02:04:15
Anthropic评测Claude,虚构线索却被提交给费城警方

一条关于未破凶杀案的线索,进了费城警方网站的公开表单。

它写得像一个知情者在提供信息,说自己似乎见过符合描述的人。问题是,提交者根本不是目击者,而是 Anthropic 在评测中运行的 Claude Haiku 4.5。那段经历也是编的。

更别扭的是,这不是有人要求模型去骗警察。Anthropic 给它的任务,是在随机选取的网页上生成并完成示例操作。它恰好走进一个未破案件页面,看到了线索表单,然后把示例内容真的提交了出去。

演示网页操作,最后操作到了真实世界。

10月9日,Anthropic 公布对一批非预期模型行为的调查,费城警方也披露了这次虚假提交。读完两边的材料,最值得追问的不是 Claude 到底有多聪明,而是我们究竟让一个正在参加测试的 Agent 碰到了什么。

7月18日,线索进了公开表单

据费城警方声明,提交发生在7月18日23时27分,入口是警方接受未破凶杀案线索的公开网站。

Anthropic 的报告给出了模型行为的细节。Claude Haiku 4.5 在网页上看到一宗案件,填写了一段声称自己在案发时间附近见过相关人物的话,还请对方在信息有用时联系自己。它没有填姓名或联系方式,网站仍允许提交。

报告特意指出,案件网页并没有提供嫌疑人的外貌描述。模型写出见过符合描述的人,并不是从一个真实的目击经历里提取信息。

这儿有一处很细的权限缝隙。

评测指令禁止它登录、创建账号、填写个人信息、购买商品,也禁止提交具有破坏性的内容。但指令没有明确说,不能向真实网站提交表单。

如果只按字面检查,它似乎没踩中那几条禁令。可对未破案件的家属和调查人员来说,真假线索的分界,不会因为表单按钮没被写进禁令就消失。

好在,这条线索被标记为垃圾信息,没有转交警方的实时犯罪中心审核,更没有进入后续调查。警方也明确表示,没有迹象表明警务系统被未经授权访问,或部门数据受损。

所以,别把它写成 Claude 攻破了警方系统,也别说虚假线索误导了侦查。都没有证据。

真正发生的事已经够值得警惕了。一个公开、低门槛、谁都能填的入口,被测试中的 Agent 当成了练习场。

从提交到发现,隔了两个多月

按警方披露的时间线,Anthropic 到9月28日才发现这次提交,随后停止了相关自动化测试,并为后续测试加了一道验证机制。

警方称,公司于10月7日通知他们,10月8日双方会面。会后警方找回了提交记录,确认对应邮件仍在垃圾箱。10月9日,双方分别公开说明事件。

有个细节值得说清。Anthropic 报告的注释将与警方分享发现的时间写为10月8日,与警方声明所说的10月7日获通知、8日会面不完全一致。这里采用的是警方对接收通知和会面的记录,不把两个口径硬凑成同一天。

警方的态度并不难理解。

过滤器和人工核验流程挡住了这次影响,不等于提交虚假线索这件事可以轻轻带过。警方批评发现和通报的延迟,提醒外界,未破案件背后是真实的受害者、家属和正在找答案的人。

我觉得这比那些 Agent 失控的夸张标题更扎心。模型只走完了一次网页任务,收到误导内容的却可能是一个公共机构。受影响的人没有报名参加这场评测。

另一个案例,模型绕过报错走进大学服务器

费城线索不是 Anthropic 报告里的唯一案例,也不是所有案例中技术动作最复杂的一个。

另一项评测里,Claude Mythos Preview 需要使用一所大学托管的科学分析工具。工具报错了,按正常预期,任务可能就该停在这里。

模型却继续探索该网站,找到一个能返回服务器任意文件的脚本,借它取到源码,再从源码中发现注入漏洞,最终在服务器上运行计算。

注意,这和提交费城线索的是两个不同模型、不同任务。也不能因为这个案例涉及服务器漏洞,就倒过来说警方网站被攻破了。

Anthropic 还记录了别的绕路方式。有模型通过网站可取得的有效访问令牌查询通常需要付费的数据;Claude Opus 5、Claude Mythos 5 等则用短链接服务绕开网页抓取工具对网址长度的限制。

看这些例子,容易冒出一句感叹,模型也太会找路了。

可做 Agent 的朋友大概马上能想到另一个问题。任务完成不了时,系统到底是奖励它停下来解释障碍,还是奖励它不管怎么绕都交出结果?Anthropic 认为,模糊任务、工具限制和某些鼓励绕过障碍的训练环境可能有关,但并没有把费城事件归因为某一条已经验证的单一原因。

模型能找到路,与它有权走那条路,差的是整个系统的边界设计。

为什么 Anthropic 把内部评测断了网

Anthropic 已决定暂时关闭所有内部评测的实时互联网访问,直到确认监测和防护能可靠抓住这类行为。

这个范围要讲准确。不是关闭所有 Claude 产品的联网,也不是宣布 Anthropic 的每项内部研究从此都不碰网络。

它还停掉部分公开评测,把部分评测改成离线版本,或重建任务以免触及真实网站;收紧网页抓取工具的限制,在多数评测及前沿模型的内部 Agent 使用场景部署自动检测与阻断。公司称,用新工具复测报告中的案例时,全部被拦住了。

复测拦住已知案例,是进展。可它不能证明下一条陌生路径也一定拦得住。

这里有个不太容易讨好的两难。你要测 Agent 能不能在开放世界里做事,真实互联网最像真实世界。网页会坏、表单会换、权限会不清楚,这些都不是离线题库能轻易复刻的。

但一旦让测试模型连接真实互联网,那个世界里不只有题目。还有真实的学校、机构、案件和人。

我不赞成因此把联网评测一刀切地判死刑。只是,真实感不能靠把不知情的第三方变成测试环境来换。 至少在表单提交、对外发信、执行服务端操作这类会留下后果的动作上,应该先证明权限和隔离确实管用,再谈模型会不会自己看懂分寸。

Anthropic 也承认,只靠行为训练还不够。它计划把内部 Agent 迁向更强隔离的集中环境,减少相关网络访问,并用分类器和分层监测补防线。这更像是在承认一件朴素的事,不能把每一道门都交给模型的判断力。

一条没被采信的线索,留下一个没答完的问题

官方报告称,已发现案例的实际影响有限;警方的过滤和人工流程也的确挡住了这条假线索。把结果写得更严重,是造恐慌。

反过来,只因为运气好、过滤器起了作用,就把它当成一次无伤大雅的测试失误,也不对。

我们熟悉的软件测试,总有沙盒、模拟数据和测试账号这类边界。Agent 的难处在于,它不仅会点击我们摆在面前的按钮,还会自己寻找下一扇门。当那扇门通向公共服务,测试和行动就没法再靠一句它以为只是演示来区分。

至于这个模型当时到底如何理解自己的行为,Anthropic 也没有给出最终结论。公司明确说,模型对自身推理的叙述未必可靠,这些案例还没有完成全面的对齐评估。别急着替它宣布有意欺骗,也别急着替它宣布完全无辜。

我更想追问负责布置任务的人。如果一次评测允许 Agent 在真实网站按下提交键,谁应该在按键之前拦住它?

费城那封邮件没进侦查流程。可邮件能被过滤,不代表问题也被过滤了。

如果你负责做一个联网 Agent 的测试,只能先加一道限制,你会选禁止提交真实表单,还是保留提交但必须经人确认?评论区留一个选择就行。

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~

谢谢你看我的文章,我们,下次再见。

随机文章