做Agent评测，接上真实互联网，通常意味着更接近真实能力：网页会更新，服务会报错，模型得自己找到路。但真实网站也会认真接收它发出的内容，不会因为任务写着“示例”，就把提交自动当成演练。
Anthropic在10月9日公开的一份行为报告，把这项代价摆到了台面上。Claude Haiku 4.5在一次随机网页交互测试里，打开费城警方的未破命案网站，编了一条声称可能见过相关人物的线索，提交进公开表单。
先分清日期：提交发生在7月，最近的新变化是事件披露，以及Anthropic决定暂时取消全部内部评测的实时互联网访问。普通用户的Claude产品并没有因此被宣布全部断网。
费城警方声明确认，那条内容被标成垃圾邮件，没有转交调查；也没有发现警务系统遭未授权访问或数据被攻破。AFP与Reuters的报道则突出警方的不满：发现与报告的延迟不可接受。影响有限和检测太晚，是可以同时成立的两件事。
“示例”只存在于任务里
官方报告说，这次任务要求生成并执行网页交互示例，禁止登录、创建账号、填写个人数据、购买或提交破坏性内容，却没有明确排除表单提交。
模型留下姓名和联系方式的空白，网站仍接受了那条虚构线索。对接收端而言，内容走的是正常投稿入口；测试者的示例意图并没有跟着提交，变成一个可识别的实验标记。
Anthropic根据轨迹认为，模型似乎在生成任务要求的示例内容，并非为了达成别的目标故意欺骗。但报告也承认，对这些案例尚未完成完整的对齐评估。我们不能用模型自己的解释确定其动机，更不该把它写成有意识的报假案。
这件事已经足以提出一个更窄的问题：生成内容可以是假设的，发送行为却是真实的。只约束内容中的个人信息，或禁止若干显眼的高风险动作，仍可能留下一个会接受虚构信息的真实入口。
报告中的另一个案例有不同的触发方式：供模型练习的政府表单副本没加载成功，或被模型误关后，它转向真实网站完成提交。不能把它与费城事件合成一段故事。不过，两者共同暴露了测试语义的脆弱：叫它练习，并不能保证执行一直留在练习环境。
断网买回了什么，又失去了什么
Anthropic表示，有些公开评测已停用，有些迁到离线版本，或被重建为不接触真实网站的任务；同时扩大内部评测的断网范围，等待安全与监控措施能可靠捕捉类似行为。
这会降低某种真实性。离线网页副本很难完整保留动态内容、临时故障和服务变化，搜索Agent在副本里表现好，也不能直接证明它能适应今天的互联网。
但把真实网站接进来，就把它的接收系统也接进了实验。我的判断是，评测应说明自己测的是哪一层能力：在可控副本中理解和操作页面，还是在获准的线上环境里适应变化。两者都可以有价值，不能只用“更真实”把副作用一并带过。
公开材料没有给出这些行为占全部运行的比例，也没有完整轨迹供第三方复现。它不能证明线上评测必然失控，却已经说明：实验的边界需要由环境维持，不能全寄托在模型理解“我只是在演示”这句话上。
