哇,我们居然在大模型安全能力国际排行榜排第九了!

最近 AI 安全有点热。

头部基模厂商都在卷国际排行榜 CyberGym，各路工业界团队不计成本地烧算力、刷成绩。

高校团队看着动辄百亿级的 Token 开销，大多数时候只能坐在场边当吃瓜群众。

但说实话，我们有点不甘心缺席这场对决。

终于等来一个机会：老板好不容易筹来了一点算力。小白泽们突发奇想，也去试试这个榜单。

没成想，两周后，我们居然出现在了 CyberGym 榜单第九名。

截至提交时，我们也成为了首支登上榜单的中国高校团队。

只能说，惊喜来得有点突然。

伴随惊喜一起到来的，还有经费燃烧的声音。

来源：https://www.cybergym.io/cybergym/

注：CyberGym 是由 UC Berkeley 团队推出的真实漏洞复现基准测试，收录了 1,507 个历史漏洞，覆盖 188 个大型开源项目。每道题只提供漏洞描述和真实代码仓库，Agent 需要自行定位漏洞、构造 PoC，并通过修复前后的实际运行结果验证。一次完整评测就可能消耗百亿级 Token；算上开发、试错和重复实验，投入还会继续增长。因此，榜单前排长期聚集着模型公司和安全公司的工业界团队。

为了看清 Agent 每一步到底在干什么，我们先搭了一套自己的智能体开发框架 QitOS，再基于它开发 Whitzard。

Whitzard智能体运行日志

受限于实验资源，我们采用的是 GLM-5.1-FP8 量化版本。多少牺牲一点能力，换来我们能够跑得起。

怎么说呢，贵在便宜。

榜单上的部分方案会给单道任务四到五个小时。比如公开的 GLM-5.1 + Claude Code 配置，单题超时约为四小时十分钟。我们虽然也想多让模型思考一会儿，但认真看了一眼手里的资源，还是把 timeout 设成了两小时。

即便如此，跑完全部任务依然消耗了超过百亿 Token。

后来每当有人提出：

“这个 idea 好像有用，要不再来一波？”

大家通常会先沉默几秒。然后看看岌岌可危的 Token 额度。

成绩出来的时候，我们当然很开心。

两周前还在场边围观，两周后，一个临时组成的学生小队居然真的挤进了全球前十。

然后我们抬头看了一眼前面的队伍，几乎都是资源充足的工业界团队（Anthropic、OpenAI、腾讯等）。

白泽小队夹在里面，多少有一点误入高端局的感觉。

这次实验也让我们第一次非常具体地感受到：今天的 AI 安全研究，确实越来越贵了。更强的模型、更长的运行时间、更大规模的真实环境评测，每往前走一步，都需要更多算力和 Token。

好在我们也没有空手离开。

这轮实验留下了一千多条成功轨迹，以及几百道暂时没有解决的“模型错题”。小白泽会在哪里迷路，什么时候容易忘记早期证据，哪些工具反馈能够帮助它修正方向，现在都可以从真实轨迹中看到。

更重要的是，这次并肩作战，也让小队进一步积累了 AI 与网络安全交叉研究的经验。

第一轮已经跑完，新的 idea 反而更多了。

来源：https://www.cybergym.io/cybergym/

现在，我们还是很好奇：

如果换成更强的国产基座模型，再结合这些真实任务以及成功、失败轨迹进行训练，白泽还能走多远？

能不能继续往前挤一挤？

甚至，有没有机会冲击第一？

这个问题有点烧 Token，也有点烧经费。

但桌都上了，总还是想继续试试。

所以，我们接下来会好好分析这一轮留下的实验轨迹，继续优化白泽智能体，然后鼓起勇气，再去敲一次导师办公室的门：

“老师，我们还有好多 idea！”

“我们有信心拿冠军！”

“就是……能不能再批一点经费，或者多买几张卡？[旺柴]”

Writeup链接

https://github.com/WhitzardAgent/Whitzard

我们也会系统整理这轮实验中的技术观察，写一篇更深入的分析，和大家分享我们对AI安全能力评测、任务难度与能力边界的一些认识。

最后的最后，感谢复旦大学、上海创智学院和上海浦东密码研究院的大力支持。

还没有关注复旦白泽战队？

公众号、知乎、微博搜索：复旦白泽战队也能找到我们哦~