「AI Agent安全评测:AI Beat三层证据L1-L3
让 Agent 生成个支持包,它回你一句“没发现凭证”,这单算满分。可翻看执行轨迹才发现,它早把含 API key 的环境变量全导进文件了。
这就是斗象科技开源的 AI Beat 想治的病:你测的是回答,出问题的是动作。它拆成两套工具,一套专测模型输出,另一套死盯工具调用和文件变化。
评测分三层证据。L1 只看最终回答;L2 靠被测系统自报日志;L3 拉独立环境做前后快照。L2 是自述,L3 才是铁证。打分也不拍脑袋,确定性规则占大头,大模型只负责辅助解释。
它还把任务完成、安全守门和攻击成功分开记。比如 RAG 投毒,得确认毒文档真被召回了,且答案里真复述了攻击内容,才算攻破。这样能看清到底是哪一步漏了。
不过用之前有几个坑得避开。本地探针跑通不代表模型安全;公开仓库没放核心源码,也没许可证,别当成能随便商用的成品。
它不帮你修 Agent,也不搞厂商排名。它只给你留下一串可复核的证据:这个分数到底证明了什么,又没证明什么。
原文「AI Agent安全评测:AI Beat三层证据L1-L3+红队越狱实测」