做 Agent,最怕"Demo 很美,上线翻车"。为什么评测 Agent 比评测普通模型难得多?本期用波普漫画风格,3 分钟讲清 Agent 评测的核心实践。
视频从"Demo 只能证明成功过一次"切入,拆解结果指标(任务成功率)与过程指标(工具调用、步数、Token、合规性),并指出只看"过关"会漏掉"蒙对的"和"绕远路的"两种假成功。随后介绍 SWE-bench、WebArena、AgentBench、GAIA、τ-bench 等公开基准,区分 pass@k 与 pass^k;最后落到实战:用"选任务—定成败线—端到端跑—接进 CI"四步搭建自有评测集,并以 10% 人工抽检校准偏差。
记住一句话:公开基准横向比能力,自己的评测才决定能不能上线;把评测当成产品的一部分,它才不会在生产里翻车。