Harness-Aware 评测入门：同模型换脚手架，

前阵子跑 Agent 评测，发现个挺离谱的事：模型没动，只换了套脚手架，分数和排名直接变了。

后来翻资料才明白，Agent 跑分从来不是只看模型权重。它其实是四样东西一起决定的——模型、脚手架、环境、评分器，再加上预算和重复次数。Vector Institute 那篇综述说得很直：不把这四样写清楚，68% 和 72% 的差距，可能根本不是模型差，而是脚手架没配好。

脚手架到底管什么？说白了就是上下文怎么拼、工具怎么调、权限怎么卡、错了怎么重试。它就像赛车的车架和换挡逻辑，发动机再强，车架不对照样跑崩。

Harness-Bench 拿近 300 个沙箱任务实测了一把，结论很扎心：同一后端下，不同脚手架的满分率能差出 13.5 个百分点；而且没有哪套脚手架在所有后端上都赢。更贵也不一定更好——某配置成本是 OpenClaw 的快 3 倍，满分率反而更低。

最狠的是 TraceTrial-Bench 的发现：约三成的 run，答案是对的，但过程不合格。也就是“结果过了，机制没过”。放到生产里照样致命。

所以现在跑评测，我都先锁死模型和环境，把脚手架单独 A/B 测一遍，再去看榜单。