Agent 排行榜排的是模型or“模型 + 框架”

看 Agent 排行榜，我总习惯把每一行直接当成大模型的成绩。可斯坦福和 UIUC 的新论文一拆，榜上其实写的是“模型 + 框架”的组合分。

他们扒了 9 个基准、近 3 万次运行的数据，发现给组合排名稳得很；但要是想借此给底层模型排座次，可靠性直接掉到 0.148 到 0.841。因为“模型配框架”的搭配优势，这时候全成了噪声。

更反直觉的是，多加同类题根本修不好这事。题目加到无穷多，模型排名的可靠性最多也就再涨 0.097。只要每个模型只配一个框架，这堵墙就破不了。

那怎么测才准？得让同一个模型跑多个框架，或者把题分散到更多基准里。说白了，想挑现成系统照着榜单用就行；但要说哪个模型更强，至少得看它在多个框架下站不站得住。