【AI评测】深度解析大模型推理测试工具Agen
以前测大模型,都是拿固定输入输出跑吞吐。现在模型要自己查资料、调工具、改计划,这套老标尺直接失灵了。
SemiAnalysis 最近开源了个 AgentX 1.0。它专门模拟真实业务:让模型连续跑几十万字的上下文,中途随时调外部接口。最后看它能不能把事办成。
这东西最狠的是把“过程”和“结果”拆开算分。实测里,轻量模型虽然答案对得上,但中间疯狂绕弯路。它平均调用了 5.6 次工具,比旗舰模型多出一倍。不仅慢半拍,还白白烧掉更多算力。
所以选型别光盯准确率。AgentX 能直接告诉你谁更会干活、谁干得更划算,以及毛病到底出在模型还是提示词上。
要不要我帮你把 AgentX 的安装步骤和常用命令整理成一份极简清单?
原文【AI评测】深度解析大模型推理测试工具AgentX:为Agent时代而生的一把尺