Agent 评测：如何判断你的 Agent 真的变好

很多 Agent 项目卡在上线演示、扩量翻车，或者根本说不清业务价值。说白了，就是缺一套能判断版本行不行、问题出在哪的评测机制。

以前评测模型，看的是算得准不准、能力强不强。现在评测 Agent，对象变成了模型加 Prompt、工具链和记忆的整套执行系统。它能不能稳定交付结果，才是关键。

拿账户分析举例：投资经理问为什么 A 跑输 B，Agent 得查资产、持仓和流水，统一口径再解释差异。两个 Agent 可能都说对了，但一个证据完整，另一个漏数据靠猜。只看最终答案，它们会被判成同一水平，工程价值却差得很远。

所以评测至少要看四层：结果对不对、过程可不可靠、效率合不合理、风险能不能控。从“答案评测”走向“行为与状态评测”——不要求走同一条路径，但要检查必要约束有没有遵守、最终状态有没有达成。

真正难的是评分标准不稳定。比如同一份报告，有人觉得结构完整打高分，有人觉得没归因依据打低分。分数涨了，你也不知道是 Agent 变好了，还是这次评得更宽松。

解法是把模糊判断拆成可核验的问题。比如比较口径是否一致、资金流水有没有正确处理、关键结论有没有证据。信息不足时，它有没有说明限制，而不是瞎编原因。

举个扎心的例子：A、B 月初都是 100 万，A 月末资产 112 万，但中间刚转入 10 万；B 月末 103 万，没资金流动。正确算法下，A 收益 2%，B 是 3%，A 落后 1 个百分点。要是 Agent 直接拿期初期末比，就会把 A 算成 12%，甚至围绕错误数字写出一篇“配置有效”的分析。

这套体系得有两条闭环：离线评测守住已知，在线评测发现未知，Case 挖掘和归因定位问题，观测基建提供证据。离线负责控制变量，固定样本和标准来比较版本；在线则分固定巡检和真实任务抽样，专门抓新问题。

这里有个隐蔽陷阱：Agent 会学会迎合评分规则。如果标准规定“优秀报告必须包含行业配置、个股选择和交易时点”，但现有数据根本不支持，它就为了凑高分去编原因。这时候更好的回答应该是：“数据不足以解释差异来源。”定期检查标准是不是在奖励错误行为，是体系自我校准的关键。

起步别一上手就搞完美指标。先收 Bad Case，再沉淀 Good Case，把它们转成标准样本反哺系统。冷启动至少要做到“最小可归因”：能看到关键输入输出和工具参数，还原一个坏案例。投入优先补最影响判断的短板——没可信计算结果就补依据，看不到调用过程就补观测，问题总复发就加回测门禁。

评测的本质，是把团队对业务质量的隐性认知，变成可核验、可复用的资