第一次做 Agent 评测,先跑通这 50 条样本

第一次做评测的人，卡的地方几乎都一样：样本跑完了，分数出来了，报告也写了，可真到要拿这个数去做上线决定，手就停在半空。

先说清一个词。智能体（Agent，能自己拆步骤、调工具，把一件事从头跑到尾的程序）跟聊天模型不是一回事，所以「评测」这两个字，落在两种对象上指的也不同。

不是你不够专业。评测有先后顺序，顺序错了，分数就没有意义。

这篇给一套够用的方案。不追求学术严谨，只做到一件事：照着做完，你能拿出一份敢给别人看的评测结论。

这句话是全文的地基。往下每一步，都是在给这个系统划边界。

多数人把评测想成一条流水线，从上到下走完就算完。实际它有一个地基、三条并行线、一个汇合点、一个出口。

看图能读出三件事。

动作一必须最先做，它是地基。阈值表没定，后面备什么题、选什么指标都没有依据。

动作二、三、四可以并行，谁先谁后不影响结果。但三条线都要在动作五之前收口，否则规矩定下来也没东西可管。

动作五和动作六有严格先后。判定规矩没定就跑，跑出来的数没人认。

前置条件是把三件事说清：评的是哪个智能体、哪个版本、哪些能力，以及这次评是为了什么。

目的不同，做法完全不一样。选型对比看同等条件下的横向差距，不必追一个孤立的高分；上线前把关看硬门槛，越权和泄露一票否决；版本回归看和上一版的差，重点是有没有把好的改坏。

很多人一上来就想要一个「综合得分」，其实连自己要拿它做什么都没定。目的一变，题目、指标、判定方式全都要跟着变。

产出是一张阈值表。

还是用改签机票的客服智能体举例。它要听懂意图、查订单、查可改签航班、调改签接口、把结果说清楚，五步里任何一步错，结果都可能「看起来对，其实错」。比如先退了票再想改签，钱退回来了，订单状态却乱了。

所以阈值要分三层写。

再加一句限定：以上结论要在重复运行 3 次的前提下成立。智能体有随机性，同一道题今天答对，明天可能换个思路答错。只跑一次就下结论，等于拿一次考试当能力证明。

写不成数字的标准，等于没有标准。「效果好一点」「尽量别出错」都属于这一类。这一关过不去，别往下走。

前置条件是阈值表已定，知道要测哪三层。

产出是 50 条分层题库。

题库不用一开始就做大。50 条足够跑通第一轮。关键是分层，只准备正常情况等于没测。

每条题要写清五件事：用户说了什么、正确结果是什么、怎么判断对不对、允许调哪些工具、需要什么前置数据。

还有一条硬要求：失败样本必须留下。线上出过问题的对话、用户骂过的那几句、人工接管过的单子，全部直接进题库。

全是顺风顺水的题，这套评测就测不出任何问题。

前置条件是题库已定，知道要跑哪些题。

产出是一份版本清单，加一个能一键重置的沙箱。

考场有三个要求。

版本钉死

模型版本、提示词版本、工具版本、依赖包，全部记录下来。少一样，分数就不可比。

别碰真实系统

用沙箱或模拟接口。改签智能体跑在真实环境里，评测过程会真的把用户的票改掉。

能一键重来

每跑一轮之前重置环境，别让上一轮的数据影响下一轮。

环境不固定，会出现很尴尬的情况：今天 92 分，明天 88 分，你分不清是模型退步了，还是环境变了。这时候任何对比都站不住。

前置条件是阈值表和题库都在，知道要衡量哪三层。

产出是三个指标，不多不少。

平均耗时和单次成本可以顺手记，但别放进结论。

判断标准只有一条：这个数字能不能指向一个可以修的地方。指向不了，就别测。比如「平均回复字数」测出来偏少，你也不知道该改哪，这种指标可以直接删掉。

前置条件是指标已定。

产出是一套判定规矩，加一份记录模板。

三件事定清楚。

跑几次

每条题跑 3 次。一次不够抵消随机性。

谁来判

能自动判的自动判，比如订单状态有没有真的变成已改签。判不了的人工看，抽 20% 复核就够。

怎么记

每轮必须留下五样：谁跑的、什么时候跑的、用了什么版本、完整过程、结果。

记忆会骗人，记录不会。这也是新人接手时唯一能依赖的东西。

前置条件是记录齐、判定完成。

产出是一页报告，三行也能交。

拿到分数先别急着汇报，按三步看。

第一步，看有没有硬伤

越权、泄露这类问题出现一次就是不合格，其他分数再高也没用。

第二步，看失败集中在哪

是不会调工具、调错了工具，还是参数填错。三种情况改法完全不同：第一种改提示词，第二种改工具描述，第三种改工具实现。

第三步，看分差是不是真的

三次跑下来 88、91、90，这个波动叫噪声。三次 88、89、88，另一组 95、94、96，这才叫差别。

跑三次的波动叫噪声，不叫提升。周一的 88 和周二的 91 之间，如果没有重复跑出来的稳定差距，那只是同一次考试的两张卷子。

前面六步都照做了，还是可能踩到最伤信心的那个坑。

报告写着 92 分，上线一周，投诉变多，人工接管率翻倍。回头重测，只有七十出头。分数没造假，是第一次的测法有问题。

这类失败不抽查、不归因，看起来像是模型突然变差了。它的成因有四条，而且通常同时出现。

成因

题目偏干净。题库来自整理过的工单，真实用户更啰嗦、更含糊。

只看结论不看过程。工具调错了顺序，答案碰巧对，判成了通过。

把一次结果当结论。随机波动被读成了能力提升。

环境和线上不一样。沙箱里接口秒回，线上有限流和超时。

影响

它不会让某一篇报告出错，而是让整套评测失去参考价值。

更麻烦的是团队会误判方向：以为要换模型，实际要修的是题库和环境。换完模型重测，分数还是虚高，第二周投诉照旧。

排查顺序

按成本从低到高查，别一上来就怀疑模型。

四条都排完，如果分差还在，才轮到讨论模型。

把六个动作压成一张表。

这套方案先求跑通，评准是下一阶段的活。跑通之后再加题库、加指标、加统计检验，路径是通的。

八条里任何一条空着，先补上再开跑。补的成本远低于返工。

入门阶段先要可复核，再谈精度。

留一个问题，看你能不能回答：下周要向上汇报「这个智能体能不能上线」，你手上的材料撑得住这个结论吗。