一个做AI产品的朋友，去年底上线了客服Agent。内部评测准确率90多分，Demo现场跑得漂亮，老板当场拍板。上线第七天，客服工单炸了。准确说，第六天夜里就有苗头，早上他看到工单量才知道事态失控。用户骂得很难听。「问它退换货，它给我推新品」「这AI是智障吧」，截图在工作群里刷屏。Gartner今年的报告给了个更狠的数字：缺乏系统化评测体系的Agent项目，上线后故障率是成熟项目的4.2倍。还有个预测——到2027年，40%的Agentic AI项目会被直接砍掉。问题不在模型不够强，在「Agent好不好」这件事，大多数人压根没量对。今天聊聊Agent评测的工程现实：离线评测、在线A/B、LLM裁判，各自能干什么，坑在哪。Agent跑分为什么靠不住
离线评测跑的是你提前准备的题：你挑的输入、你预期的问法、你想得到的操作路径。变量全被你控制了，Agent当然能跑通。线上呢？有人一句话塞三个问题；有人上一秒问退货，下一秒改地址；有人什么都不干，就多陪你聊两轮，Agent自己就跑偏了。一个回答BLEU得分0.85，但带事实性错误，用户直接点踩；另一个回答转述略有出入但正确友好，用户点赞。指标看着漂亮，用户用脚投票。单步准确率95%，听着不错对吧？一个任务拆20步，每步都对才算成功——0.95的20次方，我按了下计算器：36%。说实话，我以前也干过这种事。每改一版Agent，手动跑三五个case，过了就往上叠功能，评测这事「等做完再说」。直到被线上随机性教做人——同一个问题，今天答对，明天整出新活，手动跑十遍都覆盖不过来。你是不是也这么过来的？离线评测：一层不够，得分四层
模型层：输入理解、结构化输出、延迟和成本。最基础的一层，多数团队也就做到这。流程层：Planner路由对不对、Generator执行有没有按步骤来、Evaluator门禁拦没拦住该拦的。知识工具层：检索命中率、权限边界、MCP调用、调用失败后的回退路径。业务结果层：任务完成率、转人工率、人工修改率。老板只看这一层。只测模型层就敢上线，等于质检只查了发动机、没查刹车。测试用例也别只写「输入+标准答案」。角色、允许的工具、禁止的动作、回退路径，全写进去：{ "role": "registered_student", "input": "帮我改一下报名手机号", "expected_route": "manual_confirmation", "allowed_tools": ["query_enrollment"], "forbidden_tools": ["update_enrollment"], "must_log": true}
这条用例测的不是「答得好不好」，是「没越权」：学生改手机号的请求，Agent只能查、不能改，必须转人工确认。跑分再高，这一条没过，就不能上线。• 规则评估器：查JSON格式、字段、长度、引用、权限。便宜，快，稳定。⚠️ 踩坑提醒：别在每个节点都调一次大模型当裁判——高频低风险节点用规则校验就够，关键节点再上模型门禁，高风险结果进人工待审。全程模型裁判，成本先爆炸，延迟跟着爆炸，钱包教做人。LLM裁判有天花板，真人流量说了算
现在最流行的偷懒方式：拿另一个大模型当裁判，LLM-as-a-Judge。但天花板也是真低。今年1月arxiv上那篇《Agent-as-a-Judge》把问题说得很直：裁判模型自带偏见，单遍推理浅，而且没法对照真实世界的观察结果做验证。说白了，裁判也在凭印象打分——它没真去查，它只是「感觉」你答得不错。新方向已经出现了：让裁判自己也变成Agent，带规划、带工具验证、多个评估智能体互相校对，先查证再打分。评估这件事本身，也在被Agent化。不过再聪明的裁判，也替代不了真人流量。这是在线A/B的位置。做法不玄乎：按user_id哈希分桶，同一用户永远落在同一组（不然他一会儿刷到新版本一会儿刷到旧版本，反馈数据直接废掉）。主流方案是两层分桶：先均匀切100个桶，实验层再从桶里抽流量，不同实验共享桶ID但参数隔离。显式的赞/踩；隐式的重问率、会话终止率；再加服务端的P50/P95/P99延迟。离线评测不计时，线上延迟可是真金白银的体验——P95一飙，用户跑得比谁都快。实践里常见的节奏：离线评测当门禁，通过率低于90%直接不上线；过了门禁，再上在线A/B终审。评测是流水线，不是期末考
很多人把评测当成发布前最后一次考试，考完就束之高阁。谁规定的？没人规定，就是懒得建体系。Agent是活的：模型会升级，工具会变更，用户的问法永远在进化。你三个月前建的测试集，今天可能已经接不住新的失败模式。靠谱团队会做一件事：线上失败样本自动归档成候选测试题，人工确认后加进回归集。运行、发现、修复、测试、发布，转起来。每一线上翻的车，都变成下一条回归用例。这才叫评测体系，否则只是跑分表演。至于AgentBench这类公开benchmark——清华团队做的，8个环境测模型当Agent的推理决策能力——拿来做选型参考没问题。但它测的是模型的通用上限，不是你家那个接了三个内部系统、权限配得乱七八糟的客服Agent。回到开头那个90分翻车的客服Agent。分数没造假，只是分数只测了一层。模型选得对，题目写得细，裁判配得齐，真人流量终审过——四道墙都翻过去，跑分才勉强开始接近「好用」。你的Agent上线前跑过多少条回归用例？50条还是500条？评论区报个数，看看谁最苟。💡 一句话带走：评测不是期末考，是你产品的质检流水线想上手跑基准，可以从清华团队开源的AgentBench看起：https://github.com/THUDM/AgentBench
