周一早上,区域经理请 Agent 汇总上周三家直营门店的经营数据。几分钟后,周报有图、有结论,看起来可以直接发。业务同事核对来源,才发现第三家直营店没被查到,汇总里却多了一家加盟店。这是本文用来说明评测方法的示意场景。
这份周报至少要回答三个问题。文件生成了吗?门店和统计口径对吗?哪里出了错?如果系统只记录「生成成功」,团队甚至不知道,这个错误已经被算成了一次成功交付。
美团技术团队在《Agent 评测全览》里给出了一套分工:一条闭环改进 Agent,另一条闭环改进评测本身。 两条闭环会用到同一批线上案例。区别从团队如何解释这些案例开始。
图 1:同一份周报可以触发两类改动,一类修正 Agent 的行为,一类修正判断它做得好不好的方法(示意图)。
端到端评测看用户收到的结果。 对周报来说,能否打开是基础。正文需要覆盖指定的三家门店,每项指标要有正确的统计区间,关键结论要能回查来源。哪怕所有工具都正常返回,少了一家门店,这次交付也不能通过。
过程评测把问题定位到步骤。 拉出运行记录,看 Agent 实际传给数据工具的门店清单、工具返回的范围,以及汇总用了哪些记录。请求里指定了 A、B、C,工具却收到 A、B、D,排查就该先看门店识别和参数生成。如果工具收到的清单正确,返回里缺了 C,则应复核接口结果和数据是否齐全。
验过程时可先盯住决定成败的动作。先查哪家店、后查哪家店通常无关紧要。实际查了谁、漏了谁,才决定这份业务汇总能否使用。
图 2:结果证据回答周报能否交付,过程证据帮助定位哪一步需要复核。依据美团《Agent 评测全览》第 2.1.2 节和本文周报场景整理。
观测基建留下执行轨迹。 一条 Trace 把同一次任务的输入、工具名和关键参数、返回结果、最终产物关联起来。复盘时可以沿记录找出周报中的数字从哪里来。
离线评测把已知要求放到上线前检查。 提示词、模型或工具换了,就用固定样本、标准和尽量一致的环境回测,确认指定门店仍能查全。
在线评测与监控发现真实运行中的变化。 抽查实际周报的覆盖与可用性,同时看调用失败率或时延。调用成功和任务成功是两项信号,要分别核对。
案例挖掘与归因把信号送到能处理的人手里。 团队从异常和反馈里挑出有代表性的任务,结合执行证据判断要修技能、查数据,还是改评测样本和标准。
图 3:离线拦截已知退化,在线发现新问题,案例归因确定处理方向。这些环节都要用执行记录。依据美团《Agent 评测全览》第 1.4 节和第 5 节整理。
回到漏门店的周报。第一条闭环从修 Agent 开始。假设轨迹显示 Agent 把一家同名加盟店当成直营店,团队可以让取数时使用明确的门店 ID,再用同名门店和正常门店的用例重跑。这样能看出修复解决了什么,也能检查原有的任务是否退化。
图 4:从周报回查请求、工具参数和返回列表,可以分辨错店发生在取数前还是取数后(场景示意)。
第二条闭环从检查评测开始。如果旧题都用名称唯一的门店,就补一道同名门店题。如果旧评分只看报告是否成稿,就加上「报告门店 ID 与本次任务确认的范围一致」的核对项。同一次失败由此留下一个可复用的案例,供后续改动回测。
这两条路径也需要分别验证。团队可以拿同一份旧周报验证新规则能否识别错店,再用同一版通过校准的规则比较修复前后的 Agent 表现。前一次验证的是评分是否找对问题,后一次才回答系统有没有变好。
图 5:线上案例归因后可以进入两条迭代路径,更新后的评测集继续用于 Agent 的离线回测。来源为美团《Agent 评测全览》第 1.2 节。
如果版本一换就容易犯旧错,先把已知失败变成回测任务。如果上线后一切显示正常,却总靠用户报错才知道问题,先抽查真实交付。如果知道周报错了却查不到当时用的门店清单,先补运行证据。如果错报一直在旧规则下拿高分,先核对评分项有没有测到业务要求。
下次团队讨论「这个 Agent 行不行」,可以从最近一次失败的交付开始。看你能否拿到足够的证据,把它转成一项明确的修复,并让下个版本当场复验。做到这一步,评测才开始影响下一次交付。
美团技术团队《Agent 评测白皮书》系列 01《Agent 评测全览》,2026 年 9 月 10 日。
原文地址:https://tech.meituan.com/2026/09/10/Agent-Evaluation-White-Paper-01.html
人人会AI-智能体进阶
把工具变成方法,把方法变成流程,把流程变成自己的 AI 工作系统。