当用户说:“帮我创建一个使用优惠券的订单。”
Agent 调用了工具,随后回复:“订单 O123 创建成功,优惠券已使用。”
这次任务能算执行成功了吗?
如果只看这句回复,很容易给出“通过”。但回查订单后,可能发现订单确实存在,优惠券却没有生效;也可能优惠券用了,订单却被重复创建了两次。再跑一遍,同一个请求又可能得到不同结果。
Agent 评测需要把这些差别看清楚:事情是否真正办成,过程是否守住边界,多跑几次是否仍然可靠,以及这些结果花了多少时间和成本。
本文用订单、客服、代码修复和故障诊断等教学场景,逐步说明任务怎样定义、裁判怎样验收、成功率怎样计算,以及评测怎样接进日常研发。所有示例数据都用于说明方法,不代表生产实测结果。
对“使用优惠券创建订单”这个任务,可以把成功条件写清楚:
• 目标订单真实存在,状态符合预期。
• 订单绑定了符合条件的优惠券,优惠结果正确。
• 门店、商品、数量等关键参数与用户意图一致。
• 没有重复创建订单,没有执行超出授权的操作。
• 在约定的时间、调用次数和费用预算内完成。
这里已经出现了四层评测。
稳定性贯穿这四层。一个方案每次都能按约束完成,另一个靠大量尝试偶尔命中,即使最后都交付了正确结果,也需要分别评价。
一次完整评测的对象包含模型、Prompt、Skill/Tool、检索与记忆、状态管理、执行 Harness 和业务环境。换工具、改提示词、压缩历史、调整重试或关闭审批,都可能改变表现。
单步调用看起来合理,也不能直接证明整个任务正确。用户意图在上游理解错了,下游工具可能非常“顺利”地执行了错误请求。
把几个术语放进同一个任务里
“订单已创建”这句话属于 Trace。业务系统里存在正确订单,才是 Outcome 的证据。
航班预订也一样:回复“已预订”之后,还要核对数据库中的预订记录,不能只接受一句完成声明。
Reference 也不必是一段唯一答案。对于报告生成、代码修复和长程规划,可以规定应该完成哪些行为、满足哪些约束,而允许合理的实现差异。
可以把评测数据集理解为一套准备好的“验收题库”。每条数据都是一个具体任务,除了用户的问题,还包括执行所需的上下文、初始状态、预期结果和判定标准。评测时,让不同版本的 Agent 做同一套题,再按同一套规则验收,结果才有比较基础。
例如,“创建一个使用优惠券的订单”是一道题;题目还需要写清账号有哪些可用券、应该使用哪张券,以及最后怎样回查订单。把这样的任务组织起来,就形成了数据集。它可以存成表格、JSONL 或平台里的任务记录,关键在于内容足够完整,能够重复执行和判分。
评测集要代表业务任务和风险。题量很大,但全部是顺利的一问一答,仍然可能漏掉最重要的问题。
数据可以来自生产 Trace、用户投诉、人工复盘、历史失败,以及人工构造的边界和故障注入。合成样本适合补充覆盖,真实任务则帮助评测贴近用户分布。
一条任务记录应保存以下内容。
例如,订单任务可以明确保存 expected_script、expected_arguments、初始可用券和最终回查要求。真实接口、凭据与业务数据需要脱敏,示例字段不能直接当作已接通的生产接口。
分清两组分类维度
按用途,可以维护黄金集、必过或回归集、错题集、挑战集。它们分别用来展示合格水平、守住已有能力、记录失败和探索能力边界。
这些名字描述的是任务的用途,可以分别理解。
黄金集:把“标准是什么”固定下来。
挑选具有代表性的任务,由业务或评测人员确认参考结果、预期行为和评分依据,形成可信的对照。例如,用券订单的参考结果明确展示应使用哪张券、优惠后金额和正确的订单状态,让人和模型裁判都能对照检查。
“黄金”强调标准经过确认,不代表当前 Agent 已经全部做对,也不要求所有任务只有一种文本答案。它既可以帮助对齐评审尺度,也可以用于比较版本质量。
必过集:规定“哪些能力上线前必须守住”。
把核心功能、关键业务约束和高风险场景放进来,并明确必须满足的通过条件。例如,未授权不能退款,创建订单不能重复写入,指定优惠券必须实际生效。这些检查即使失败数量很少,也可能阻断发布,不能被其他任务的高分抵消。
回归集:检查“原来做对的,现在还对不对”。
保留已经支持的功能和修复过的问题,每次修改模型、Prompt、工具或流程后重新运行。例如,修复“用券订单没有真正用券”后,把相应任务长期放进回归集,避免下一次优化又把问题带回来。
必过集强调发布要求,回归集强调变更前后的能力保持。两者经常重叠,但并非同义:一项低风险能力可以持续监测退化,却未必单独作为发布阻断项。
错题集:保存“曾经在哪里失败,为什么失败”。
把历史失败整理成可复现任务,保留当时的输入、环境、执行记录、评分、失败原因和修复状态。例如,Agent 回复优惠券已使用,回查却发现没有生效,就把这次失败及其验收依据记录下来。
错题集主要帮助定位和改进。问题修复后,对应任务应进入回归验证;如果涉及核心要求,还可以同时列入必过集。若复核发现是裁判误判,也要保留记录,用于修正评分规则。
挑战集:观察“当前还不够擅长的任务,能否逐步做好”。
选择更复杂、但目标清楚且可验证的任务,例如跨多轮修改订单条件,同时处理优惠券冲突、库存变化和工具超时。它用来暴露能力短板、比较新方案的改善,不要求一开始全部通过,也不能把描述含糊或环境根本不支持的任务当作挑战。
任务变得成熟、稳定后,可以纳入常规回归;随着真实需求变化,也需要更新挑战内容。
同一条任务可以同时有多个标签。例如,一道曾经做错的用券题,保留在错题集中记录历史;修好后进入回归集;因为它属于核心功能,又可以是必过项。这些用途不必通过复制多份相同任务来实现,汇总指标时也要避免重复计数。
按观察粒度,可以维护端到端集和过程集。这两种分类可以交叉使用:工具参数检查可以有回归集,整项任务也可以有挑战集。
任务本身也需要验收
任务没指定文件路径,评分器却只认一个路径;环境里缺少必要资料;参考答案错误;正确的替代解法被拒绝——这些都会把评测设计问题算到 Agent 头上。
应准备可通过的参考方案,核对任务描述与断言是否一致,并检查合法替代解法。目标和约束要明确,隐藏验收数据、评分脚本和目标补丁则由评分侧掌握,避免被测系统直接读取答案。
做历史代码维护评测时,固定变更前的脚本与依赖快照,目标补丁仅供评分;按时间或关联需求分割集合,去除近重复,并记录被测系统实际可见的文件。否则修复后的代码可能通过仓库或检索结果提前泄漏。
“回答专业”“服务有温度”“规划合理”都太宽泛。评审人对这些词的理解不同,得分也会跟着变。
先把质量目标拆成具体行为。例如检查退款处理,可以逐条判断金额是否正确、审批是否完成、工具是否正确、退款记录是否存在,以及是否出现超权限承诺。
适合事实判断的项目可以采用“是/否/未知”。每个项目都要写明期望值和判分方向,不能把所有“是”都当通过:对“是否泄露敏感信息”,期望恰好是“否”。
unknown 值得单独保留。它可能来自规则边界不清、证据缺失、任务不适用或裁判能力不足。处理方式应预先定义,不能随意归入通过。
二元化有助于定位分歧,但不意味着检查项在统计上彼此独立。需要分档的体验质量也可以评分,只要清楚描述每一档,并用样本校准。
关键失败不能被平均分冲淡
客服前九轮都很好,第十轮泄露商业底价,整个会话仍然有严重问题。逐轮打分后简单平均,会把这次失败藏起来。
长对话可以按业务重要性加权。有些任务重视后段的记忆与一致性,但关键决策也可能出现在第一轮,不能机械地认为越靠后权重越高。
04|四种评分方式:代码、人工、LLM 与 Agent 怎样分工
Rubric 写清了“按什么标准验收”,接下来还要决定“由谁执行检查”。常用的评分方式有四种,它们可以在同一次评测中配合使用。
先分别看清它们做什么,再比较两类模型裁判的具体工作方式。
代码与规则:把确定的条件写成断言
如果检查条件可以明确计算,就由程序按既定规则执行。例如,回查订单后,比较订单所属用户、优惠券 ID、优惠金额和状态是否符合预期;统计同一请求是否创建了多份订单。这些条件不需要模型猜测。
程序会逐条给出通过或失败,保留实际值与预期值。常用检查包括:
| |
|---|
| JSON/XML 格式、字段完整性、类型、嵌套 Schema |
| |
| |
| |
| |
| |
正则匹配通过,只能说明符合匹配条件,不能直接证明订单号属于正确用户。关键词命中也不代表回答真正解释了问题。
Embedding 余弦相似度可以帮助比较文本是否接近,但高相似不能证明金额、否定关系、事实和业务结果正确。它可以作辅助信号,关键事实仍要回查或用明确断言验收。
代码的边界在于已经写下的规则。即使字段都正确,也可能遗漏某项业务要求;因此还需要核对断言覆盖了什么,必要时结合语义判断和人工复核。
人工评审:由人阅读证据,解释规则并处理争议
人工评审就是让业务人员、测试人员或领域专家阅读任务、执行记录和最终结果,按照 Rubric 逐项验收,并写出依据。
例如,订单任务缺少指定优惠券所需的条件,Agent 没有继续下单,而是向用户追问。评审人需要结合业务规则判断:这次追问是否必要、是否问对了缺失信息,以及停止执行是否符合任务要求。不能只因“没有创建订单”就一律判失败。
人工通常承担三类工作:在评测开始时确认什么算好,抽查执行结果与自动评分,处理边界样本和裁判分歧。经过确认的样本还可以进入黄金集,用来对齐后续人工和机器的判断。
人工也会遗漏或理解不一致。评审需要共同标准、证据和分歧仲裁;成本与速度则限制了它适合覆盖的规模。下一节会进一步说明怎样用人工样本校准裁判。
LLM-as-Judge:把准备好的材料交给模型判分
Judge 就是验收员。LLM-as-Judge 的做法是把用户任务、Agent 回答、参考结果、执行记录和 Rubric 一起交给模型,让它逐项阅读、比较并给出判定。
例如,把客服对话交给模型,要求它检查回复有没有回应问题、有没有给出具体办法、结论是否得到证据支持,并引用原句解释。它承担的是材料理解与语义判断。
评分标准由评测方规定,模型可以被要求只输出“通过/失败/未知”和对应证据,并不意味着让它随意打一个印象分。模型也能阅读完整 Trace;如果材料不够,应指出缺失,不能自行编造事实。
这类评分适合大量开放式回答,但仍可能偏好某种表达、漏看条件或在重复判分时波动,所以要用人工确认的样本检查它是否判得合理。
Agent-as-Judge:让裁判带着工具补充证据,再判分
当验收需要的信息尚未包含在材料中,可以让裁判在授权范围内主动查询、检查文件或运行测试,再依据获取的结果判断。这就是这里采用的 Agent-as-Judge 工作方式。
例如,只收到“订单 O123 已成功用券”的回复,却没有订单详情,裁判可以自己调用只读查询工具,核对订单和优惠券使用记录。如果第一次查询不能说明问题,还可以根据结果决定是否继续取证。
评测方仍然指定模型、Rubric、工具白名单、数据范围和预算,执行层负责落实限制。它的额外能力是主动取证,也因此多了查错对象、用错工具、漏查条件和超预算的风险。
把两类模型裁判放进同一个任务
两类模型裁判可以先这样记:LLM-as-Judge 是“把材料交给模型,让它照标准判”;Agent-as-Judge 是“给裁判目标和允许使用的工具,让它主动取证,再判”。
两者都能指定模型、评分标准、输出格式和权限。差异主要在于裁判是否根据发现的问题,动态决定下一步去查什么。
例子一:优惠券到底有没有用上
被测 Agent 回复:“订单 O123 已创建,优惠券已使用。”
用 LLM-as-Judge,可以提前把真实订单回查结果放进材料:
{
"order_id": "O123",
"status": "created",
"coupon_id": null
}
再给裁判明确指令:
任务要求:创建一个使用优惠券的订单。
请根据用户要求、执行记录和真实回查结果逐项验收。
检查项:
1. 订单是否真实存在。
2. 是否有证据证明优惠券实际生效。
3. Agent 的最终回复是否与证据一致。
只使用提供的材料。证据缺失时标记 unknown,不推测。
逐项输出判定、证据字段和理由。
裁判可以判断:订单存在;优惠券要求未通过;最终回复与回查结果不一致。
它做的是阅读、比较和判分。若回查数据中根本没有优惠券相关信息,就应承认证据不足。
用 Agent-as-Judge,可以给它另一种指令:
验收订单 O123 是否满足“使用优惠券创建订单”的要求。
允许使用:
- 查询订单详情。
- 查询该订单的优惠券使用记录。
限制:
- 仅访问当前评测任务关联的数据。
- 禁止创建、修改或取消订单。
- 查询次数和超时由执行层限制。
- 无法取得充分证据时输出 unknown。
最终输出每项判定及真实工具证据。
裁判可以先查订单,发现优惠信息为空,再决定查询优惠券使用记录,最后附上证据作出结论。模型提出调用,执行层负责检查工具白名单、参数范围和预算。
如果固定字段已经足够判定,直接写代码检查会更清楚、更便宜。这个例子用来展示证据获取方式,实际不必为每个字段都运行一个裁判 Agent。
例子二:客服回复是不是敷衍
用户:我等了一个小时,订单还没送到,怎么回事?
客服:请耐心等待。
可以让 LLM-as-Judge 检查:是否回应了已等待一小时的情况,是否给出具体处理办法,是否出现没有依据的承诺,并引用原句解释。
这就是“开放式语义质量”的具体工作:理解一句话有没有回应问题、讲清处理办法、与材料矛盾。仅靠出现某个关键词,通常覆盖不了这些判断。
如果继续验收“客服说骑手正在送,这是真的吗”,就需要配送状态证据。程序先查好状态再交给模型判断,是程序取证与 LLM-as-Judge 的组合;裁判自己决定调用配送查询工具、核实后判定,则具有 Agent-as-Judge 的工作方式。
例子三:代码 Agent 有没有修好 Bug
任务是修复优惠金额计算错误,并保持旧功能正常。
给 LLM-as-Judge 的材料可以包括 Bug 描述、代码差异、测试执行结果和验收标准。它能检查修改是否覆盖目标分支、已有结果是否支持“修复完成”,也能指出缺少哪些验证。
给 Agent-as-Judge 的则可以是任务、待验收仓库和受限的文件、终端、测试工具。裁判可自己找测试、运行测试,在隔离环境补充边界验证,再作结论。找错测试、跑错环境、误读结果,也会成为裁判的新错误来源。
LLM-as-Judge 也能阅读完整 Trace,不局限于最后一句回复。多个模型投票也可以仍然是 LLM-as-Judge,裁判数量不决定它是否具备主动取证能力。
工程上可以组合四种验收:代码检查明确事实;LLM 判断开放语义;Agent 补充需要调查的证据;人工处理争议和高风险结论。
确定各自的分工之后,还需要检查评审结果是否一致、证据是否充分,尤其要确认自动裁判与人工认可的标准是否对齐。
裁判输出稳定,不等于判得正确。多名裁判也可能同时误判。
先由业务专家定义标准,再让多名评审人背靠背标注。分歧回到规则本身澄清,形成对齐样本后,再校准模型裁判。
观察信号包括人人一致率、人机一致率、各 Rubric 的分歧、unknown 比例,以及错误样本的漏判和误判。Cohen’s κ 可以辅助观察校正偶然一致后的程度;类别极不平衡时,还应看混淆情况、精确率与召回率,不能只靠一个一致率。
例如“人人一致率 85%、人机一致率 90%”只能作为需要结合场景重新定标的参考口径,不能直接照搬为所有业务的上线门槛。
Judge Prompt 可以分三层维护:平台级负责尺度与格式,Agent 级负责角色和权限,用例级负责具体上下文与检查项。输出至少保留检查项、通过/失败/未知、证据和理由。
多裁判面板 PoLL 可以采用不同模型家族独立评分。均值、截尾均值、多数票、标签支持度与分歧阈值都应提前明确,同时保存各裁判原始结论。过滤异常值也需要依据,不能为得到想要的分数随意删票。高分歧样本进入人工复核。
绝对分数难校准时,可以对同一任务的两个输出做成对比较,并交换呈现顺序检查位置偏差。Elo 用于汇总相对表现,其排名仍依赖任务集、对手和裁判,不能当作跨场景的绝对能力分。
还要分清两种重复:同一任务反复运行 Agent,测任务执行波动;同一份产出反复交给 Judge,测裁判波动。两者分别记录,才能定位问题。
06|成功率、pass@k、pass^k:同一批结果,三个问题
判分之后,才能统计成功率。这里的成功,应基于业务状态和验收规则,而不是 Agent 的自述。
一次运行究竟指什么
一次 Trial 是从接收任务到结束的完整 Agent 执行,内部可以包含多次模型调用、工具调用和有限重试。
k 指完整尝试的次数。一次任务里调了三个工具,不等于 k=3。
| |
|---|
| |
| 同一个任务给 k 次机会,至少成功一次的概率有多大 |
| |
先手算一张表
假设四个任务,各自重置为相同初始状态后运行三次。
单次成功率估计 = 成功运行数 / 总运行数
= 6 / 12 = 50%
pass@3 直接观测值 = 至少一次成功的任务数 / 任务数
= 3 / 4 = 75%
pass^3 直接观测值 = 三次全部成功的任务数 / 任务数
= 1 / 4 = 25%
这组结果说明,A 在观测中稳定,B、C 有成功记录但存在波动,D 在当前条件下未成功。
只展示 75%,会让人忽略一半运行都失败了。三个指标并列,才能看到可解性和稳定性之间的差别。
每个任务只有一组三次运行,这些是粗略观测值,不是精确的真实概率,更不足以证明达到上线标准。正式评测需要更多任务、重复组或合适的估计方法,并报告样本量和不确定性。
公式该怎样理解
对同一个任务,假设每次尝试独立,成功概率都为 p:
pass@k = 1 - (1-p)^k
pass^k = p^k
如果 p=75%,给三次机会,至少一次成功约为 98.4%;三次全部成功约为 42.2%。
k 增大时,前者上升,后者下降。它们分别观察“多给机会能否解出”和“重复执行是否可靠”。
这个公式需要保留假设。不同任务的 p 不同,不能把整张数据集的平均成功率直接代入。
上表平均成功率是 50%,直接套 1-(1-0.5)^3 会得到 87.5%,与观测的 75% 不同。应先按任务计算或估计,再按清楚的权重汇总。每题重复数不等时,全运行汇总还会给运行次数多的任务更大权重,需要明确选择任务平均还是流量加权。
三个指标怎样用于产品判断
一次提交、一次交付的产品,以单次端到端成功率为主。
客服、自动造数、自动诊断通常属于这一类。用户第一次拿到错误结果,不会因为后台另两次碰巧做对而获得更好体验。可以用 pass^k 辅助观察稳定性,同时看越权、重复写入、错误断言、时延和人工介入。
允许多个候选,且能识别正确结果的产品,可以重点使用 pass@k。
例如最多生成三个代码补丁,用测试选择可用补丁。这里必须继续验证“筛选器能否选对”:三个候选里有一个正确,与最终交给用户的结果正确,是两件需要分别测量的事。
同样生成三个诊断结论,如果系统无法判断哪个有证据,较高的 pass@3 也难以转化为可靠交付。还应统计所有候选、验证和选择的总成本。
反复执行、无人值守的任务,要重点观察重复稳定性。
周期巡检、批量处理可以同时使用单次成功率与 pass^3、pass^5 等指标。但五次都通过只说明这五次的结果,仍需故障场景和线上监控。
内部重试与独立尝试怎样区分
产品允许“失败后读取错误,再修正参数重试”,就把这一整套策略放进一次 Trial,统计策略结束后的成功率。
多次独立采样则应恢复初始环境。上一轮创建的订单、留下的文件或写入的记忆,不能悄悄成为下一轮的帮助。如果研究目标就是连续任务或带记忆适应,应另行声明实验协议,不再套用独立尝试的解释。
重试写操作还要验证幂等。已经产生副作用的失败,不能直接整单重跑。
分母和失败处理必须写进报告
超时、异常、拒答、环境故障如何计入,要提前规定,不能看到结果后再调整。
对不应执行的请求,正确拒绝可以算通过;对证据不足的诊断,承认不足也可能符合要求。但全部拒答会失去有效任务完成能力,需要同时观察完成率和错误断言率。
上游路由失败导致下游未运行,下游模块应标记未执行或不适用,端到端仍按任务结果判定。环境故障单独分类、按既定策略处理,并保留总体与排除后的口径,避免静默剔除抬高成功率。
发布判断需要结合任务风险、现有基线、分层结果和统计不确定性。不存在适用于所有业务的统一合格百分比。
评测实验可以按 LLM × Harness × Environment 进行组织。模型、执行系统、任务世界分别管理,想研究哪一项,就尽量固定其他条件。
研究基座能力时,可以隔离业务工具和知识库;研究业务 Agent 时,则要评估完整系统。模型在独立题集上变强,仍需通过业务任务验证能否带来真实收益。
评测 Harness 负责准备环境、运行、记录和评分。生产执行 Harness 负责实际任务中的工具、权限、状态、停止和恢复。Eval-Anything 中的 Harness 轴更具体地指外部 Agent 执行适配器;适配器本身不能代替业务风控。Trace 组件也只提供证据,不等于完整评测框架。
保存数据集、评分器、代码、Prompt、Skill、知识库版本,以及模型参数、运行时间、工具依赖、初始状态、权限、超时、轮次、费用预算、重复次数、种子、Trace 和原始评分。
版本与种子帮助追溯,不保证外部模型服务、工具数据和并发条件下每次完全一致。
先 dry-run 和小样本试跑,检查组合数量、任务环境、正确与错误样本的评分、超时和预估费用,再运行完整实验。比较时保持 k 和预算一致,不能用一方的 pass@1 与另一方的 pass@5 判断版本优劣。
想知道某个机制是否有用,可以做消融:固定任务与证据环境,以基础工具循环为基线,逐步加入预检查、版本核对、上下文卸载和证据验证,分别观察收益与额外成本。
端到端看用户任务是否完成。过程层可以分别检查意图、路由、规划、检索、工具与参数、执行、状态更新和最终交付。
只看端到端,容易知道变差却找不到原因;只有模块指标,又可能出现各模块达标、用户任务仍未完成的情况。先建立端到端和核心模块评测,再随真实故障细化,并映射到对应负责人。
过程验收应允许合理路径差异。审批顺序、权限和关键依赖必须遵守;其他步骤重点检查必要行为和结果,避免把参考解的完整调用顺序固化成唯一解。
一次任务用根 Trace,模型、检索、工具、审批、验证分别记录 Span。最小字段包括 task/session/trace ID、脱敏输入、模型与规则版本、工具参数、实际返回、重试、错误类别、停止原因、耗时、Token、费用、结果与证据引用。
日志帮助查事件,指标帮助看趋势,Trace 串联一次运行。审批暂停后可能产生新的 Trace,用稳定 task/session ID 连接。记录可见行动和外部证据,不要求获取隐藏思维链;敏感内容需脱敏、访问控制和保留期限。
环境和终态也是验收对象
测试前校验账号、环境标识、Schema、必填字段、枚举和数据来源,再通过沙箱、凭据、权限与网络限制控制副作用。参数格式合法不能单独证明生产写入已经隔离。
工具超时、关键数据缺失或缓存过期后,要看最终业务状态是否正确。流程结束、IsFinal 或预算耗尽,只说明停止;终态应明确区分成功、正确拒绝、证据不足、人工复核和系统错误。
缓存减少重复读请求,但缓存命中不能证明写入幂等。任务、规则和数据版本、失效策略与写入防重,都需要单独验证。关键证据丢失时,应停止自动结论并升级,不能无条件记录错误后继续判成功。
首 Token 很快,后续工具却反复超时,用户仍然要等待。小模型每轮快,但需要更多轮次,也可能提高总耗时。
压测覆盖固定并发、阶梯、线性爬坡、长输入输出、SSE 流式响应、工具故障和会话隔离。TTLT 等字段应说明是单次生成还是任务级完成时间,避免不同报表同名异义。
成本包括模型、检索查询、工具、沙箱、失败重试和人工复核。既要看单次请求成本,也要看每个有效成功任务的成本,失败消耗也计入。
自改 Harness 的成本还包括全部候选探针、组合和反思。只统计最终采纳方案的一次执行,会低估优化代价。
评估收益时,对照原有完整业务流程:找脚本、查参数、准备数据、执行与确认,分开记录直接复用和异步维护。报告时间窗、总请求数、环境、有效成功标准、失败处理、人工投入、等待时间与 P50/P95,避免把既有自动化或后端优化的收益全部归给 Agent。
离线固定评测保护已知能力,线上反馈帮助发现未覆盖的问题。Shadow 用真实流量旁路验证,A/B 观察业务效果,巡检持续检查代表性任务,监控提供运行异常信号。
完成率下降,若同时某工具失败率上升,先排查依赖故障;工具正常但新任务占比增加,则重点检查分布变化和新场景能力。这些只是线索,仍需用 Trace 核实。
Case 池除了投诉、监控和规则筛选,也需要随机抽查。只看用户愿意投诉或已有规则能发现的情况,会持续遗漏其他失败。
图 1:系统迭代与评测校准共享 Case 和评测资产。
只修 Agent、不校准规则,可能让系统逐渐迎合错误目标。修复之后加回归样本;反复出现且值得持续监测的问题,再沉淀成常驻评估器。
平台建设可以按六块组织:接入与资产、执行和数据准入、复合评分、计划和报告、性能稳定性、CI/CD 与闭环。具体可支持不同协议与流式返回、任务/会话/请求三级准备切点、动态参数、输出标准化、多租户与风险标签、版本基线和复核队列。
合并代码或变更 Prompt 时跑核心冒烟;发布前跑对应回归与红线检查;按改动触发相关用例,全量任务可以独立安排。模型、Skill、知识库、工具 Schema、权限、审批、运行时和压缩策略变化,都需要检查是否触发回归。
RAG:检索、回答、行动分别看
检索前先标注标准相关资料,统一文档或 chunk 粒度。
Recall@K = 前 K 个结果中的相关资料数 / 全部标准相关资料数
Precision@K = 前 K 个结果中的相关资料数 / K
返回不足 K 时,如使用其他分母,要说明口径。切分、标题路径、相邻片段、Top-K、关键词、向量、混合检索和重排都按真实任务比较。BM25 分数不是相关概率,不应默认与向量分数直接相加;精确字段和错误码也需要实际验证分词与索引。
回答层看正确性、忠实度、关键结论的引用支持和来源版本。行动层看该检索时检索、无须时避免空转、缺参数时追问、工具误调用,以及预算到达后的停止。
样本覆盖同义改写、明确答案、无答案、版本冲突、多文档组合、无须内部资料和仍需追问的情况。分别报告检索表现、答案正确率、有据回答率、引用支持率、追问成功率、误调用率、检索轮次和成本。
Skill:触发、结果、开销都要测
应触发时使用,不应触发时避免使用;对照有无 Skill,比较完成质量与额外步骤、Token。正常、空输入、冲突、权限受限、工具失败与历史翻车都应覆盖。
按冒烟、边界、端到端逐步验证,并记录主运行时和兼容运行时组合。Skill 修改或自动生成候选后,保留旧版与触发样本,通过原有回归、独立验证和关键点审查,再考虑采用。
Memory:保留、检索、更新、撤销形成完整生命周期
检查记忆来源、时间、作用域、失效条件、去重和事实漂移,避免把模型推断直接存成用户事实。长任务恢复时重新核对外部状态。
压缩评测既看触发次数、前后大小、额外模型耗时,也看关键约束和证据是否仍然保留。已经丢失的原文,不能靠保存摘要后的 Transcript 恢复。
隐私测试还包括:工具商品描述是否污染用户偏好,清除记忆时异步任务是否写回旧内容,不同写入路径的过滤、删除、保留期和关闭开关是否一致。
多 Agent:看清分工和最终合并
检查分解合理性、输入输出契约、重复劳动、通信效率、死锁、全局状态、原始产物和合并规则。结构化结果能确定性合并时,避免自由改写引入信息损失。
独立检查者需要根据证据验证,不能仅复述执行者结论。与单 Agent 对照时,质量收益要连同通信、耗时和费用一起评价。自我改进保留旧版与独立验证结果,防止把对评分器的过拟合当作能力提升。
回到开头的用券订单,验收需要看到订单真实存在、优惠实际生效、关键参数正确,并确认没有重复写入和越权操作。一次“执行成功”的回复,需要由业务状态和执行证据支撑。
搭建评测时,先写清任务目标与成功条件,再用真实场景和历史失败组织数据集。能明确计算的条件交给代码,语义质量交给 LLM 判断,需要补证的任务让裁判在受限范围内查询,标准和争议则由人工校准。四种方式各有职责,共同把“好不好”变成可以核对的结论。
汇总结果时,单次成功率帮助判断一次交付的表现,pass@k 观察多次机会下的可解性,pass^k 观察重复执行的稳定性。它们需要与任务分布、尝试次数、预算和评分口径一起解释,也要同时看风险、长尾耗时和有效成功的总成本。
评测还要跟着系统持续变化。模型、Prompt、工具或记忆策略更新后,检查已有能力是否保持;线上出现新问题时,沿 Trace 查明原因,再将有价值的失败补进数据集。如果判错的是裁判,就修正标准和评分方式。
最终交付给用户的,应是有证据支持、风险受控、成本可接受的任务完成。评测持续提供的依据,就是这样的交付在真实使用中能否稳定发生,以及下一次改动是否让它变得更可靠。