当前位置:首页>排行榜>Agent评测(一)|Agent 评测体系全流程拆解:从评测目标、标准制定到 Bad Case 回流

Agent评测(一)|Agent 评测体系全流程拆解:从评测目标、标准制定到 Bad Case 回流

  • 更新时间 2026-11-19 10:26:59
Agent评测(一)|Agent 评测体系全流程拆解:从评测目标、标准制定到 Bad Case 回流

引子:为什么 Agent 评测比模型评测难一个量级

做模型评测的时候,我们面对的其实是一个"打分题":给一段输入,模型输出一段文本,用一个标准答案或者一个偏好模型去比对,分数就出来了。哪怕有波动,波动也是收敛的、可重复的。

Agent 评测不是这样。Agent 是一个在环境中执行任务的系统,它由提示词、模型、路由、多个 Skill、MCP 工具、知识库、Memory、甚至浏览器和操作系统操作能力共同组成。它的一次输出不再是"一段话",而是"一条轨迹":先理解意图,再决定要不要调工具,调哪个工具,参数填什么,拿到结果之后要不要重试,最后以什么形态交付——一段文本、一个文件,还是真的替你在浏览器里点了某个按钮。

这条轨迹一旦变长,评测就会同时遇到五个麻烦:

第一,非确定性。 同一个问题问两次,Agent 可能走两条不同的路径,甚至给出两个不同的答案。你无法用"一次结果"判定它行不行。

第二,多环节串联,误差会累积。 意图理解错一点,路由就偏;路由偏一点,工具就调错;工具调错,结果必然错。你只看到最后的失败,但失败点可能在第三跳。

第三,外部依赖不可控。 工具接口会超时,网页会改版,检索库会更新,第三方 API 会限流。你今天测过,不代表明天还是这个结果。

第四,交付形态多样。 有的是主观交付(写一份报告),有的是客观交付(真的去下单、真的去发邮件)。主观交付可以靠文本比对,客观交付必须验证"世界状态是否改变",评测难度完全不同。

第五,业务标准很难量化。 "这个回答好不好"在业务语境里往往是一堆隐性要求:不能承诺做不到的事、必须引用来源、必须符合行业口径、语气要对。这些要求如果写不进标准,机评就会给出方差极大的分数。

所以 Agent 评测的本质不是"打分",而是建立一套可复现、可归因、可持续迭代的质量工程体系。这套体系要回答五个问题,也就是本文的五个部分:

  1. 1. 评测目标是什么——这一批数据集,我们要达到什么水平才算过关?
  2. 2. 标准有哪些、怎么制定——用什么维度衡量?怎么打分?权重怎么定?
  3. 3. 评测分成哪几层——对象、粒度、主体、节点、数据、执行方式、任务链路、平台,八个层级怎么切?
  4. 4. 凭什么数据来评——数据从哪来?怎么构造?不同数据适合什么场景?
  5. 5. 执行之后 Bad Case 怎么办——怎么归因?怎么回流?怎么形成闭环?

下面逐层展开。


第一部分 评测目标:先把"过关线"钉死

在动手造数据集之前,第一件事不是写 Case,而是写清楚这次评测要证明什么。没有目标的评测,最后一定会变成"跑了一堆数据,得了一个分数,谁也不知道这个分数意味着什么"。

我通常把评测目标分成三类:能力目标、工程目标、信任目标。

1.1 能力目标:整体 Case 通过率

最直观的目标就是"这批数据集里,有多少条 Case 是通过的"。但这里有个关键细节:固定评测集和动态评测集的及格线不应该一样。

  • • 固定评测集:整体通过率 ≥ 90%
  • • 动态评测集:整体通过率 ≥ 80%

为什么固定集要求更严?因为固定集是"你已经见过的题"。Agent 团队在迭代过程中会反复看这批 Case,标准也会围着它调,模型和提示词难免对它产生一定程度的适配。对"练过的题"只要求 80%,等于默许了 20% 的已知缺陷留在线上。反过来,动态集是每周新采的真实问题,天然带着分布漂移和长尾,要求 90% 反而会导致团队为了达标去"猜题",失去评测意义。

实操建议:把两个数字都写进验收文档,并且明确"固定集不达标不允许发版,动态集不达标需要给出归因说明并列入下周迭代计划"。这样通过率才是一个有约束力的指标,而不是一张汇报 PPT 上的数字。

另外要区分两个容易混淆的概念:

  • • 单条 Case 通过率:一条 Case 的所有维度都满足(或加权得分过线)才算通过,这是最严格的口径。
  • • 维度通过率:按维度分别统计,比如"过程维度通过率 92%、结果维度通过率 85%"。它更适合定位问题,不适合作为发版门禁。

发版门禁用前者,日常优化用后者。

1.2 工程目标:性能指标要分层看

能力达标不等于可用。一个正确率 95% 但每条要等 40 秒的 Agent,用户是不会用的。性能指标要分两层看,因为这两层的优化责任人和优化手段完全不同。

模型层:TTFT 与 TPOT

  • • TTFT(Time To First Token,首 Token 时延),也常写作 TFT。它决定了用户"感觉快不快"——点了发送之后,屏幕上多久开始出字。行业经验值:交互式场景 800ms 以内算流畅,1.5s 以上用户会明显感到卡顿。
  • • TPOT(Time Per Output Token,每 Token 生成时延),有时也叫 TPS(每秒 Token 数)的倒数。它决定了"读完要多久"。中文场景下 TPOT 在 20–40ms/token 属于可接受区间。

这两个指标的意义在于:它们能帮你判断"慢"是慢在模型推理,还是慢在 Agent 编排。如果 TTFT 正常但端到端耗时异常,那问题一定在工具调用、检索、或者多轮反思环节,而不是换模型能解决的。

Agent 层:端到端耗时与资源消耗

Agent 层要看的是用户真正感知到的那个数字,以及系统真正付出的成本:

指标
口径
参考意义
端到端耗时 P50 / P95
从用户发出指令到最终交付完成
P50 看常态体验,P95 看长尾投诉
首字节交付时延
到界面上出现第一段可见内容
长任务场景的"心理等待"指标
平均工具调用次数
每条 Case 的工具/ Skill 调用总数
调用次数暴涨通常意味着路由抖动或死循环
Token 成本 / 任务
输入 + 输出 token 折算
决定商业模式能不能成立
重试率 / 失败恢复率
工具失败后的自愈能力
衡量鲁棒性,而不是准确率
单任务并发占用
长任务占用的会话/沙箱时长
影响容量规划

这里有一个容易被忽略的点:性能目标必须按任务类型分别设定。单轮问答要求 3 秒内出首字,长程多工具任务允许 2 分钟但要求过程可见(有进度反馈)。用同一个时延标准卡所有任务,只会逼着团队把长任务做残。

1.3 信任目标:人机一致率

第三个目标是最容易被跳过、但最重要的一条:人评和机评的一致程度。

机评(LLM-as-judge 或规则引擎)便宜、可批量、可回归,但它有系统性偏差:偏好长答案、偏好格式漂亮、对"事实是否正确"判断不稳、对隐含业务约束不敏感。人评准,但贵、慢、不可批量。所以真正的问题是:机评能不能代表人评?

人机一致率的标准算法是做一个 2×2 混淆矩阵:

人评判 Pass
人评判 Fail
机评判 Pass
A(一致通过)
B(机评漏判)
机评判 Fail
C(机评误杀)
D(一致不通过)

由此得到几个关键数:

  • • 总体一致率 = (A + D) / (A + B + C + D)
  • • 漏判率(假阴性) = B / (A + B) —— 机评放过了人评认为不合格的 Case,这是最危险的,因为线上事故都从这里来。
  • • 误杀率(假阳性) = C / (C + D) —— 机评错杀了合格的 Case,危害是团队被噪声牵着改,越改越乱。

只看"总体一致率"是不够的,因为一个把所有 Case 都判 Pass 的评分器,在通过率 90% 的数据集上也能拿到 90% 的一致率。必须同时看漏判率和误杀率,并且分开看不同维度的表现。 经验阈值:总体一致率 ≥ 85%,漏判率 ≤ 10%,且风险维度的漏判率必须接近 0(风险维度不能靠机评兜底)。

更进一步,如果要做严肃的一致性度量,建议用 Cohen's Kappa 而不是原始一致率,因为它扣掉了"随机也能猜对"的那部分。Kappa 0.6–0.8 属于"较好一致",低于 0.6 说明标准本身写得不够可判定。

一致性不达标时,要区分是"标准问题"还是"评分器问题":

  • • 如果人和人之间都不一致,那是标准写得含糊,要去改 Rubrics。
  • • 如果人与人一致、人与机不一致,那是评分器(prompt、模型、证据抽取)的问题,要去改 Judge。

这个区分极其重要,因为两者的修法是相反的。很多团队一发现机评不准就去换更大的 Judge 模型,其实真正的病根是标准里写着"回答要专业"这种无法观测的描述。

1.4 把目标写成可验收条款

目标最后要落成一句句能被检查的话,比如:

本次 V2.3 版本验收:固定集(320 条)整体通过率 ≥ 90%,动态集(本周新增 120 条)通过率 ≥ 80%;端到端 P50 ≤ 8s、P95 ≤ 25s;TTFT ≤ 1.2s;人机一致率 ≥ 85%,风险维度漏判率 = 0;单任务平均 token 成本不超过 V2.2 的 1.1 倍。

写不出这样的句子,说明目标还没定完。


第二部分 评测标准:从维度到可执行的打分规则

目标是"多少分算过",标准是"分从哪来"。这一部分是整个体系里最需要手写功力的地方,因为它决定了后面所有自动化能不能成立。

2.1 两种组织方式,内涵其实一样

业界常见的组织方式有两种:

方式一:一级维度 + 二级指标。 先定几个大方向(过程、结果、表达、风险),再在每个方向下拆若干可判定的指标。优点是结构清晰、便于加权和定位问题;缺点是容易漏掉"业务特有"的考点。

方式二:考纲 + 考点。 像考试大纲一样,先列出这个 Agent 必须掌握的能力项,每一项对应若干具体考点(题目)。优点是贴近业务、便于按能力出题;缺点是聚合困难,不好算一个总分。

两种方式没有优劣,实质都是"把模糊的质量要求拆成可观测的判定点"。我个人的习惯是用方式一做主干,用方式二做补充:四个一级维度保证不漏面,考纲式的专项考点保证不脱离业务。

2.2 四个一级维度与十余个二级指标

我常用的一套结构是四个一级维度:过程、结果、表达、风险。前三个回答"对不对、好不好",最后一个回答"能不能出事"。

维度一:过程(Process)

过程维度评估的是"它怎么做的",而不是"它做出了什么"。这是 Agent 评测区别于模型评测的核心。

二级指标通常包括:

  1. 1. 上下文一致性 / 记忆保持。多轮对话里,前面说过的约束后面还记不记得。典型失败:用户第一轮说"预算 3000 以内",第五轮推荐了 4999 的机型。
  2. 2. 意图理解准确性。是否识别出用户真正想干的事,包括隐含意图("我明天要去见客户"其实是在要一份材料清单)。
  3. 3. 路由准确性。多 Skill 架构下,是否把请求分发给了正确的 Skill / 专家。这是最常见的 Bad Case 来源之一。
  4. 4. 工具选择正确性。Skill 内部该调哪个 MCP 工具、该不该调、有没有多调或漏调。
  5. 5. 参数正确性。工具参数的类型、必填项、取值范围、时间格式、ID 是否来自真实上下文而不是编造。
  6. 6. 步数与路径合理性。有没有绕远路、重复调用、死循环;有没有该一次问清却拆成五轮。
  7. 7. 失败恢复。工具报错、返回空、超时之后,是重试、换路、还是明确告知用户,而不是硬编一个答案。
  8. 8. 澄清行为。关键信息缺失时,是先反问还是直接猜。猜错的代价通常远大于多问一句。

维度二:结果(Result)

结果维度只看"输出对不对、任务完成没完成"。它相对客观,也最容易自动化,但要注意三个细分:

  1. 1. 事实正确性。与知识库、搜索结果、工具返回值是否一致;有没有编造(幻觉)。
  2. 2. 任务完成度。用户要求的每一个子目标是否都达成。多子任务场景建议用"逐项打钩"而不是整体印象分。
  3. 3. 约束满足。显式约束(格式、字数、时间范围、排除项)与隐式约束(行业口径、合规表述)是否满足。

维度三:表达(Expression)

表达是"相对上层"的指标——在"对"的基础上,看"好不好用"。很多团队会把它合并进结果,但我建议拆开,因为它的失败模式完全不同:结果错是能力问题,表达差是产品问题。

二级指标包括:

  1. 1. 结构与可读性。有没有分层、有没有结论先行、长文有没有小标题。
  2. 2. 业务适配度。是否使用了该行业该场景的语言(to B 报表 vs to C 种草文案,标准完全不同)。
  3. 3. 信息密度。有没有大量"正确的废话";篇幅是否与任务复杂度匹配。
  4. 4. 格式与交付规范。Markdown 结构、表格、文件命名、附件形态是否符合下游系统要求。
  5. 5. 语气与人设一致性。是否符合品牌调性、是否过度承诺、是否在不该俏皮的地方俏皮。

维度四:风险(Risk)

风险维度评估 Agent 在运行过程中是否产生了不该产生的行为。它的特殊性在于:它是一票否决项。

典型考点:

  1. 1. 隐私与越权。是否泄露了用户本人或他人的隐私、账号、订单、地址、身份信息;是否在未授权的情况下读取了不该读的文件。
  2. 2. 越界操作。客观交付型任务中,是否在未确认的情况下执行了有副作用的操作(付款、发送、删除、发布)。
  3. 3. 能力性谎报。明确做不到的功能却说"已完成";把"我建议你去做"说成"我已经做了"。
  4. 4. 有害与违规内容。违背平台规则、行业监管要求、公序良俗的表述。
  5. 5. 成本与资源失控。单任务触发超量调用、无限循环、异常高的 token 消耗。

风险维度不适合用 LLM Judge 单独兜底,建议采用规则硬断言 + 人评抽检的组合。规则硬断言可以低成本覆盖确定性风险(比如输出里出现了身份证号正则、出现了未脱敏的手机号、出现了未经确认的支付调用),人评负责语义层面的风险判断。

2.3 Rubrics:把指标变成分数

有了指标,下一步是给每条指标定义"什么算通过"。这就是 Rubrics。

三种常见形式

形式一:Pass / Fail / NA 三档。 最常用,也最容易被机器执行。

  • • Pass:满足该指标的全部可观测要求。
  • • Fail:不满足,且有具体证据。
  • • NA(不适用):这条 Case 本身不涉及该指标。比如一条纯问答 Case 不涉及"工具参数正确性",就判 NA。

这里必须提前约定一条规则:NA 通常不计分,因此要把它从分母里剔除。否则会出现"越简单的任务越容易拿高分"的扭曲——简单任务 NA 多、分母小,稍微做对一点就是满分。

形式二:三级 / 五级量表。 适合"表达质量"这类无法二值化的指标。关键在于每一档都要有可指认的锚点描述,而不是"好 / 一般 / 差"。比如五级量表里的 5 分要写成"结论前置、三层以内结构、无冗余铺垫、含至少一处可执行细节",1 分要写成"无结构、全篇同质化、无任何可执行信息"。锚点写得越具体,人机一致率越高。

形式三:布尔清单(Checklist)。 把一条指标拆成 3–8 个 yes/no 判断项,全部为 yes 才算 Pass。它牺牲了一点灵活度,换来极高的可复现性,特别适合风险维度和格式规范类指标。

权重怎么定

单条 Case 的总分靠加权聚合。一个可用的起点是:

  • • 过程 40%
  • • 结果 40%
  • • 表达 20%(如果这个 Agent 有明确业务表达要求,可以把它单独拆成"业务维度",占 20%)
  • • 风险:一票否决

也就是说:

若 风险 = Fail  →  整条 Case = Fail否则  总分 = 0.4 × 过程分 + 0.4 × 结果分 + 0.2 × 表达分总分 ≥ 阈值(如 0.8)→  Case = Pass

几点实操经验:

  1. 1. 过程和结果给同等权重,是有道理的。 只重结果会让团队接受"过程乱但碰巧对了"的系统,这种系统在长尾上必然崩;只重过程会让团队优化形式而不优化产出。40/40 是一种均衡的保守选择。
  2. 2. 一票否决要慎用,但风险维度必须用。 一票否决的滥用会让通过率断崖式下跌、团队失去改进抓手;但风险维度如果没有否决权,就永远会被平均分稀释掉。
  3. 3. 权重不要频繁调。 权重的每一次变化都会让历史通过率失去可比性。建议把权重作为"版本化配置"管理,改一次记一次。
  4. 4. 不同任务类型可以用不同权重模板。 长程操作型任务可以调高"过程"权重(因为路径正确性比单点输出更重要),单轮问答型任务可以调高"结果"权重。

2.4 一条好 Rubric 的五个特征

我在评审别人的标准文档时,通常用这五条来卡:

  1. 1. 可观测。"回答要专业"不合格;"必须引用至少一个来源链接,且来源发布时间在 12 个月内"合格。
  2. 2. 可判定。两个人分别读标准,对同一条 Case 应得出同样的结论。做不到,就是标准有歧义。
  3. 3. 可举证。每条判定都要能指向输出中的具体片段(原句、字段、工具调用记录),而不是"整体感觉"。
  4. 4. 可复现。同一份输入、同一份标准、不同的评分器,结果应基本一致。
  5. 5. 可版本化。标准要像代码一样管理:有版本号、有变更记录、有生效日期,且数据集里每条 Case 记录它被评测时用的是哪一版标准。

第 5 条经常被忽略,后果是"两个月后回头看,发现通过率涨了,但没人知道是 Agent 变好了还是标准变松了"。

2.5 标准的一致性校准

标准写完不是终点,要先做校准:找 2–3 个人,各自独立标注同一批 30–50 条 Case,然后比对。

  • • 分歧点逐条讨论,把分歧写回标准(补锚点、补例子)。
  • • 计算标注者之间的 Kappa,低于 0.6 就继续迭代标准,不要急着上机评。
  • • 校准样本要留在数据集里作为"黄金样例",后续换评分器、换模型时用它做回归。

这一步看起来慢,其实是整个体系里最省时间的一步。标准没校准就上机评,后面所有的通过率数字都是噪声。


第三部分 评测的八个层级:把"评测 Agent"拆成可执行的动作

"评测 Agent"这句话太粗。落到执行层,它必须被拆成八个互相关联的问题。这八层不是并列的清单,而是一条决策链:先定评谁,再定评多细,再定谁来评、什么时候评、用什么数据评、怎么执行、评哪类任务、最后用什么平台承载。

层级一:评测对象——评框架、评单个 Skill,还是评模型

宏观框架级评测。 对象是整个 Agent 系统(路由 + 多个 Skill + 工具 + Memory)。这类评测只能端到端做,产出的是"这个产品整体能不能用",适合发版验收和对外承诺。它的缺点是定位能力弱——只能告诉你"这版比上版差了 3 个点",不能告诉你差在哪。

单个 Skill 级评测。 对象是某一个能力单元。这是最实用的一层,因为绝大多数迭代都发生在单个 Skill 上。它能给出清晰的改进信号,也方便责任到人。

模型对比评测。 在同一个 Agent 骨架下替换底座模型(比如几个不同的通用模型、或者不同尺寸的版本),看哪个组合效果最好。这一层要特别注意控制变量:提示词、工具集、温度、最大步数全部固定,只换模型,否则结论不可信。

三层不是替代关系,而是"金字塔":Skill 级评测保证每一块砖结实,框架级评测保证整栋楼立得住,模型对比评测决定用哪种建材。日常 80% 的评测精力应该花在 Skill 级,框架级只在关键节点跑。

层级二:评测粒度——端到端 vs 点到点

端到端评测看的是"整体输出的效果与性能":用户提一个真实需求,Agent 跑完,看最终交付对不对、快不快、稳不稳。它最接近用户体验,也最难归因。

点到点评测把系统切成若干"单点能力",逐个打分:

  • • 意图路由:给定一句 query,是否分到了正确的 Skill。
  • • Skill 调用:给定明确意图,Skill 是否被正确触发、参数是否填对。
  • • 知识库检索(RAG):召回是否包含正确文档,排序是否把正确文档排进 TopK,答案是否忠实于召回内容。
  • • Memory 机制:跨会话是否记住了该记的,是否遗忘了该忘的,是否错误地把 A 用户的偏好用到 B 用户身上。
  • • 工具编排:多工具任务的调用顺序、依赖关系、失败重试是否正确。

以"意图路由"这一个点为例,往下还能继续细分出多个考点,每个考点都要单独造题:

考点类型
典型 query 形态
期望行为
失败表现
显式意图
"帮我查一下明天北京的天气"
直接路由到天气 Skill
反问"你想查什么"
隐式意图
"我明天要去见客户,穿什么合适"
推断出"穿搭建议"意图
只回答"祝顺利"
单意图
一句话一个诉求
单一路由
误触发多个 Skill
多意图
"帮我订明天去上海的机票,再找个机场附近的酒店"
拆成两个子任务,顺序执行
只做了机票,或把酒店塞进机票参数
意图模糊
"帮我搞一下那个东西"
澄清反问
直接猜一个 Skill 硬做
指代不明
"把刚才那个再改改"(无上文)
澄清"你指的是哪一份"
编造一份内容
关键信息缺失
"订一张去上海的票"(无日期、无人数)
补齐必要槽位
默认一个日期直接下单

这类细分考点是点到点评测的价值所在:它把一个模糊的"路由不准",变成了七个可数、可修、可回归的具体缺陷。

两者的组合方式:先用点到点定位问题,再用端到端验证修复是否真的改善了整体表现。只做点到点会陷入"每个部件都合格、整机却不好用"的局部最优;只做端到端会陷入"知道不好但不知道改哪"的僵局。

层级三:评测主体——人评、机评,以及两者的关系

机评有两条路线:

  1. 1. LLM-as-judge。用一个大模型按 Rubrics 给输出打分。优点是能处理语义、能理解标准、成本可控;缺点是偏好长文本和漂亮格式、对事实性判断不稳、容易被输出中的"自信语气"带偏。
  2. 2. 规则引擎。用正则、JSON Schema 校验、字段比对、工具调用轨迹断言来判定。优点是绝对可复现、零成本、零幻觉;缺点只能覆盖结构化、确定性强的部分。

最佳实践是规则先行、模型补位:能用规则判的(格式、字段、是否调用了某工具、是否出现了敏感字段)一律用规则;规则判不了的语义质量才交给 Judge。这样既压成本,也压方差。

人评的角色不是"再打一遍分",而是三件事:

  1. 1. 校准:给机评定基准,算人机一致率。
  2. 2. 兜底:抽检高风险 Case 与机评低置信度 Case。
  3. 3. 发现:人最容易发现"标准里没写但显然不对"的问题,这些发现要反哺成新指标。

一个常见的组织方式是:机评跑全量,人评抽 5%–10%,抽检样本按"分层抽样"分配——高风险任务、客观交付任务、机评分数处于阈值边缘的 Case 权重更高。机评在研发自测阶段可以直接映射为 CI 里的断言,让工程师在提 PR 时就看到分数变化。

这里要强调一个观念:人机一致率不是机评的"验收指标",而是整个体系的"健康指标"。 一致率下降,说明要么标准漂了,要么数据分布变了,要么 Judge 的提示词该更新了。

层级四:评测节点——什么时候评

以单个 Skill 为例,一个完整的生命周期至少要有四个评测节点:

  1. 1. 开发自测(上线前)。开发者本地跑小样本集(20–50 条),确认基本功能可用。这一层追求快,用规则断言为主。
  2. 2. 消融实验(上线前)。这是最有信息量的一步,回答三个问题:
    • • 有没有这个 Skill,效果差多少? 关掉 Skill 让模型裸答,对比通过率。如果差距很小,说明这个 Skill 的价值存疑。
    • • 有没有指定 Skill code(显式路由)? 对比"强制指定 Skill"与"让模型自己选"的通过率差异,用来判断路由层的真实损耗。
    • • 换一个实现方式(不同提示词、不同工具集、不同模型)差多少? 这是版本间的 A/B。
  3. 3. 发版门禁(上线前)。固定集全量回归,通过率跌破红线则阻断发布。这一步必须是自动化的,否则一定会被人为跳过。
  4. 4. 常态化监控(上线后)。每周跑动态集,跟踪通过率、时延、成本、人机一致率四条曲线的趋势。趋势比绝对值更重要:一条缓慢下滑的曲线,往往意味着上游数据分布变了,或者某个依赖接口悄悄改了行为。

再往上一层,还有灰度与线上真实指标:灰度期间对比新旧版本的完成率、追问率、人工介入率、用户负反馈率。这些指标不是"评测分",但它们能验证评测分是否真的对应业务结果。

层级五:评测数据——三类来源,两种视角

这是整个体系中最花时间、也最决定成败的部分。数据不对,标准再漂亮也是空转。

按构造方式分三类

1. Benchmark(公开权威数据集)。 优点是可比性强、有社区基線、能对外沟通;缺点是脱离业务、更新慢、容易污染(模型训练时可能见过)。适合做"通用能力体检"和"跨系统横评",不适合做业务验收。用的时候要注意 version 和 contamination 检查。

2. 人工编写数据集。 新 Skill 刚上线时没有真实用户数据,只能自己写。编写时要刻意覆盖三类:

  • • 正向 Case:预计 Agent 一定能答对的。但"能答对"不等于"随便问就能答对"——正向 Case 必须把该有的入参写全,把必须出现的内容点列清楚。比如"查北京明天天气",标准答案里必须包含日期、城市、温度区间、天气现象四项,缺一项就不算通过。
  • • 负向 Case:不应生成的内容。包括能力边界外的请求("帮我黑进隔壁公司的系统")、不该承诺的事("保证明天一定送到")、不该输出的内容(内部价格表、他人隐私)。负向 Case 的判定标准是"是否正确拒答 / 是否正确降级 / 是否没有产生副作用"。
  • • 边界 Case:意图模糊、指代不明、信息缺失、多意图混杂、超长上下文、超短输入("嗯")、中英混杂、错别字、口语化。这类 Case 的期望行为通常是澄清或反问,而不是硬答。

一个可用的配比起点是 正:负:边 ≈ 6:2:2。负向和边界比例过低,是很多团队上线后翻车的主因——因为真实用户里"不正常"的比例远高于测试集。

3. 现网回流数据集。 产品已上线就会有真实数据沉淀。这类数据的价值最高,因为它天然带着真实分布、真实措辞、真实长尾。回流时要处理四件事:

  • • 取数逻辑:为什么取这些 Case?是全量抽样还是分层抽样?按什么分层(意图、Skill、任务长度、是否失败、是否人工介入)?
  • • 答案可用性:现网数据里"已有的答案"是 Agent 生成的还是人工给的?如果是 Agent 生成的,它只能当参考,不能当 Ground Truth。
  • • 筛选与替换逻辑:Agent 层评测时,系统里有多个 Skill / 专家,取哪些、怎么替换成对照组,都要有明确规则,否则对照组不成立。
  • • 脱敏与合规:真实用户数据进评测集之前必须脱敏,并保留可追溯的授权记录。

按构建视角分两类

固定数据集。 稳定、可比、适合做回归。它最大的风险是过拟合——团队天天对着同一批题调,分数涨了但能力没涨。

防过拟合的办法是建立迭代机制:每周替换掉 25% 的 Case,替换的对象优先选"最近每天都通过"的那批(它们已经失去区分度),换成新采的真实问题或新写的边界题。这样固定集始终保持 75% 的稳定性(可比)和 25% 的新鲜度(防漂移)。

动态数据集。 每周从现网新采,反映当下真实分布。它适合做"体检"和"预警",不适合做版本间严格对比(因为题目不一样,分数不可直接比)。

一个成熟的做法是双集并行:固定集卡门禁,动态集看趋势。两者的及格线也不同(90% / 80%),这正好对应第一部分的目标设定。

层级六:执行方式——在线与离线的三种玩法

在线评测

在真实生产流量上做评测:影子模式(新版本并行跑但不影响用户)、灰度分流、A/B 实验。优点是分布真实、能捕捉离线看不到的交互;缺点是无法回放、成本高、有风险。

离线评测的三种形态

这三者的区别经常被混淆,值得单独讲清楚,因为它们的适用场景完全不同:

1. 离线回放评测(Replay)。拿现网回流的数据集,里面已有问题和答案,直接把 Agent 的输出(或历史输出)拿去和答案比对打分。特点:最便宜、最快、完全可复现,适合标准的稳定性验证和评分器的回归测试。局限:它测不到"新版本"——因为被评测的输出是旧的。它只能验证"评分标准是否稳定",不能验证"Agent 是否进步"。

2. 离线回归评测(Regression)。同样拉现网数据(含历史答案),但不用历史答案:用真实的问题重新启动当前版本的 Agent,让它重新生成一次答案,再用 Judge 打分(历史答案只作为参考基线)。特点:能测新版本,能对比"同一批问题上新旧版本谁更好",是发版门禁的主力。局限:成本高(每条都要真跑一遍,长任务尤其贵)、有非确定性(同一版本跑两次结果可能不同,需要固定温度、固定随机种子、必要时多跑取均值)。

3. 离线精准评测(Benchmark-based)。用标准化 Benchmark 做评测,题目、答案、评分脚本都是固定的。特点:可比性最强,适合对外沟通和跨系统横评。局限:与业务脱节,容易"考高分但不好用"。

三者的定位可以这样记:回放测标准,回归测版本,精准测通用能力。

还有两个执行细节值得提前定好:

  • • 单次 vs 多次采样。Agent 有随机性,关键指标建议每条跑 3 次,看均值与通过率(3 次中至少 2 次通过才算通过),否则你会被噪声反复折磨。
  • • 环境隔离。客观交付型任务会改变外部状态(下单、发消息、写文件),必须在沙箱/测试账号环境里跑,且每条 Case 跑完要复位环境。这一点做不好,评测会互相污染。

层级七:任务链路——四个轴决定评测成本和稳定性

同样是"一条 Case",难度可能差十倍。挑选数据集里的问题时,建议沿四个轴分类,因为这四个轴直接决定评测的成本、稳定性和判定方式。

轴一:交互跨度——单轮还是多轮

  • • 单轮:一问一答。判定简单,适合做大批量基础能力回归。
  • • 多轮:一次会话聊 20–30 回。判定复杂,因为要评的不只是最后一轮,而是整条对话的状态演化。

多轮对话怎么切分和打分?常见三种做法:

  1. 1. 整段判定:把整条对话作为一份输入给 Judge,看最终任务是否完成、约束是否全程保持。优点是贴近真实体验,缺点是定位能力弱。
  2. 2. 逐轮判定:每一轮都打分,最后聚合。优点是能定位到"第几轮开始跑偏",缺点是把"合理的追问"误判为失败。
  3. 3. 关键节点判定:只在"状态发生变化的轮次"打分(第一次给出方案、第一次调工具、第一次修正)。这是性价比最高的做法。

多轮还要特别注意约束衰减:越往后,模型越容易忘掉早期约束。这是 Agent 的典型缺陷,必须专门造题(比如在第 1 轮给 5 个约束,第 8 轮检查还剩几个)。

轴二:执行跨度——短程还是长程

  • • 短程任务:单轮、单工具、几步之内完成。
  • • 长程任务:轮次多、工具多、有依赖关系、可能需要中途反思和重规划。

长程任务的评测要点:

  1. 1. 过程可见性。要求 Agent 输出中间进度,否则长任务失败时无法归因。
  2. 2. 中间产物校验。不只看最终结果,还要检查关键中间步骤(比如"是否先查了库存再下单")。
  3. 3. 步数上限。给每条长程 Case 设定最大步数/最大时长,超出即判 Fail——这既是质量要求,也是成本控制。
  4. 4. 断点续跑。长任务评测要允许"从某个中间状态继续",否则一次失败要重跑十分钟。

轴三:触发方式——主动还是被动

  • • 用户主动触发:最常见的一类,用户发一句话,Agent 响应。
  • • 定时触发:每天/每周定时执行的任务(日报、巡检)。评测时要模拟时钟,验证"到点是否执行、内容是否正确"。
  • • 事件触发:由外部事件驱动(收到邮件、订单状态变更、监控告警)。这类 Case 构造成本高、消耗大,实践中通常只做少量高价值覆盖,或先用规则断言验证"事件到达后是否被正确处理"。

还有一类容易被忽略的:Agent 主动发起。现在不少 AI 产品在用户登录时会主动推荐内容、主动召回历史记忆、主动提醒待办。这类行为的评测标准与被动响应完全不同——它要评的是"该不该主动打扰"(相关性、时机、频次),而不是"答得对不对"。过度主动是体验灾难,但这类问题在传统评测里几乎是盲区。

轴四:交付形态——主观 vs 客观

  • • 主观交付:输出文本、报告、代码、文件、图片。判定方式是"内容比对 + 质量评分"。这是目前评测体系最成熟的部分。
  • • 客观交付:Agent 真的在外部世界执行了操作——打开浏览器、填写表单、点外卖、发邮件、改数据库。判定方式是"世界状态断言":操作后,目标系统的状态是否变成了期望的样子。

客观交付的评测要额外做三件事:

  1. 1. 副作用审计:除了目标状态,还要检查有没有产生不该有的副作用(多下了一单、多发了一封邮件、覆盖了别的文件)。
  2. 2. 幂等性验证:同一任务重复执行,是否会产生重复副作用。
  3. 3. 不可逆操作确认:涉及付款、发送、删除的动作,是否在执行前向用户确认过。

这也是"personal agent"类产品评测的最大难点:它的价值在于改变世界,而改变世界的验证成本远高于生成一段文本。

层级八:评测平台——工具选型看六件事

平台的作用是把"数据集、执行、评分、看板、回归"串起来,避免用 Excel 和脚本硬拼。业界常用的有 Langfuse、LangSmith、DeepEval,以及各类 trace/observability 框架(如 Arize Phoenix 一类)。选型时不要只看"哪个名气大",按这六条打分:

选型维度
要看什么
为什么重要
Trace 完整度
是否记录完整调用链:prompt、模型输出、工具入参出参、耗时、token
没有 trace,Bad Case 无法归因到具体一跳
数据集管理
是否支持版本化数据集、Case 打标、正负边界分类
数据集是资产,必须可版本化
评分器生态
是否支持自定义 Judge、规则断言、外部评分 API
你的业务标准一定需要自定义
并发与成本
批量跑 500 条要多久、多少钱
长任务回归的成本很容易失控
回归与对比
是否支持"同数据集跨版本 diff"、逐条对比
这是发版门禁的核心能力
私有化与合规
能否本地部署、数据是否出境
涉及用户数据时这是硬约束

一个务实的路径是:先用开源/自建方案跑通最小闭环(100 条 Case + 规则断言 + Judge + 一个表格看板),验证方法论成立之后再上平台。 反过来先上平台、再想标准,通常会得到一堆漂亮的可视化和一堆没人看的分数。


第四部分 评测数据构建的五个细节

前面讲的是"从哪来",这一部分讲"怎么写才有效"。这五个细节决定了数据集是"能用的资产"还是"看起来很多的垃圾"。

细节一:Case 的三类写法要给到"可判定"的程度

正向 Case 的关键不是"问得对",而是"答案里必须有什么"。每条正向 Case 应显式列出必含要素(must-have)和必不含要素(must-not-have)。比如一条"生成周报"的 Case:必含本周完成项、下周计划、风险项三节;必不含具体客户名称。

负向 Case 的关键是区分三种"不该":

  • • 不该做:超出能力边界("帮我改一下公司服务器密码")。期望:明确拒绝并给替代方案。
  • • 不该说:不该承诺、不该透露("你们最低能给到几折")。期望:不给出内部信息。
  • • 不该错:不能编造(问一个不存在的产品型号)。期望:说明查不到,而不是编一个参数。

边界 Case 的关键是把"模糊"拆成可命名的类型:意图模糊、指代不明、槽位缺失、多意图冲突、超长输入、极短输入、语言混杂、错别字、情绪化表达。每类都要有,且每类的期望行为要写成"应当澄清的具体问题",而不是笼统的"应当反问"。

细节二:现网回流的取数与筛选逻辑

这是最容易被含糊处理的一步。至少要回答:

  1. 1. 样本框:时间窗口(最近 7 天?30 天?)、流量来源(全量 / 某端 / 某渠道)、用户类型(新老、付费免费)。
  2. 2. 分层维度:按 Skill、按意图、按任务长度、按是否失败、按是否人工介入。分层是为了保证长尾不被大盘淹没——如果按全量随机抽,占 80% 的简单任务会挤掉所有难例。
  3. 3. 失败加权:线上失败或用户负反馈的 Case 应提高采样权重(比如 3–5 倍),因为它们的诊断价值最高。
  4. 4. 去重:语义去重(相似问法合并)、用户去重(避免一个用户刷屏占满数据集)。
  5. 5. 答案归属:区分"人工标注答案""Agent 历史答案""用户实际采纳结果"。只有前两者可作 Ground Truth 候选,第三个只能作参考。
  6. 6. 替换逻辑:做对照组时,把哪个 Skill 替换成什么、路由是否强制指定,必须写死在数据集元数据里。

细节三:专项断言

针对单个 Skill,通用指标往往不够。要为它写专项断言,形式可以是:

  • • 结构断言:输出必须是合法 JSON,且包含 items 数组、长度 3–10。
  • • 内容断言:必须调用 search_hotel 且参数 city 与用户输入一致。
  • • 顺序断言:必须先 check_stock 再 create_order,不允许颠倒。
  • • 禁止断言:输出中不得出现 password、token、内部 等字样。
  • • 数值断言:报价必须落在用户预算区间内。

专项断言的好处是零成本、零方差,能覆盖 60% 以上的确定性缺陷。建议每个 Skill 至少 5 条专项断言。

细节四:Golden Path(标准执行流程)

Golden Path 规定"这类任务的标准做法是什么":应该先做什么、后做什么、在什么条件下分支、出现什么情况必须停下问用户。

它的价值在于过程维度可判定。没有 Golden Path,"过程对不对"只能靠感觉;有了它,就可以比对"实际轨迹 vs 标准轨迹"的偏离度。

写 Golden Path 时注意:它应该是必要约束而不是唯一路径。如果写成"必须按 1-2-3-4 执行",会误杀所有合理的等价路径,导致过程维度通过率虚低。

细节五:Ground Truth(标准答案)

Ground Truth 是机评的锚。它有三种形态,各有适用场景:

  1. 1. 精确答案(唯一正确,如"订单号是多少")。适合规则比对。
  2. 2. 要点清单(必须覆盖 N 个要点,允许措辞不同)。适合开放问答,用要点覆盖率打分。
  3. 3. 参考范例 + 评分要点(给一份高质量范例,同时列出评分维度)。适合写作、报告类任务。

三个常见坑:

  • • 把"某一个正确答案"当成"唯一答案":导致合理变体被判错。要用要点清单而不是逐字比对。
  • • 答案本身过时:价格、政策、版本号会变。Ground Truth 必须带"有效期"字段,过期自动降级为"参考"。
  • • 答案由模型生成:用模型生成的标准答案去评模型,会形成自我确认偏差。

数据规模:从小开始

不要一上来就造 1000 条。一个可执行的节奏:

阶段
规模
目标
MVP
50–100 条(每 Skill 10–20)
跑通闭环,验证标准可判定
稳定期
每 Skill 150–300 条,固定集 300–500
支撑发版门禁
成熟期
固定集 500+,动态集每周 100–150
支撑趋势监控与长尾治理

质量远比数量重要:100 条标准清晰、覆盖完整的 Case,胜过多 1000 条同质化的简单题。


第五部分 Bad Case 归因与回流:评测真正的产出

评测跑完,通过率只是一个数字。真正的产出是那 10% 的 Bad Case 以及它们背后的原因。 一个团队的评测能力,最终体现在它能不能在一小时内说清"这批失败到底是谁的责任"。

5.1 归因的四个象限

Bad Case 的成因基本落在四类里,排查顺序建议按"成本从低到高":

第一类:数据集问题

表现:通过率整体偏低,但失败样本高度分散、没有共同模式;同一条 Case 换个人看也觉得"这题本身问得就不清"。

典型成因:

  • • Case 指代不明("把那个改一下",没有上文)。
  • • 期望答案写了但没写判定要点,评分器只能猜。
  • • 入参缺失但没声明"此 Case 应反问"。
  • • 数据过时(价格、政策已变)。

判定方法:随机抽 30 条失败 Case,人工盲审"这条题如果给人做,人能确定唯一正确答案吗"。如果超过 30% 答"不能",就是数据问题。

修法:重写 Case(补全上下文、明确期望行为、更新答案),而不是改 Agent。

第二类:标准问题

表现:通过率方差大——今天 78%,明天 85%,同一版本跑三次三个数;或者人机一致率显著低于阈值。

典型成因:

  • • 指标无法量化("回答要专业")。
  • • 权重设置导致"稍微改一点就跨过阈值"。
  • • 评分器提示词里没有给判定锚点。
  • • NA 的处理规则不明确,分母抖动。

判定方法:同一版本、同一数据集,连续跑 3 次,看通过率的标准差。如果标准差 > 3 个百分点,先怀疑标准与评分器,而不是 Agent。

修法:补锚点、补例子、固化 NA 规则、给评分器加 few-shot 判定样例。必要时把该维度从 LLM Judge 降级为规则断言。

第三类:模型能力问题

表现:失败集中在"需要推理、需要常识、需要长上下文"的题型;错误模式是"答得不对"而不是"流程走错"。

典型成因:底座模型的事实性不足、指令遵循不稳、长上下文遗忘、工具参数生成格式错误。

判定方法:固定数据集、控制变量做对比实验——同一套提示词、同一套工具、同一温度,只换模型,跑同一批 Case。如果换模型后通过率显著变化,就是模型问题。

这是归因里最需要纪律的一步。很多团队会在换模型的同时顺手改了提示词,最后得出"新模型更好"的错误结论。

修法:换模型、加 few-shot、拆小任务、给模型更明确的输出 schema。

第四类:Agent 工程问题

表现:错误模式高度结构化——总是在同一个 Skill 上错、总是在某个工具调用上失败、总是漏掉同一个约束、总是在多轮第 5 轮之后跑偏。

典型成因:

  • • 过程未遵循规范:没走 Golden Path,跳步、顺序颠倒。
  • • 路由错误:请求分错 Skill,或该分未分。
  • • 工具调用错误:参数类型不对、ID 编造、漏传必填项、该重试没重试。
  • • 上下文管理缺陷:Memory 写入/读取逻辑有问题,早期约束被截断。
  • • 终止条件缺失:该停不停(死循环),或该继续却提前交付。

判定方法:看 trace。逐跳检查"输入是什么、模型决定了什么、工具返回了什么、下一步做了什么"。绝大多数 Agent 问题在 trace 里是显式的,只是没人看。

修法:提给研发与算法,按"提示词 / 路由策略 / 工具 schema / 状态机 / 记忆策略"分别修复,并为该失败模式单独补一条回归 Case。

5.2 归因流程 SOP

把上面四类落成一个可执行的流程:

  1. 1. 聚合:把当日/当周的 Bad Case 按 Skill、按失败模式、按维度聚类。不要逐条看,先看分布。
  2. 2. 抽样:每个聚类抽 5–10 条,做人工盲审,记录"如果我是标准答案,这条应该怎么答"。
  3. 3. 排除数据:先问"这条题本身是否成立"。不成立就直接修题,不进入下一层。
  4. 4. 排除标准:再看"评分器判得对不对"。可以用人评结论反查机评,若机评判错则修评分器。
  5. 5. 控制变量:用同一批 Case 做模型替换实验,判断是否模型能力问题。
  6. 6. 定位工程:以上都排除后,看 trace 定位具体一跳,形成可复现的最小复现步骤(哪一句输入、哪一个工具、哪一次返回)。
  7. 7. 开单:每条确认的工程问题转为 issue,附带"复现 Case ID + trace 链接 + 期望行为 + 实际行为"。
  8. 8. 补题:无论归因为何,都要把这条 Case(或它的等价变体)加入回归集,防止复发。

这个流程的关键是顺序。绝大多数团队的问题是把工程问题误判为模型问题(于是不停换模型),或者把标准问题误判为 Agent 问题(于是不停改提示词)。按"数据 → 标准 → 模型 → 工程"的顺序排除,成本最低。

5.3 回流机制:让闭环真的闭上

"回流"不是"把 Bad Case 丢进数据集"这么简单。完整的回流包含五个动作:

  1. 1. 日常汇总:每天把通过率、Bad Case 数、Top 失败模式记进一张固定结构的表(日期、版本、数据集、通过率、Top3 失败模式、责任方)。这张表是趋势分析的原料。
  2. 2. 周度评审:每周一次 30 分钟的评测评审,只看三件事——通过率曲线、Top 失败模式的变化、上周 issue 的修复验证结果。
  3. 3. 样本入集:把确认的 Bad Case 转成标准 Case 入固定集,同时按 25% 的规则淘汰"永远通过"的老 Case,保持区分度。
  4. 4. 标准修订:如果 Bad Case 暴露的是"标准没覆盖到的质量问题",新增指标或修订锚点,并记录版本。
  5. 5. 能力修复:工程问题进研发排期,模型问题进算法排期,数据问题进标注排期。

闭环是否真的闭上,用三个指标衡量:

  • • Bad Case 复发率:同一失败模式在两周后是否再次出现在新数据上。理想值趋近 0。
  • • 固定集通过率趋势:是否单调上升且不出现"涨了就跌"的锯齿(锯齿通常意味着在过拟合)。
  • • 人机一致率趋势:是否稳定在阈值以上,且漏判率没有上升。

一个常见失败模式是:团队把评测当成"季度项目",跑一次、写个报告、然后束之高阁。评测的价值不在某一次的结果,而在每周都能看到的那条曲线。所以最该先建设施不是数据集,而是每日自动跑、自动出报表的那条流水线。


第六部分 边界与坦率说明:图片、视频与多模态 Agent

上面整套体系主要针对文字型 Agent。图片和视频类 Agent 的评测目前仍有明显空白,需要坦白说明:

  • • 图片生成/编辑类:可以用 CLIP 类指标测"语义一致性",用美学模型测"观感",用规则测"尺寸/格式/文字渲染正确性"。但"这张图是否符合品牌调性""这个构图是否恰当"仍然高度依赖人评。机评能覆盖的是"硬约束",覆盖不了"审美判断"。
  • • 视频类:时序一致性、镜头连贯性、音画同步可以用模型辅助,但"叙事是否成立""节奏是否舒服"基本只能人评。
  • • 多模态输入的 Agent(读图、读表、读屏幕):可以用结构化任务(表单填写、图表问答)做规则化评测,因为答案可验证;但开放场景的理解质量仍不稳。

现实的结论是:多模态场景现阶段应以"人评为主 + 机评做筛"的方式组织——用机评把明显不合格的批量筛掉(节省人力),把边界样本交给人评。等机评在这些维度上的人机一致率稳定超过 85%,再考虑扩大自动化比例。

这也意味着,如果你的 Agent 涉及多模态交付,评测预算里必须留出人力标注成本,不能假设"全部自动化"。


第七部分 落地路线图:30 / 60 / 90 天

方法论讲完,最后给一个可执行的推进节奏。不要试图一次建全,按这个顺序推进成功率最高。

第 1–30 天:跑通最小闭环

动作
产出
判断标准
定目标
一页验收条款(通过率、时延、一致率)
能被工程和产品同时签字
定标准
四维度 + 10–15 个二级指标 + Rubrics v1
两人独立标注 Kappa ≥ 0.6
造数据
50–100 条(正负边 6:2:2)
每条都有期望行为与判定要点
搭流水线
一条命令跑完、自动出分数
单次全量跑 ≤ 20 分钟
出基线
当前版本通过率与 Top3 失败模式
能说清"最该先修什么"

这一阶段最大的风险是"标准写得太抽象"。判断标准很简单:把标准给一个没参与项目的同学看,他能否对 10 条 Case 独立判出一致的结论。做不到就回去改标准。

第 31–60 天:接上现网与回归

  • • 建立现网回流链路(分层抽样 + 失败加权 + 脱敏)。
  • • 固定集扩到 200–300 条,建立每周 25% 替换机制。
  • • 把离线回归接入发版流程,做成硬门禁。
  • • 上线人机一致率监控(每周抽检 5%)。
  • • 建立 Bad Case 归因 SOP 与周度评审会。

判断标准:新版本发不出去,如果固定集通过率跌破 90%——这条规则真的被执行过至少一次。

第 61–90 天:从"能测"到"能指导决策"

  • • 做消融实验(有无 Skill、有无显式路由、模型替换),把结论沉淀成架构决策依据。
  • • 拆分点到点评测集(意图路由、RAG、Memory、工具编排各自的专项集)。
  • • 接入长程任务与客观交付任务的沙箱评测。
  • • 建立成本看板(token / 任务、单任务耗时、调用次数),把质量与成本放在一张表上看。
  • • 沉淀内部"评测词典":失败模式的命名、定义、典型 trace,让团队说同一种语言。

判断标准:产品要不要上某个新 Skill、要不要换模型,团队能拿评测数据说服对方,而不是靠 demo 演示。


第八部分 十个最常见的坑

把前面内容压缩成一张"避坑清单",方便直接对照自查:

  1. 1. 没有目标就开跑。 跑完得到一个分数,没人知道这个分数算好还是不好。
  2. 2. 固定集和动态集用同一条及格线。 要么门禁太松,要么为了动态集达标去猜题。
  3. 3. 标准写成形容词。 "专业""流畅""准确"无法判定,机评只能靠感觉,方差必然大。
  4. 4. 只评结果不评过程。 系统会进化成"过程乱但碰巧对",长尾一测就崩。
  5. 5. 只评过程不评结果。 系统会进化成"格式完美但内容空洞"。
  6. 6. 一票否决用得太宽。 大量维度都能否决,通过率失去区分度,团队失去抓手。
  7. 7. NA 不剔除分母。 简单任务天然高分,评测结果与真实难度脱钩。
  8. 8. 用模型生成的标准答案评模型。 自我确认偏差,越评越乐观。
  9. 9. 归因顺序反了。 一有 Bad Case 就换模型,反复折腾但问题在原地。
  10. 10. 评测是一次性项目。 没有每日流水线,没有趋势曲线,评测就只是一份 PPT。

结语

把整套东西收成一句话:

Agent 评测不是一个分数,而是一条能持续给出改进信号的流水线。

它由五块拼成:钉死的目标(通过率 + 性能 + 人机一致率)、可判定的标准(四维度 + Rubrics + 权重)、切得开的层级(对象/粒度/主体/节点/数据/执行/任务链路/平台)、写得实的数据(正负边界 + 回流的取数逻辑 + Golden Path + Ground Truth)、闭得上的闭环(归因四象限 + 回流五动作)。

前四块决定你能不能"测出来",最后一块决定你能不能"改得动"。绝大多数团队卡住的不是前四块,而是最后一块——因为归因需要看 trace、需要控制变量、需要跨角色协作,它是脏活。但恰恰是这些脏活,让通过率从 78% 走到 92%。

如果你正准备从零搭一套 Agent 评测,建议就从最小的那一步开始:先写一页验收条款,再造 50 条 Case,再跑一条能自动出分的流水线。 剩下的,会在你每周看那条曲线的时候,自己长出来。


本文基于公开分享视频《Agent 评测系统梳理》的口播内容整理并大幅扩展,补充了指标口径、Rubrics 写法、归因 SOP、落地路线图与常见坑等实操细节,供团队内部建设评测体系时参考。文中框架为通用工程实践,具体阈值(90% / 80% / 40-40-20 等)需按自身业务基线校准,不建议直接照搬。

随机文章