当前位置:首页>排行榜>智能体评测落地记(十):数据集用例这样写,裁判才有牙

智能体评测落地记(十):数据集用例这样写,裁判才有牙

  • 更新时间 2026-11-19 12:04:38
智能体评测落地记(十):数据集用例这样写,裁判才有牙

上期结尾给评测闭环立了三件事:定时跑批、监控告警接线、问题自动派修,还补了句丧气话——闭环不会自己转。今天上午照例巡检,三件事还没动,概览页的四张卡却全动了。而成员点题的"数据集用例怎么写",恰好能用刚更新的平台当教材。

先给结论:好用例 = 带上下文的输入 + 可判定的检查 + 反向约束。裁判的上限,是被期望写死的。

一、先报连续性:四张卡全动了

履行系列义务,两分钟看完。

Trace 卡 17→18,跟踪表却 15→14。计数卡涨到 18,点进跟踪表,页脚写着"已加载 14 / 14 条 Trace"。卡和表的分歧,从上期的 +2 扩大到 +4。计数不同步的老毛病还在,本篇引用的数字一律以跟踪表页脚为准。

问题卡 2→0。挂了 4 天的两条未解决问题从卡片上消失了。是解决了还是被删了?今天没逐条核实,按系列纪律不归因,只记观察。

监控卡出数了。此前它一直是个空盒,今天显示"5 ↑ 0.571"。期九三件事里的"监控告警接线"迈出半步:数据有了,"出异常找人"的那根线还没有。

评估运行页,4 个运行全部有了规范名字和数据集归属。omni-eval-exp11-1116-r1 挂在 omni-eval-phase2-cases 数据集上,judge 系列的统一轮跑批挂在 atm_ai_prod_traces_r1,另有 judge 系列补跑/回填运行 ×2 挂在 atm-ai-legacy-traces 上——随机动物名(kindly-crow 们)正式退役。期八点名的"没名字、没归属"这格填实了;剩下的 answer_correctness 空列、报告不记模型,今天没逐项查,不报喜也不报忧。

跟踪表里还有个新面孔:omni-eval-phase2-echo,phase2 的命名开始冒头;旁边一条 22 小时前的 trace,12.4 秒跑完,全 5 分。

二、今天的教材:一份 24 例,和一个空壳

实验下挂着两个数据集,恰好是一组对照教材。

一个是主角:24 条记录、六个标签字段、must/must_not 双向检查,11-13 下午 17:11 一口气建完。另一个叫 atm-ui,点进去是一张空态页,正中间一行字:"添加记录,开始评估你的应用。"

建了数据集 ≠ 写了用例。期八说"配置了 ≠ 有产出",这期反过来说——写好了,才有得判。跑批可以定时,裁判可以换模型,唯独数据集是评测闭环里唯一纯手工的环节,得一条一条写。它决定了裁判的天花板。

下面所有内容,来自逐条翻开的真实记录。

三、用例不是裸问题,是"输入三件套"

先看一条对话类用例 LC-02(列表对话:冒烟测试清单梳理)。它的输入不是一句话,是三件套。

第一件,requirement,任务本体。"【问题】帮我基于现有用例梳理一份冒烟测试清单,说明挑选理由和执行顺序建议。"注意前缀——这份用例库用【问题】【测试需求】【当前已有步骤】三种前缀区分任务类型,扫一眼就知道在考什么。

第二件,context_blocks,上下文块。把智能体要工作的"环境"直接喂进去:

{  "requirement": "【问题】帮我基于现有用例梳理一份冒烟测试清单,说明挑选理由和执行顺序建议。",  "context_blocks": {    "当前列表上下文": "目录:交易/收银台\n已有用例:登录后跳转收银台校验;收银台 WALLET 二维码巡检;收银台金额展示核验;登录密码错误提示校验;转账记录列表核对;转账详情打开校验"  },  "current_steps": null}

第三件,current_steps。LC-02 里是 null——改写、补全类用例才填它,比如"在这条挂了的用例基础上改",才需要把现有步骤塞进来。

为什么要费劲喂上下文?因为给了上下文,检查项才可判定。LC-02 的检查里有条"只引用清单内用例名,不造新用例",它判得下去,就是因为输入里有那份 6 条用例的清单。把输入写成裸的"帮我梳理一份冒烟测试清单",判卷人只能凭感觉——清单都没有,何谈"只引用清单内"?

四、判卷标准:must 立规矩,must_not 堵后门

每条记录的 Expectations 里挂一个 expected_checks 数组,每条检查是三元组 {dim, kind, check}:dim 是维度编号,对话类 C1-C6、生成类 G1-G4;kind 只有两个值,must(必须做到)和 must_not(不许做);check 是一句可判定的人话。

LC-02 的四条 must,一字未改:

C2:从既有 6 条用例中挑选主流程(登录→收银台→转账核心)构成冒烟清单,说明每条挑选理由

C1:只引用清单内用例名,不造新用例

C2:执行顺序符合业务依赖(登录在前、转账依赖登录等)

C6:先结论(推荐冒烟集)后展开

四条里两条 C2,拆成"挑什么"和"按什么顺序排"——维度编号不是唯一键,是归档口径,同维度可以挂多条检查。

为什么 kind 只留 must/must_not 两个值?因为判卷最怕自由裁量。期七裁判刚上岗的那次跑批出现过 6 种评分口径,口径越多、判卷越飘。检查项里不留"酌情"的空间,评分口径自然就收敛了。

再看生成类 GEN-05(收银台二维码混合流,difficulty: hard),must 和 must_not 混着用:

G1 must:open_url_by_api 用自由模式 url+urlJsonPath=$.data.redirectUrl+requestMethod=POST,与固化模式字段(api_code)互斥不混用

G1 must_not:不得编造 api_code(需求未给预置接口编码)

G3 must:接口业务字段/签名类敏感值用 ${VAR},不写死

G4 must:点击 Details 后补 wait 钱包二维码图,再 screenshot 留证

还有一条失败分诊用例(CHA 系列)的 must_not 更直白:"不得建议盲目全局加大所有步骤 timeout 或每步都插 wait"——分诊要找根因,不许开安慰剂。

must_not 是这套数据集最锋利的设计。智能体两大职业病:一是偷懒,加个 wait 就交差;二是编造,编 api_code、造用例名。正向要求管不住的,反向禁令一刀切。

五、六个标签:先想清楚"考什么",再想"怎么考"

每条记录挂 6 个字段:

字段
例值
回答的问题
case_id
LC-02 / CHA-03 / GEN-05
家族+编号:LC=列表对话、CHA=用例分诊、GEN=用例生成
case_type
CHAT / GEN
对话题还是生成题
mode
chat_list / chat_case / generate_workbench
智能体在哪个使用场景里被考
env
omni_platform
在哪个环境跑
difficulty
medium / hard
基础盘和压轴题分开
title
列表对话:冒烟测试清单梳理
一句话说清考什么

先定家族前缀和难度分层,再批量落库——24 条不乱,靠的是先组织后写作。difficulty 这层还有个隐性用处:基础盘(medium)塌了,更像回归性退化;压轴题(hard)塌了,可能只是题难。两个池子分开,坏消息才定位得准。

两个如实的观察:数据集页面自带搜索框("按输入或预期搜索记录"),用例库是可检索的资产,不是一坨滚动的列表;而两处"创建者"栏至今显示"-"——资产有了名字,人还隐着,延续这个系列一贯的"不记名"画风。

六、抄走就能用:数据集用例写作检查单

把今天的实查压成五关,写完一条用例过一遍,每关后面是对应的实查证据:

1. 输入带上下文了吗?context_blocks 把"环境"喂进去,别让智能体裸猜。(证据:LC-02 的 6 条用例清单)
2. 每条检查可判定吗?check 是一句人话,判卷人不需要脑补;判不了,就回去补输入。(证据:LC-02 四条 must)
3. must 之外配 must_not 了吗?反偷懒(不许全局加 wait)、反编造(不许造 api_code、用例名)。(证据:GEN-05、CHA 系列)
4. 标签先组织后写作了吗?家族前缀 + 难度分层,先定"考什么"再写题。(证据:六字段表)
5. 建了就灌数了吗?空数据集是"配置了≠有产出"的最新实例。(证据:atm-ui 空壳)

顺手给个改造示例。"帮我梳理一份冒烟测试清单"这句裸 prompt,LC-02 是这么三改的:一改,把可操作的清单塞进 context_blocks,答案有了边界;二改,立"只引用不新造"的 must,封死编用例名的后门;三改,加"先结论后展开"的 C6,输出结构也判得上。一题三改,判卷从"凭感觉"变成"对着查"。

七、phase2 已经在门口了

跟踪表里的 omni-eval-phase2-echo、运行页上的 omni-eval-phase2-cases——phase2 的影子已经出现在两个页面里。第二阶段评估会怎么用这份 24 例数据集?扩家族、提难度,还是补 must_not?下期验证。

期九立的三件事,今天交了一笔进度:监控卡出数,是"监控告警接线"的半步;定时跑批和问题自动派修,还停在原地。不催,记在这里,下期接着对账。

如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。

往期推荐 · 《智能体评测落地记》

随机文章