改一版,感觉好了,就算优化了
把每一次修复变成
一条会跑分的流水线
8 步闭环 · 从定义成功到 rubric 评分
OpenAI 开发者博客解读
📦 7 Parts + Conclusion
PART 01
先定义成功
写之前就想好怎么测
PART 02
手动触发
把隐藏假设逼出来
PART 03
小测试集
10 到 20 条就够
PART ///
写在最后
原文:OpenAI 开发者博客
Skill 不该靠玄学调,它值得一套会跑分的测试。
如果你给自己或团队写过 Agent Skill,下面这种体验你应该不陌生:改完 SKILL.md,这版感觉快一点,那版好像更稳,到底有没有进步,全靠玄学。更难受的是某天突然发现 Skill 不触发了、跳步骤了、在目录里留了一堆不该留的文件,而你根本不知道是哪一版改坏的。
OpenAI 开发者博客前段时间发了一篇《Testing Agent Skills Systematically with Evals》,作者 Dominik Kundel 和 Gabriel Chua,专门讲怎么用 Evals(评测)系统化地测试 Agent Skill,示例环境是 Codex。
核心其实一句话:一个 eval 就是「一条 prompt → 一次完整的运行记录(轨迹加产出物)→ 一小套检查 → 一个可以跨版本对比的分数」。
说白了,把 Skill 当普通 LLM 应用来测。别再问“这版感觉是不是更好”,改成问:Skill 触发了吗?该跑的命令跑了吗?产出符合规范吗?分数一拉,进步和回归都是明牌。
01
PART
动手写 Skill 之前,先把“成功”写成能检查的东西
DEFINE · 可量化的成功标准
原文第一步不是写 Skill,是定义成功。建议一开始就把检查项分成四类。
结果目标,最实在:任务完成了吗?最终 app 跑起来了吗?
过程目标,看它有没有按你设计的路走:Codex 真的调用了这个 Skill 吗?用的工具和步骤是当初设计的那些吗?
风格目标,管产出规不规范:组件结构、样式约定这些符不符合要求。
效率目标,管有没有瞎折腾:多余命令、token 烧太多都算。
这份列表要短,只放必须过的检查。评测的意义不是把每个偏好都编码进去,而是抓住你最在乎的那几个行为。原文的例子很直白:npm install跑没跑、package.json建没建。这种硬检查配上风格评分,图的是早暴露具体问题,别等到最后只剩一个笼统的通过或挂掉。
02
PART
先手动触发几轮,把隐藏假设逼出来
TRIGGER · 挖出藏在描述里的假设
Skill 触不触发,很大程度上看 SKILL.md里的 name和 description,这两个字段是 Codex 判断要不要调用 Skill 的主要信号。所以第一步是手动激活,用 /skills命令或者 $前缀,在真实目录里跑几轮,看它在哪崩。
这个阶段不追求快和漂亮,目标是挖出隐藏假设,主要是三类。
触发假设:说“快速搭个 React demo”该触发却没触发;说“给项目加点 Tailwind 样式”反倒误触发了。
环境假设:默认自己在空目录里干活,默认机器上有 npm。
执行假设:以为依赖都装好了,跳过 npm install;或者 Vite 项目还没建好,就先去配 Tailwind。
这个阶段每一次手动修复,比如补上漏掉的 npm install、收紧触发描述,都是未来 eval 的候选。手动跑的意义就在于把这些行为先锁死,之后上规模测试才谈得上。
想让这些跑变成可复现的脚本,就换成 codex exec,它把进度写进 stderr,只把最终结果写进 stdout,方便脚本捕获。默认跑在受限沙箱里,要写文件就加 --full-auto,但权限能给多小给多小。
03
PART
十几条 prompt 的小测试集,足够抓回归
PROMPTS · 四种用例各有分工
不用一上来就做大 benchmark。原文给了个数:单个 Skill 配 10 到 20 条 prompt 就够,能早早暴露回归、确认改进,不用贪多。拿个 CSV 存起来,每行是一个“你在乎 Skill 触不触发”的场景,踩坑了就往里加一行。
至少有这四种 prompt 值得放进去,分工不一样。
显式调用,prompt 里直接点名 Skill。保证后续怎么改 name、description、指令,都不影响用户点名时能用。
隐式调用,只描述场景不提 Skill 名字,比如“搭个最小的 React + Tailwind demo,用来快速试 UI”。测的是那两行字段够不够强,Codex 能不能自己选中它。
带语境的调用,混进一点领域词,比如要演示 Responses API。测的是真实、带噪声的 prompt 下它还触不触发,产出结构还合不合规。
负对照,也就是明确不该触发的场景,比如“给现有的 React 项目加 Tailwind 样式”。至少放一条 should_trigger=false 的用例,误报比漏报更难发现:用户只想改老项目,Skill 太饥渴直接新建一个,这种错很致命。
跑着跑着你就会发现漏网之鱼,触发不了的、产出跑偏的,都加成新行。这个 CSV 慢慢会变成一份活档案,记着这个 Skill 必须一直做对的所有场景。
04
PART
让机器替你看运行记录:确定性检查
TRACE · JSONL 事件流怎么打分
评测的核心工具是 codex exec --json。加了 --json,stdout 就变成 JSONL 事件流,agent 的每一步都有结构化记录。于是能写确定性检查:跑没跑 npm install?package.json建没建?命令的顺序对不对?
这些检查故意做得很轻:快、可解释,在模型评分上场之前先给你信号。先跑起来、录下来、按规则打分,比盯着最终输出评判长什么样靠谱得多。检查挂了也不用猜,打开 JSONL 一看,每条命令执行都是按顺序排好的 item.*事件,回归原因一目了然,改起来也快。
原文附的 Node.js runner 逻辑很朴素:对每条 prompt 跑一次 codex exec --json --full-auto,JSONL 存盘,解析事件,跑检查。没有魔法,就是可复现。
05
PART
定性部分,交给 rubric 评分
RUBRIC · 用 Schema 约束输出
确定性检查能回答“基础动作做了没”,回答不了“做的方式是不是你要的”。组件结构、样式规范、Tailwind 配得对不对,靠文件存在性检查搞不定。
原文的解法是加第二遍模型辅助检查:Skill 跑完、代码落盘之后,再跑一次只读的 codex exec,用 --output-schema把输出约束成你定义的 JSON Schema。比如一个 style-rubric.schema.json,要求返回 overall_pass(布尔)、score(0 到 100 的整数)、checks(数组,每条含 id、pass、notes)。
字段一固定,跨版本 diff、长期追踪都成了机械劳动。规则能搞定的事交给代码,规则搞不定的事交给 Schema 约束下的模型,两边的输出都能被同一套 harness 打分。顺带一提,以后把这套评测搬进 CI,Codex 的 GitHub Action 支持通过 codex-args透传 --output-schema,自动化工作流里也能强制同样的结构化输出。
06
PART
Skill 成熟之后,再加这些进阶检查
EXTEND · 先快后慢,按需叠加
基础循环跑通了,再按需加更重的。原文列的方向里,我觉得这几个最实用。
命令数和 thrashing:数 JSONL 里 command_execution事件的条数。agent 开始鬼打墙、反复跑同一条命令时,这是最直接的报警器。token 用量在 turn.completed事件里也有。
Token 预算:追踪 usage.input_tokens和 output_tokens,跨版本对比。prompt 悄悄变胖这种事,不盯数字基本发现不了。
构建检查:Skill 跑完后跑一次 npm run build,比文件存在性强得多,坏 import、工具链配错都能抓住。再狠一点上运行时冒烟,起 npm run dev用 curl 打一下,有 Playwright 的跑个轻量检查。信心是加了,时间也花了,按需来。
仓库整洁度:确认运行没留下多余文件,git status --porcelain是空的,或者匹配白名单。
权限回归:确认 Skill 没有偷偷升级权限。一旦自动化,最小权限的默认值就格外重要。
先用快的检查解释行为,慢而重的检查只在真能降低风险的时候加。
07
PART
原文的 5 条 takeaways
TAKEAWAYS · 全文收束
测量重要的东西:好的 eval 让回归清晰可见,让失败可以解释。
从可检查的 definition of done 起步:用 $skill-creator搭个架子,然后把指令收紧到“成功”没有任何歧义。
eval 要锚定行为:用 codex exec --json抓 JSONL,对着 command_execution事件写确定性检查。
规则不够的地方交给 Codex:用 --output-schema加结构化 rubric,稳定地给风格和规范打分。
让真实失败驱动覆盖率:每次手动修复都是信号,把它变成测试,Skill 才能持续做对。
///
LAST
Skill 热门文章推荐
THOUGHTS · 一点私货
你的 Agent Skill 为什么总不好用?这份检查清单说透了
如果你觉得这篇有收获,欢迎点赞、关注、转发三连 。