Agent 评测集别照抄，5 类来源可选

第一版 Agent 评测集，多数团队的做法是下载个公开基准跑一遍，截图发群。这步很省事，也很容易给出错误的安全感。

但照搬根本不行。公开基准的任务分布跟自家业务不一样，换套 prompt 分数能差两位数。更扎心的是，2026 年已有研究指出，多个主流 Agent 基准存在可被 reward hacking 的空间——环境把答案漏进变量、评分用例本身有错，只报单次运行还掩盖了随机性。所以任务集得自己建。

起步期没流量，先人工写 20 到 50 条；有了线上日志，就从中分层采样。到了要补长尾的阶段，再用模型批量生成来定向造边界。不过别指望单一来源，真实做法必须是组合拳。

一条任务不是一句“帮我退款”，它得写清三件事：初始状态、目标和验收标准。最可靠的是可程序化判定的断言，比如数据库里订单状态变成已退款。要是写成“回答让人满意”，那分数全是虚高的。

另外，外部依赖能 mock 就 mock，不能 mock 就打快照。跑分时按单工具、多工具链、长程分三层给分，千万别混在一起算平均分。最后记住，拿来做评测的留出集，绝对不能拿去调 prompt。