从产品经理角度，如何构建 Agent 评测集？

AI 产品经理面试里，Agent 评测题越来越常见。题目一般是：你负责的企业 Agent 要上线了，怎么建评测集？

很多人第一反应是准备一批问题配标准答案。但这只答对三分之一。Agent 不是聊天机器人，它是任务执行器。只看最后一句回复，就是个黑盒。你根本不知道是哪条链路、哪个节点出了错。

所以评测样本得按“任务”来设计。一条合格样本至少包含场景、输入、预期目标、模拟数据和运行约束。最关键的是，预期目标写的是结果状态，不是标准回复。比如不能只看它说“已提交报销”，得去系统查单子到底建没建。

打分也别指望一个分数说明一切。能程序验证的交给程序，开放性的交给 LLM 评委，拿不准的交给人。而且必须定死一条规则：外部证据优先。Agent 说完成了但系统没变，一律判失败。

细则也得拆成看得见的标准。别写“排版清晰”这种虚词，要写成“三步以上必须用编号列表”。换谁来判都一样。上线后还得版本化管理，定期回流 BadCase，淘汰太简单的旧题，防着团队刷分。