Agent 评测集怎么搭：设计思路与踩坑实录

leader盯着我交上去的90%准确率，直接甩来一句：“这准确率是站在谁的角度算的？”

我当场卡住。那两百条测试题全是模型自己生成、自己答的，一行真实数据都没碰。后来学乖了，直接拿客服日志开刀，挑出Agent答错或用户不满意的对话，硬攒了一百一十条真实题库。

后来又栽在题目分布上。模型明明整体变好了，评测分数却跌了。原来题目东一条西一条，根本没按真实流量切分场景。现在每次升级，总分之外必须看分项——有一版总分涨了两个点，但敏感问题那档掉得厉害，这版就不能上。

判分标准也得跟业务方吵清楚。最后定了三种题型各算各的：事实题机器精确匹配，流程题覆盖要点就算过，开放题先粗筛再人工复核。

坑更扎心。业务改了话术口径，评测集没跟着动，我还以为模型坏了；机器判分也会冤枉好回答，抽查发现7%的通过案例其实判错了。现在每两周就得抽一轮人工质检。

说白了，评测集攒的不是题目，是团队花钱买来的教训。