做 Agent 评测,最坑的是拿模型那套打分法硬套。
模型评测像判填空题,给输入、对答案就行。Agent 是一整条执行轨迹:理解意图、调哪个工具、参数填什么、失败要不要重试,最后交付文本还是真替你点按钮——差别太大了。
所以它没法靠一次结果定生死。 同一题问两遍,路径可能完全不同;意图偏一点,后面全错;网页改版、接口超时也会干扰结果。更麻烦的是,业务要求往往很模糊,"回答要专业"这种话写进标准,机评分数就会乱跳。
我的做法是把评测拆成五件事。
先钉死目标:固定集通过率卡到 90%,动态新题放低到 80%。再定标准,过程、结果、表达各占权重,风险直接一票否决。接着把评测拆成八个层级,从评整个框架到单个 Skill,再到人评机评怎么配合。
数据得自己造正例、反例和边界题,线上真实 Case 也要回流。最后跑出 Bad Case,关键不是骂一句"又错了",而是归因到具体哪一跳、再塞回迭代闭环。
真正难的不是算出一个分,是让这个分能反复测、找到根因、推动下一次改。