真实公司场景下的大模型评测方法论
很多团队做大模型评测,先凑一百道题,跑出一个准确率,觉得差不多就上线。等分数从85掉到78,才发现根本说不清是哪儿坏了。
评测要从“测什么”开始。拿客服Agent来说,意图理解、知识正确性、工具调用、多轮状态、规则遵循和任务完成,得拆开看,再覆盖常规、边界、冲突和工具失败等场景。否则一张总分表,看起来很清楚,出了问题却帮不上忙。
一条用例也不只是问题和答案,还要有能重建的环境,以及明确的通过标准。订单状态、公司政策、工具接口都得准备好,不能依赖上一条用例留下的数据。写操作放进副本,避免把下次测试的起点改了。
Agent开跑前,先验证判据。拿应该通过和应该失败的标准轨迹测一遍:工具和关键参数、输出格式等能精确比对的,用规则;回答的语义和对话质量,再交给模型或人工。确定性规则要稳定,模型评分则要测波动,不能混着要求。
模型当裁判也不是天然客观。长答案可能占便宜,A/B的位置、提示词、评分量表都会影响判断。先和人工Gold对齐,再交换答案位置、换提示词和裁判模型,看看哪些题容易误判。高风险和低置信度的结果,留给人工复核。
Agent还得看过程。同样答对,调用两次工具就完成,和绕十几步才碰巧答对,不是一个水平。工具成功率、步数、延迟、Token成本、重试和人工介入都要记录,还要重复运行看稳定性。
分数下降时,先把失败分成输入、检索、推理、工具、格式和裁判误判六类。先确认尺子没歪,再修Agent。RAG也一样,把材料召回、排序、答案相关性和忠实度分开看,每次只改一个变量,再重复实验。
自动评测负责持续监控,人工评测负责标定。线上失败要不断回流成新题,经过判据校准、回归和灰度,再观察线上结果。起步先把Trace和脱敏做好,随后建立真实问题集和回流机制,再逐步做成团队的决策基础。
缺数据可以让模型生成候选题和Rubric,但生成以后还得去重、验证和筛选。稳定地判错,也不会变成好规则。题库要保鲜,私有测试集要防泄露;没有轨迹就标缺数据,不伪造通过率。分数有了这些依据,才能解释为什么掉,以及下一步应该改哪里。