当前位置：首页>排行榜>评测是什么,这个岗位到底在干什么

评测是什么,这个岗位到底在干什么

  • 更新时间 2026-11-13 06:43:05
评测是什么,这个岗位到底在干什么

《以何为好》系列01

作者｜杨媛钧

01两秒的卡顿

今天有人问我：你做过大模型评测吗？
我卡了两秒。不是没做过，是我不知道他问的是哪一件事。
如果他问的是“你有没有坐在一群人中间，为同一句话到底该判好还是判差争过”，我做过很多次。如果问的是“你有没有从零设计过一套评测体系、定下指标和通过线”，我没有。
这两件事在别人嘴里是同一个词，在我这里是两段不同的经历。
更让我发愣的是，今天一天里，我在五个JD里看到了同一个词，指的不是同一件事。一家要的是能陪客户把评测标准谈下来的人；一家要的是一个从零搭体系、一个人扛的人；还有一家JD里根本没提评测，只在末尾写“跟进落地反馈”。
同一个词，落在不同公司，是三份不同的工作。
这篇想做的事很简单：把“评测”这个词背后的东西说清楚——它是什么、为什么需要、现在有几种做法、这个岗位站在什么位置、门槛在哪、以后往哪走。后面每一篇，只回答这里提出的一个问题。

02评测是什么

先给一个能拿去检验的定义，不是抄概念：
评测是用可重复的方式，把“好”变成一个群人能达成一致、能交给模型去学的判断。
三个要素，缺一个就不成立。
可重复：换个人来判、换一天再判，结论不能翻。翻了就不叫评测，叫心情。
能一致：一群人判同一句话，分歧得能收敛。如果收敛不住，那只是几个人各自的意见。
能交给模型去学：这一条是AI 才有的，后面单独说。
换成更日常的说法：评测就是造一把尺子，再确定所有人用它量同一件事。
尺子好不好，不看它多漂亮，看三个人用它量同一根木头，读数是否一致。

03它为什么必要

第一层理由很直白：模型不知道自己好不好。
它会生成，不会判断。一段回答是真诚还是敷衍、是回答了问题还是在绕，它自己看不出来。判断必须从外面来。
第二层才是真正的理由，也是这个岗位在AI 时代跟软件测试不在一个位置的原因：
AI是靠人给的判断训出来的。
现在的模型对齐，很大一部分工作是这样的：同一个问题给两个回答，让人判哪个更好，这些“更好”被收集起来，变成训练信号，模型照着学。
也就是说，你判的每一条，都不是在打勾，是在参与塑造它下一次的样子。
这件事听起来抽象，但有个很具体的后果：判的人标准散了，模型学到的就是一个散的标准。它不会比教它的人更清楚什么算好。
所以评测不在流程末端，它在回路里。
而测试，大多数时候介入软件研发流程都比较晚，很难真正决定软件产品的质量。
AI训练不是直线，是个圈：模型出回答、人判好坏、判断变成信号、模型再变、再判。
测试做得好的时候也在圈里：提缺陷、改代码、再测一遍。但那一圈改的是实现——代码动了，需求、设计和架构都没动，系统还是那个系统，只是更接近它本该有的样子。评测这一圈不一样：判断变成训练信号，模型参数跟着变，出来的是另一个模型。
这才是这两个岗位最根本的差别。也解释了为什么“评测”这类岗位会在最近几年被大量生产出来——一旦模型靠人的偏好来训，就必须有人源源不断地生产偏好。

04现在有几种做法

主流分四类，加一类专管安全。每一类我都写一句“它最容易在哪失真”，因为知道一类方法怎么坏，比知道它怎么好更有用。
一是拿标准答案判。题有唯一答案，机器自动对答案算准确率。MMLU、C-Eval 这类学科选择题，GSM8K 这类小学应用题，HumanEval 这类代码题，都属此类。它便宜、快、可复现，是最早被信任的一类。
它最容易坏在三处：题目和答案本来就是公开的，训练时从网上抓语料，很容易连着答案一起抓进去，于是模型在考之前就做过这套卷子；分数顶到天花板，谁都是九十几分，没有区分度；只测“知不知道”，不测“会不会用”。
第一处最要命，也最不容易被发现。你把同一道题换个问法、换个数再问一遍，如果答对率明显掉下来，说明它记的是那个固定问法，不是会解这一类题。
二是让模型当裁判。请一个更强的模型，给另一个模型的回答打分，或者把两个回答摆在一起让它选。MT-Bench、AlpacaEval 走的是这条路。它便宜、能扩规模、能评开放式回答，所以现在用得极多。
它最容易坏在三处：位置偏差，同一段回答放前面和放后面分数能不一样；啰嗦偏差，写得长、格式漂亮容易得高分；自我增强偏差，裁判偏爱和自己风格像的回答。
有人把这件事总结得很准：裁判和被评的模型共享同一套训练数据和口味，它们会在同一个错误上达成一致。
用我的话说，这是让同一个班组的人互相检查——大家都觉得没问题，问题就一直在那儿。
三是让人来判偏好。真人看两个回答投票，攒出排名；或者请专家按维度打分。Chatbot Arena 那种公开对垒平台走的是这条路。它最接近真实用户的感受，也最贵、最慢、最不可扩。
它最容易坏在样本少和人散：几十个人判出来的“更好”，可能只是这几十个人的口味；标注的人各有各的理解，不统一口径，最后得到的是一个平均数，不是一个标准。
四是看任务干成没干成。给模型一个真任务：修一个真实代码仓库里的问题、在网页上完成一次操作、回答一个需要多步查询的问题，看结果对不对。SWE-bench、WebArena、GAIA 是这一类。
它不看你说得像不像，只看你干成没干成，所以最接近真实生产力。代价是环境搭建极贵，同样的任务跑两次结果可能不一样，不稳定。
它最容易坏在环境和成本：题目本身很真，但环境是搭出来的，环境一歪，评的就不是模型了。
第五类专管安全。越狱、有害内容、幻觉、偏见，看违规率、拒答率。特点是攻击手法迭代得比标准快，标准永远滞后半步。
这五类吵得很凶，互相看不上。但吵到底是同一件事：标准归谁定。
拿标准答案判，标准是出题的人定的——他说这道题的答案是A，就是A，模型答B 就算错。
让模型当裁判，标准是裁判模型自己的口味——它偏好什么，什么就高分；它讨厌什么，什么就低分。
让人判偏好，标准散在每一个标注的人身上——各人有各人的理解，最后取一个平均数。
看任务干成没干成，标准由任务本身定——这一步操作对不对，不用商量。
安全红队最特殊，标准是攻防两端推着走的——攻击手法一变，标准就得跟着改。
五种方法，五种立标准的地方。所以方法只是外壳，里面那个“什么算好”才是真问题。

05它站在什么位置

它在回路里，能影响模型行为。
但是模型的能力上限由架构、数据规模、算力决定，评测碰不到天花板。
原来有一句老话，在AI 里没有失效，只是变了形：质量不是测出来的。
这句话原本说的是，质量是设计和造出来的，检验只能筛出次品，造不出好品。放到AI 里依然成立：一个架构和训练数据就粗糙的模型，评测再细也救不回来。
但它变形的地方在于：在AI 里，评测确实参与生产，它给的是训练信号。
所以更准确的说法是——评测不创造上限，它做三件事：
选择，在多个版本、多个输出之间挑出更好的那个；发现，看出“这一类场景系统性地坏在哪”，这是算法自己看不见的；校准，把“好”这个模糊的词，变成一群人能重复执行的判定。
它不能提高天花板，但能让天花板被真正兑现。这就是它的分量，也是它的边界。

06门槛，分三层

同一个头衔，为什么有的岗给二十几K，有的能给到六十K？因为这一行内部差着三层人。
第一层，会按规则标。给规则、给样本，照着判。门槛低，可外包、可众包，也正在被模型替代——现在已经能用模型预筛掉大部分明显的好与坏。
第二层，能建样集、定规则、守一致。知道样本怎么取才有代表性，规则怎么写才不歧义，两个人判不一样的时候怎么收敛。这一层靠方法论，不靠聪明。
第三层，能设计指标体系、定义“好”、做版本对比和准出判断。要懂统计，懂模型的边界，懂业务场景，还要敢在上面签字。
第一层正在消失，第二层正在被工具压薄，第三层会越来越稀缺。
你在第几层？你想去下一层级吗？

07我卡住的十个问题

这是真正卡住我的地方，不分先后，也不装作已经有答案：
一、评测和测试到底差在哪？“合格”这两个字，谁说了算？
二、五类做法各自在哪失真，选哪一种，凭什么？
三、“搭评测体系”具体要搭哪几样东西？一个人从零开始，第一天做什么？
四、两个人对同一句话判好判差，是不认真，还是理解不同？怎么分辨？
五、规则为什么越写越厚，最后没人读？——这条素材我还没找齐，先挂着。
六、一致性指标到底在算什么？两个人都说“好”，能说明什么？
七、模型当裁判，为什么不可信？偏差能不能被抵消？
八、为什么分数涨了，用户还是不满意？离线评测和真实体验之间断在哪？
九、做评测的人，和设计评测的人，中间差的是什么？
十、一个简历上没有评测头衔的人，怎么证明自己干过这件事？
这十个问题，我会一个个答，答不动就承认答不动。

08下一篇

下一篇只答第一个：评测和测试到底差在哪。
一句话预告：差在“合格”这两个字由谁定义、什么时候定义、定完还能不能改。软件测试的合格，是规格说明书先写好的；模型评测的合格，是评的人当场商量出来的。这一前一后，决定了这两件事的整个性格。
来源｜Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（arXiv，2023）｜MixEval（NeurIPS，2024）｜HumanJudge评测问答（2026）
|（注：部分内容由豆包工作AI生成）
本文来自网友投稿或网络内容， 如有侵犯您的权益请联系我们删除， 联系邮箱：wyl860211@qq.com 。

未定 扫雷小游戏攻略汇总 持续更新中

合成 2048 小游戏数字进阶合并思路走位技巧完整

随机文章