从第一天就让技术选型站在评测之上
原文作者:Sergii Makarevych(@sermakarevich)|原文链接:https://x.com/sermakarevich/status/2123078038598365335

引言
本文面向必须从第一天起就选定模型、RAG检索方案和智能体(agent)设计、并希望这些选型始终有据可依的工程师;同时也帮助在成本与质量之间权衡的负责人和管理者。文中所有计数与比率均来自公开发布的团队报告和论文,以保证每条论断有据可查。核心做法:在动手构建之前,先用 eval(评估)定义“好”的标准,此后每个问题都转化为测试。
快速概览
它是什么。Eval 驱动开发意味着在构建智能体之前先编写 eval。eval 是一种带评分的行为测试:给智能体一个输入,观察它的行为,并判断该行为是否合格。golden(金标准用例)将一个输入与对“好行为”的描述配对,说明什么必须发生、什么不能发生、以及好的输出长什么样。metric(指标)是你用来评分的检查项,通常实现为代码中的规则,或由模型给出的评级。judge(裁判)用于评估规则无法覆盖的方面,例如语气。trace(追踪)是完整记录每一步和每次工具调用的日志。一旦这些 eval 就位,模型选型、检索调优和架构决策就不再是争论,而变成测试。
它为何存在。每个 AI 项目都始于开放的设计问题:哪个模型够用、哪种检索方案有帮助、单智能体还是路由分发、选用哪些工具。没有事先定义的 eval,每个选型都靠主观意见争论,最炫的 demo 赢得话语权。随后智能体会悄然失效,因为一次微小的 prompt 修改或模型替换就可能改变其他地方的行为,而没有任何测试捕获它。事先定义好的 eval 固定了“好”的含义,使每个设计选项都必须在相同用例上证明自己。
它如何运作。先定义“好”,再让每个选型接受它的检验。你在智能体通过之前先写下会失败的用例。你修复问题。你保留该用例,确保该缺陷不会无声地复发。
-
事先将“好”定义为带有明确指标的 golden 用例,赶在智能体通过之前,使模型、检索和设计选项从一开始就面对相同的检验。
-
修复智能体直到新用例通过:凡是规则能判定的就用代码检查,只在需要阅读理解的场景才使用 judge。
-
保留每次运行的完整 trace,当某个用例失败时,你能看清是哪一步出了问题。
-
在同一用例集上测试每个设计选项,只发布可复现的胜出者;并随用户发现每个新缺陷而扩充用例集,使集合随时间追踪真实使用情况。
何时使用。从第一个设计决策开始——模型、检索方案、工具、架构——并在之后的每次变更中坚持使用:当一次 prompt 修改、模型替换或新工具可能影响未曾触及的回答时;当语气或安全边界的要求超出字符串匹配时。只有对输出固定的固定逻辑可跳过它,那里单元测试已经足够。
重要提示:单次通过可能造成误导,因为智能体在各次运行之间表现不稳定。
对我们的意义:我们在多次重复中统计比率,并用保存的用例防范已知缺陷。
为何重要:发布决策应有证据支撑,而不是取决于上一次 demo 的观感。
本文脉络
-
第 1 层:为什么常规测试对智能体失效,以及为什么必须用比率取代单次匹配。
-
第 2 层:如何从真实失败案例构建正确的测试集,并保留一套隔离的守护测试集。
-
第 3 层:哪些检查只能交给模型裁判,哪些应该交给代码来做。
-
第 4 层:人在其中扮演什么角色——定义“好”的标准,以及审计裁判。
-
第 5 层:基于控制需求,决定是检查最终结果还是检查中间步骤。
-
第 6 层:如何解读带噪声的分数,以及为何只在排除关键退化后的重复胜出时才发布。
-
第 7 层:eval 如何指导模型、RAG 检索、工具与智能体形态的选型。
从一开始就请记住一个观点:不要相信智能体上一次的回答。把那个案例记下来,用可重复的方式打分,在下一次改动之后重新运行,并保留它。这个循环就是 eval 驱动开发。其余内容将展示如何让这个循环保持轻量,取材于一个文档支持智能体、一个需要严格执行步骤的 IT 支持智能体,以及一个措辞带有风险的健康教练场景。
为什么对智能体(agent)只做一次检查是不够的
本节回答:为什么对智能体只检查一次所能说明的信息如此之少?
你手动试用智能体。输入一条消息,回答看起来不错,于是上线。然后它在真实用户那里失败了。
几乎每个团队都遇到过这种情况。手动检查感觉很快,但它会骗人。一次尝试只展示了一条路径,而智能体有很多条路径。
普通软件对相同输入总是给出相同输出,这称为确定性(deterministic)。确定性意味着固定且可重复。你输入二加二,总是得到四。你运行一次测试,结果就成立。
智能体不是确定性的。相同输入每次可能给出不同输出。原因有两个,而且都很重要。
第一个原因是采样随机性。采样(sampling)指模型从多个可能的下一个词中挑选,而非总是选最高的那一个。这使语言保持自然,但也带来了变化:同一个 prompt 每次运行可能给出不同的措辞或不同的选择。
你可以通过一个通常称为 temperature 的设置来降低这种随机性。低值意味着更安全、更可重复;高值意味着更多样。但限制很明显:低值只是减少变化而不能消除变化,而且过低的设置会让回答变得生硬。大多数线上智能体都保留一定的随机性,所以要预期每次运行之间会有差异。
第二个原因是存在多种有效表述。许多不同的答案可能都是正确的。用户说笔记本电脑连不上 VPN。一个好的回复说工单已开启,帮助很快就会到来。另一个回复用不同的措辞表达了同样的意思。用户对两者都能接受。
精确匹配检查在这里就失效了。精确匹配(exact match)将输出与一个固定字符串比较。措辞不同即判定失败,即使语义完全正确。这种检查过于严格,惩罚了正确的多样性。
还有第三个问题。智能体自行选择步骤。普通函数遵循一条固定路径,而智能体在运行时选择工具:用哪个工具、以什么顺序、是否重试。
举个小例子。智能体有两个工具:search 用于搜索帮助文章,ticket 用于开启 IT 工单。用户写道 VPN 连不上。
现在观察相同输入下的三次运行。第一次运行:它先搜索,找到解决办法,发送步骤,未开启工单。第二次运行:它立刻开启工单,从未搜索。第三次运行:它先搜索,没有找到有用的内容,然后开启了工单。
哪次运行是正确的?取决于你的规则。如果规则要求必须先尝试搜索帮助文章,那么第二次运行违反了规则。如果规则要求 VPN 故障必须一律转为工单,那么第一次运行违反了规则。如果两种路径都允许,那么三次运行可能都没问题。
结论很清楚。你无法只检查一条固定路径。智能体的设计初衷就是自行选择。相同输入可能导致不同的工具调用顺序,而且不止一种顺序可能是正确的。期望单一调用顺序的经典测试从设计上就注定失败。
所以要改变问题。不要问“这一次是否通过”,而要问“它通过的频率有多高”。这需要两个简单的概念。
一次试验(trial)是对一个用例的一次运行。你提供输入,让智能体执行,然后对结果评分。这就是一次试验。
通过率(pass rate)是指运行的试验中有多少通过。把同一个 VPN 用例运行五次:三次遵循你的规则,两次跳过了搜索步骤。通过率就是五分之三,即百分之六十。这个数字能说明问题。百分之六十意味着不稳定,大约有一半的时间跳过搜索。如果只跑一次碰巧成功,你会误判为全部良好或全部糟糕。运行五次才能揭示真相。
重要提示:智能体运行一次几乎证明不了什么,因为措辞、选择和工具路径每次都会变化。
对我们的意义:我们将同一用例运行多次,观察通过比例,而不是单次的“是”或“否”。
为什么重要:通过率能在用户感受到之前,尽早暴露不稳定(flaky)行为。
需要重复多少次?从小规模开始,随风险和疑虑增大而增加。
对于新用例或日常用例,先做三次试验。三次既便宜又快速,远比一次更有说服力。如果三次结果一致,对大多数低风险用例来说是清晰的信号:全部通过意味着大概率稳健,全部失败意味着大概率有问题。局限在于,每十次才出现一次的故障往往会在三次中被漏掉。因此三次只是第一道筛选,不是证明。
如果三次试验结果不一致,应将该用例视为不稳定。不稳定意味着结果在每次运行之间翻转。不要用取平均把它掩盖掉。多运行几次以获得真实的通过率,并将其保留为关键用例。不稳定的用例在措辞变化或模型更换时最先出问题。局限在于成本,因此应把重复次数花在能产生回报的地方。
关键用例从一开始就应给予更多重复。关键意味着失败的代价很高:错误的路由只带来烦恼,而删除数据或跳过安全检查则是严重问题。对于严重用例,更多的前置试验可以让即使罕见的失误也有机会暴露。更多重复能降低漏掉罕见故障的概率,但永远无法降到零。多次干净的试验意味着强有力的证据,而不是完美的安全。
人工检查在快速感受、演示和重大故障排查中仍有一席之地。其局限在于无法度量稳定性:单次样本掩盖了波动幅度。
这个转变看似微小,实则深刻。旧思维把测试当作一次性通过或失败的关卡;新思维把它当作以某个比率通过的度量。从“它通过了吗”转变为“它以多高的频率通过”。这一转变使智能体的工作变得可测试,后续所有步骤都建立在此之上。
要点回顾
-
单次人工尝试掩盖了波动性,因此应依据重复行为而非单次幸运的输出来评判智能体
-
同一输入可能产生不同的有效措辞和不同的工具路径,因此检查必须允许多个正确答案
-
重复用例并读取通过率,能将不稳定行为转化为团队可以采取行动的可见信号
如何构建一个保持诚实性的测试集
本节回答:我们如何选择能捕捉真实故障的智能体(agent)测试?
许多团队会要求一个固定数量。他们想要一条关于多少个测试才能让 eval 变得真实的规则。这样的规则并不存在。仅凭数量并不能让测试集变好。大量干净但凭空想象的用例仍然可能漏掉真实的故障;而一小部分来自真实痛点的用例却能捕捉到很多问题。重要的是方法,而不是数量。
该方法包含五个部分:从真实故障中播种(seed);覆盖必须发生什么、必须不发生什么、以及必须持续正常工作什么;每当有 bug 流出到用户那里就扩充测试集;保留一个隐藏测试集;谨慎使用生成的用例。
从真实故障出发,而不是想象中的理想路径(happy path)。理想路径描绘的是一个提出清晰请求、彬彬有礼的用户。而真实用户写得匆忙,充满错别字、半截句子、一条消息里夹带两个请求,或者在出问题时带着怒气。整洁的测试输入描述的是一个并不存在的世界。
改用三个来源从现实中播种。第一,过往的工单和聊天日志:取近期的消息,去除隐私信息,保留杂乱的原话。第二,线上糟糕的运行:每次演示出问题时,保存该输入。第三,人工检查发现的 bug:如果智能体出错了一次,在你修复之前先把该用例加进去。
这样做有效,是因为开发者书写的方式与用户不同。真实输入中带有你的思维会跳过的俚语和边缘表达形式,而日志会保留它们。早期日志稀少,新功能还没有任何日志,因此最初的测试集仍会有缺口。
接下来,为每项任务覆盖三类行为。一项任务指智能体必须处理的一个工作单元。对每项任务,测试必须发生什么、必须不发生什么、以及必须持续正常工作什么。
“必须发生”覆盖核心职责。以一个刚获得工单工具的客服智能体为例:当用户报告一个需要人工介入的故障时,它必须以正确的详细信息创建工单。只测试这一类的局限在于会带来虚假的安全感——智能体可能获得了新职责,却破坏了旧职责。
“必须不发生”覆盖智能体必须克制的边界。同一个智能体不应为“如何做”类问题创建工单,例如如何重置 VPN,而应从文档中给出答案。没有“必须不”类测试,这种偏移就会在无人察觉的情况下上线。
“必须持续正常工作”覆盖在你最近一次改动之前就存在的旧行为。在工单工具之前,搜索功能运行良好。用测试将其锁定,并在每次改动后运行完整测试集。
每当有 bug 流出到用户那里,就扩充测试集。Escaped bug(流出 bug)指测试捕获之前用户已经感受到的故障。一旦发生,就把那个确切的用例加进去,并保留旧的通过用例作为守卫。
这与经典软件工程的做法一致:每次流出都换来一个持久的测试。只增不减的测试集会变得缓慢,因此要定期审查,合并近似副本,但保留那些导致故障的奇怪表述。
以“意外度下降”来判断是否足够,而不是以数量。如果每次发布仍然带来全新类型的错误,说明测试集太薄了。
保留一个你从不据其调优(tune)的隐藏测试集。调优指不断修改 prompt 或代码直到测试通过。如果你在所有用例上调优,分数会攀升,但线上使用仍然会出错。
这个陷阱被称为过拟合(overfitting):修复方案记住了你的测试,而不是学会真正的任务,就像一个背下历年考题答案却在遇到新题时一片空白的学生。
重要提示:在所有测试上调优可能会抬高分数,却并未解决真实任务。
对我们的意义:我们保留一小部分案例不参与调优,且绝不根据单个隐藏案例进行修改,只根据整体分数调整。
为什么重要:调优分数与隐藏分数之间的差距是一个警告,说明收益在用户换一种措辞时将无法保持。
防御方法很简单。留出一小部分案例,在主调优集上自由迭代,然后在宣布胜利之前,在隐藏集上只跑一次。如果调优分数很高而隐藏分数很低,说明你过拟合了。用新的真实流量定期刷新隐藏集。不要手动修补单个隐藏案例,否则它就不再是隐藏的了。
使用生成的案例要谨慎。“生成”意味着由模型制造而非来自真实用户。当真实流量稀少时,合成案例可以帮助你起步。
但要把合成案例当作脚手架——一个日后会被替换的临时框架。人工构造的输入往往比真实输入更干净。一个在干净合成案例上表现出色的智能体,在混乱的真实场景中仍可能失败。
标注质量是另一个限制:合成案例带着制作者对正确答案的猜测。如果这个猜测错了,错误就被固化进了测试。因此要人工审查合成案例,并在真实案例到来时优先使用它们。
一句话概括这套方法:从真实消息和历史故障中播种。用三种方式覆盖每个任务。每个逃逸的故障都加一道新护栏。以惊奇度的下降而非数量来判断是否足够。留出隐藏切片以防记忆化。先用合成案例起步,再让真实使用来主导。
要点回顾
-
诚实的测试集应从真实用户措辞和历史故障出发,而非整洁的想象 prompt
-
每个任务都需要三类护栏:必须执行的动作、必须守住的限制、不得回归的旧行为
-
逃逸的故障转化为持久的测试,同时隐藏切片和对合成案例的谨慎使用确保分数真实可信
级别 3:代码优先,模型负责品味判断,人员负责方向把控
这一层级回答的是:应由哪种检查器检查什么——程序、另一个 AI 模型,还是人员?
许多团队使用了错误的检查器。他们让模型去统计程序本可轻松统计的内容,或者要求人员每天重新阅读回答,这种方式十分缓慢。解决办法很简单:优先使用程序,其次使用模型评判,最后才由人员把关。
先给出三个简单定义。代码检查是一个只回答“是”或“否”的小程序:订单号是否正确,输出能否成功解析?模型评判器是另一个模型,它会根据一份包含示例的简短评分标准为回复打分。轨迹是一次运行的完整日志:请求、包含输入信息的工具调用以及最终答案。
凡是规则能够检查的内容,都优先使用代码
代码检查快速、廉价且可重复。每次变更都应运行这些检查。如果能将检查写成规则,就应编写程序,而不是使用模型提示词。
四项代码检查可以覆盖大多数基础场景。是否调用了正确的工具:对于“我的订单在哪里”这一请求,日志应显示订单查询,而不是密码重置。工具参数是否正确:工具调用本身可能正确,但输入可能有误,例如沿用了先前聊天中的错误订单号。副作用是否真实发生:如果智能体声称已创建工单,程序应确认相应记录确实存在,因为只有断言而没有记录就是失败。在应当依据检索材料作答的位置,是否存在引用标记。
这些数字可以具体说明检查结果:
代码检查的局限:它们能够验证结构和要素是否存在,却无法判断措辞是否友善、清晰或安全。这正是下一层需要解决的问题。
重要提示:凡是程序能够精确检查的内容,绝不要花钱让模型检查。
对我们而言:将工具、参数、副作用和引用检查移入程序,并在每次变更时运行。
这样做的原因是:它能降低成本和噪声,并让模型评判器只负责需要阅读理解的判断。
仅对必须通过阅读才能评分的方面使用模型评判器
有些品质存在许多可接受的答案,任何规则都无法逐一列举。语气、政策细微之处和清晰度都需要阅读者判断。
语气是指回复是否契合场景:事实正确,但语气过于冷淡或对于聊天而言过于冗长,都属于不合格。政策细微之处是指能否把握恰当的边界:健康教练可以分享一般的睡眠习惯,但不得作出诊断或指定剂量;一次恰当的拒绝应以友善的方式表示否定,并给出下一步建议。清晰度是指回复说明规则,并针对当前对象,在多种有效措辞下正确应用该规则。依靠逐字比对的程序会将这些回复全部判为失败;通过阅读理解含义的评判器则会让优质回复通过。
在这里,通过简单阅读得出的比例同样适用:
模型评判器的局限:存在噪声和偏差,而且每次运行成本高昂。应将其使用范围收窄——只评估品味、细微之处和清晰度。只要能够让检查器指向证据,例如检查每项主张是否出现在检索到的段落中,就应优先采用聚焦的证据支撑检查,而不是询问“这在现实世界中是否属实?”
预判评判偏差,并在设计中加以抵消
模型裁判并非中立。存在三种偏差,各有对策。位置偏差(position bias)偏向先展示的答案,因此应按两种顺序各评一次,只有两种顺序都获胜才算胜出。冗长偏差(verbosity bias)偏向更长的答案,因此应在评分标准中放一个“短而好”的示例与一个“长而差”的示例对照,以奖励简洁。自我偏好(self-preference)偏向与裁判同属一个模型家族的写作风格,因此应选用与生成答案的模型不同的模型家族来担任裁判。
一个习惯可以同时缓解这三种偏差:裁判先写出理由再打分,并提供类似“证据不足”的逃生选项,使其绝不瞎猜。像测试代码一样测试裁判,用已知坏例(known-bad)对话验证它必须判定失败:
- 11 个已知坏例中捕获了 10 个。这说明裁判足够敏感,而那 1 个漏检则指明了需要补充的示例。
来自某一个团队的说法:一个小型裁判漏掉了 4 到 5 个已知坏例,而另一个模型家族的更大模型全部捕获。这只是他们的结果。教训是:在你自己的已知坏例集上测试你的裁判,如果它放过了本应判失败的案例,就升级裁判或收紧评分标准。
人定义“好”并审计裁判
人工评估每个运行结果太慢,但只有人能定义什么算“好”。这是两项工作,需在任务开始前完成,且只在任务变化时重复。第一,用示例定义“好”:收集极好和极差的回复,记录每个通过或失败的原因,将这些记录转化为评分标准(rubric)。第二,审计裁判:抽取 30 到 50 条回复,人工对相同案例盲评,再进行对比。凡评分不一致之处,用缺失的示例修正评分标准。
- 在抽样的 50 个案例中,人工与裁判在 41 个上达成一致。这说明一致性尚可,而 9 个不一致则标出了评分标准的缺口。
之后让裁判独立运行,直到任务变化、一致性下降或出现新的失败类型为止。其局限在于规模与漂移:当产品或政策变化时,旧评分标准会失效,因此需要定期审计使两者保持一致。
要点回顾
-
代码是底线:工具正确、参数正确、产生真实副作用、引用存在——每次变更都运行程序化检查。
-
模型裁判只用于阅读层面的判断:语气、需要谨慎处理并引导跳转的政策红线、不同表述下的语义清晰度。
-
用双序评审、成对评分标准示例、不同模型家族,以及“先理由后分数”加逃生选项,对抗三种偏差。
-
人用示例定义“好”,并对裁判进行抽样审计,之后退居幕后,直到任务变化或一致性下降为止。
Level 4:路径自由时只把结果作为放行门槛,路径是必要条件时才检查步骤
这一层回答的问题是:测试应该检查最终结果、智能体(agent)走过的步骤,还是两者都查?
以往的建议是只检查最终结果、绝不检查步骤。这只对了一半。当任何路径都能到达正确答案时,步骤检查只会碍事。但当顺序关系到安全、法律、金钱或信任时,步骤本身就是产品,只看结果的检查会漏掉真实的失败。
先给出两个直白的定义。结果检查(result check)关注最终状态:报告是否正确、工单是否已创建?步骤检查(step check)关注路径:哪些工具以何种顺序执行、在不可逆操作之前是否先请求了确认?轨迹(trace)是两者背后的完整日志。结果决定是否发布;轨迹解释为什么成功或失败。
路径自由:只对最终状态设门槛
有些任务有多种正确的完成方式。研究类任务需要一份带真实来源的正确摘要。Bug 修复需要让失败的测试通过且不破坏其他功能。
在这里强制固定步骤会带来三个问题。它阻止有效的新解法,因为更强的配置会找到更短的路径。它让测试变得脆弱,因为工具名称会变而答案依然正确。它还会惩罚改进,因为一次更好但不同的升级会在僵化的测试下被判失败。
因此应以结果作为发布门槛——正确性、覆盖率、来源引用、真实副作用——并对多部分任务给予部分得分:
- 20 份研究答案中有 17 份来源完整。这意味着来源引用是可靠的,3 处缺口标志着 RAG检索(retrieval)的遗漏。
结果检查的局限在于:它确认了目的地,却掩盖了道路。在这里没问题,因为道路本来就允许变化。
重要:当任何安全路径都可接受时,评判目的地,而不是道路。
对我们的意义:让发布与否取决于正确性、覆盖率、来源引用、测试通过等最终状态指标。
为什么重要:更好的路径可以通过,测试保持稳定,升级不再看起来像失败。
路径必要:检查步骤,因为顺序本身就是要求
另一些任务的步骤不可跳过。顺序本身就是对用户或外部规则的承诺。
先验证资格再执行操作是最典型的情形:智能体(agent)必须在提供选项或创建任何内容之前核实记录。一份看起来完美的工单,若对象根本不具备资格,在结果层面看似正常,实际上是错的。不可逆操作前先确认是第二类:工单、扣费、删除都要等待明确的“是”,任何最终状态检查都无法确认提问确实发生过。护栏(guardrail)顺序是第三类:由独立的审查环节在用户看到回复之前检查每条回复,不安全的草稿退回重写,反复失败则回退到安全话术。
步骤结果以比率形式呈现:
-
50 次运行中有 46 次先验证了资格。这意味着护栏大体成立,4 次跳过必须在发布前修复。
-
50 次运行中有 43 次在正确的时机请求了确认。这意味着约七分之一的操作执行过早——对高风险操作而言这是阻塞项。
-
一组安全探针拦截了 30 条不安全草稿中的 29 条。这意味着护栏有效,而那 1 条漏网之鱼定义了下一个探针。
成本也应纳入步骤检查。一个正确但调用了 40 次昂贵工具(而非 3 次)的答案,在生产环境中依然是失败的。计数和 token 用量能让浪费显形:中位数为 12,000 tokens、50 次运行中有 4 次超过 60,000,意味着存在值得设上限的重尾。只有当步骤背后有明确规则支撑时——某项政策、安全需求、成本上限或信任承诺——才将其提升为放行门槛(gate)。
无论以什么把关,始终记录 trace
无论你以什么作为把关标准,都要保存每次评分运行的全部内容:输入、每一次工具调用、最终状态。记录的成本很低。而复现一次失败的成本很高,有时甚至不可能,因为同一个智能体下次的行为可能不同。
Trace 的首要任务是调试。当分数下降时,trace 能定位问题出在哪里:文档错误、记录读错、跳过确认、工具用对了但参数错了。没有日志你只能靠猜;有了日志,几分钟内就能找到出错的步骤。
它的第二个作用:trace 成为下一个测试用例。一份包含新错误的失败日志——例如引用了一个从未创建过的工单号——就成为已知坏例(known-bad case)。哪怕只有大约 10 个这样的例子,也能构成一个有力的测试集。日志中可能包含个人数据,因此必须做好访问控制。
实践中的两层结构
将结果和轨迹(trajectory)结合为两层。第一层是以结果做发布把关:符合条件的用户的工单已创建并获得确认、回复安全、摘要忠实、代码通过测试。关键用例要多次运行,在同一批用例上比较版本,只有在反复取得提升时才发布。第二层是以轨迹做调试,加上必需步骤做控制:记录 trace 但不以其作为关卡,因此一条看似奇怪但正确路径的运行仍可发布;同时将少数步骤升级为关卡:资格已验证、已请求确认、已运行安全审查、未超预算。
许多团队沿用的节奏:每次变更都运行廉价的程序化检查,较大的变更或夜间运行模型评分检查,以较慢的节奏进行人工抽检。避免过度:无法对应到某条明确规则的关卡步骤检查应归入调试范畴。关卡要保持少而精、有名有据、可解释。
要点回顾
-
自由路径意味着以最终状态把关:正确性、覆盖率、信息来源、真实副作用——否则更优路径会让高质量工作无法通过。
-
必需路径意味着检查步骤:操作前验证资格,任何不可逆操作前获取确认,护栏顺序,成本上限。
-
始终记录完整 trace,使失败在几分钟内被定位,并转化为回归测试用例。
-
用结果做发布把关,用轨迹做调试,仅将明确、可解释的步骤升级为关卡。
Level 5:分数是一个区间,而不是判决
这一层级回答的问题是:当分数自行波动时,如何做出“发布或不发布”的决策。
同一个智能体在同一测试集上运行两次,会得到两个不同的数字。什么都没改,分数却动了——比如第一次 82 分(满分 100),第二次 79 分。
很多团队由此断定 eval 毫无用处的。他们错了。想想体重秤:一分钟显示 70.1 kg,下一分钟显示 70.3 kg。它依然有用,只是不必为 200 克而惊慌。智能体分数同理:一个分数意味着“80% 左右,上下浮动几个点”。
这一层级讲的就是这个观念转变。不要再追求精确数字,而是问三个更好的问题:新版本修复了什么、破坏了什么;差距是否大于波动幅度;趋势线随时间走向如何。
为什么同一个智能体两次打分不同
波动有三个来源,全部属于正常现象。
第一,采样随机性。模型的每个下一个词都是从若干可能选项中挑出来的,而不是只有唯一固定答案。相同输入可能产生不同的措辞,或选中不同的文档;在小测试集上,一两个翻转的用例就能让整体均移动几个点。
第二,测试集太小。数学特性决定了小集合天然跳动:
-
20 个用例时,每个用例值 5 分,一次侥幸猜对就能让总分摆动 5 分,在什么都没变的情况下看起来像是大变化。
-
100 个用例时,每个用例值 1 分,同样的侥幸猜测几乎不动均分,数字显得更平稳。
-
200 个用例时,每个用例值半分,运气因素基本相互抵消,小的真实提升开始可见。
这就是为什么团队起步时用 20 到 50 个真实用例来快速捕捉大范围的破坏,但绝不在这么小的集合上宣布 2 个点的胜利。
第三,裁判波动。代码检查不会波动——工具要么被调用,要么没被调用。LLM 评分器/裁判(judge)则有一点波动,因为一个处于边界的答案可能这次通过、下次不通过。
分数是带有一圈模糊的估计值。只对大于模糊范围的差距采取行动。
永远不要比较两个孤立的数字
永远不要拿版本 A 的 80% 和版本 B 的 83% 比较就说 B 更好。让新旧版本在完全相同的用例上运行,然后逐个用例阅读胜败情况:
-
旧版本通过 60 个中的 47 个,约 78%,并准确记录通过的是哪 47 个。
-
新版本在同样的 60 个用例、同样的裁判下,通过 60 个中的 50 个,约 83%。
-
翻转情况比均值更重要:5 个用例从失败变为通过,但有 2 个从通过变为失败——这是隐藏在上升均值之内的破坏。
一个修复了 5 个、又破坏了 2 个的变更是权衡取舍,不是明确的胜利。
VPN 的故事说明了原因。一个文档智能体原本有搜索工具,后来团队新增了一个工单提交工具。规则很明确:像"my laptop will not connect to VPN"这类故障应该提交工单,而像"how do I connect to VPN"这类 how-to 问题应该搜索文档、绝不提交工单。
他们先跑基线,加上新工具,再跑一遍同样的 eval。均分上升了,因为以前提交工单失败的用例现在通过了。看起来可以发布了。
逐用例视图揭示了真相。有一个 how-to 用例从文档搜索翻转为提交工单:工具描述写着"use it for VPN issues",于是任何提到 VPN 的内容都命中了。修复只需一句话:把适用范围收窄到需要 IT 采取行动的请求。
只在重复出现的、明确的回归上进行门禁拦截
自动门禁不应因一次带噪声的运行而失败。只有当新版本连续两次明显差于保存的基线时才判失败。
重要原则:只在出现反复的明确回退时阻断发布,绝不要因为单次有噪声的运行就阻断。
对我们的含义:候选版本必须在相同的案例上连续两次明显输给固定的基准版本(pinned baseline)。
为什么重要:单次运行的门禁会拦住好的改动,并让团队学会无视门禁。
在实践中:
-
将生产环境的分数保存为固定基准(pinned baseline),例如上次发布在同一裁判(judge)和案例下得 48/60。
-
每次改动时,在相同案例上重新运行基准版本和候选版本,确保对比公平。
-
只有当候选版本的差距大到不能用运气解释时才阻断,例如在 60 个案例的集合上净输 4 个或更多案例,且连续两次如此。
廉价的代码检查可以对每次提交都阻断,因为它们快速且稳定。缓慢的裁判检查则按改动在大约 20 个案例上运行,并在夜间对全量集合运行。
一个小的习惯可以降低噪声。先对每个案例运行 3 次。如果 3 次结果一致,后续运行一次即可。如果结果分裂,将该案例标记为不稳定(flaky)并给它 5 到 10 次重复运行,因为不稳定案例会掩盖下一次回退。给关键安全案例 10 次试验,低风险的风格案例保持 3 次。
看线,而不是点
单个分数是一个点。仪表盘是连接各次发布之间这些点的线。将三条线放在一起跟踪:通过率、单次运行成本和延迟。
这张图能捕捉到任何单一检查都无法捕捉的两件事。第一,糟糕的交易。质量从 47/60 升到 50/60 听起来不错,直到你看到成本翻倍、延迟从 2 秒升到接近 5 秒。第二,缓慢的漂移。每次改动单独看都没问题,但一个月后这条线下降了 8 个点。
用线上数据闭环。对每条线上回复运行廉价的代码检查,并对大约 5% 的会话线程抽样运行裁判评分,暴露出的失败会被加回作为新案例。
要点回顾
-
单个分数意味着大约 80% 上下浮动几个点,因此在相信 3 到 5 点的平均变化之前,要在相同案例上对比新旧版本,并逐案例查看翻转情况。
-
平均分上升但一个关键案例坏了就是回退,因此要给必须通过的案例打标签,任何案例从通过翻转为失败时阻断发布。
-
只在针对固定基准(pinned baseline)反复出现明确失利时才设置门禁,并在一张图上同时跟踪质量、成本和延迟,让漂移和糟糕的交易始终可见。
这个层级回答的问题是:我们应该上线哪个模型、哪种 RAG 检索配置、哪种架构?
没有 eval(评估)时,关于系统方案的争论全凭个人观点。有人说必须用最大的模型,有人说必须加重排序器(re-ranker),还有人说必须上多智能体。嗓门最大的人赢了,系统最终变得比实际需要更贵、更复杂。
有了 eval,同样的争论一个下午就能解决。让方案 A 和方案 B 在相同的用例上用同一个评分器/裁判(judge)运行,然后看哪些用例被修复了、哪些被搞坏了、付出了什么代价。
决策 1:哪个模型就够了
最常见的错误是所有事情都用最强的模型。感觉安全,但慢、贵,而且往往没有必要。让两个模型在相同的用例上用相同的 prompt、工具和评分器运行,逐用例比较结果。
有三种模式反复出现:
-
简单任务小模型就够,比如路由或简短的 FAQ 回答。小模型往往与最大模型只差 2 到 3 分,例如 91/100 对 93/100,而成本只有约十分之一,速度快一倍。小模型胜出。
-
困难任务上差距集中出现,比如多步工具调用。平均差距可能是 8 到 10 分,但大模型恰好修复了那 5 到 10 个小模型总是失败的困难用例。这时升级才被证明是值得的。
-
混合工作负载按任务拆分:小模型负责路由,大模型只回答困难用例。
有一条规则决定这些数字是否有意义:评分器通常需要比它所评分的智能体更强,因为评判语气或对来源的忠实度比查资料更难。保持评分器固定:同一个评分器、同一套评分标准(rubric)、同一批用例。
决策 2:哪些 RAG 检索旋钮真正有用
分块更大还是更小。取 top 3 还是 top 10。加重排序器还是不加。上下文越多感觉越好——直到 eval 表明它反而把结果变差了。
分别度量两件事:
然后在同一批数据上一次只动一个旋钮。小块精确,但可能把一个答案拆到两个分块里;大块保留了上下文,但引入噪声。
在相同用例上一次只调一个 RAG 检索旋钮。
一次改两处会让你猜不出是哪个动了忠实度。
逐用例的翻转告诉你平均值掩盖了什么。
决策 3:单智能体还是更复杂的架构
选项从一个带工具的智能体,到路由器(router)和专家之间的任务交接(handoff),不一而足。不要从多智能体起步。让 eval 证明你确实需要拆分。
每多一个智能体,就多一个上下文丢失的交接点,外加延迟、成本和调试负担。只有当 eval 显示某种模式只有拆分才能修复时,才进行拆分。
多步循环带有级联风险:早期的一个小错误会在几步之后滚雪球般演变成错误结果。要通过评估轨迹来发现它——也就是工具调用时机和护栏顺序,而不仅仅是最终文本。如果以前能通过用例的准确率下降了,说明新加的工具引入了混乱。在答案展示给用户之后才运行的检查只是摆设。
如何用文字解读一个系统对比
设想在同一批 60 个用例上对比两种方案,30 个工单类、30 个文档类,使用同一个裁判(judge):
-
方案 A,小模型 + top 3 检索、无重排序器(re-ranker):60 个中通过 47 个,约 78%,每 1,000 次运行 8 美元,中位延迟约 2 秒。工单类 24/30,文档类 23/30。
-
方案 B,大模型 + top 10 检索加重排序器:60 个中通过 50 个,约 83%,16 美元,约 5 秒。工单类 27/30,文档类 23/30。
表面结论是 B 以双倍成本和等待时间换来 5 个点的领先。但拆分数据透露更多信息:B 修复了 3 个工单类用例,而文档类的持平掩盖了内部变动——一些 A 能通过的用例在 B 上失败了,另一些则被修复了。
所以问题永远不是“B 好 5 个点,上线吧”。而是:修复 3 个工单类用例,值不值得付出 2 个文档类用例被搞坏,外加双倍成本和延迟。绝不能只看平均值就上线;必须优先加权必须通过的用例,并要求领先结果可复现。
成本和延迟必须进入评分卡
很多团队先评质量,承诺以后再操心成本。“以后”永远不会来。
把成本和延迟当作一等评分指标,按用例逐一记录,而不只记总量。给每个方案记录质量、成本、延迟,以及回归数(从通过变为失败的翻转数)。把预算设为门禁。一个正确但调用了 40 次工具的答案,就是一次带着好分数的失败。
要点回顾
-
没有 eval,技术选型就靠主观意见,所以要在相同用例上、用固定裁判对比模型、RAG 检索和架构,并关注翻转数以及成本和延迟。
-
小模型在落后大模型 2 到 3 个点以内时,通常在成本和速度上更胜一筹;重排序器必须用明显的 faithfulness(忠实度)提升来换取它带来的延迟;多智能体(multi-agent)架构必须证明它确实解决了某个具体问题模式。
-
绝不能只凭平均值上线:优先加权必须通过的用例,要求领先结果可复现,并以预算作为门禁——正确但缓慢或昂贵的答案同样算失败。
Level 7:如何在不破坏信任的前提下高频发布
这一级回答的问题是:如何在日常工作中运行所有这些检查,同时不拖慢团队、不烧穿预算?
你现在已具备各个组件:一个由真实失败案例构建的测试集、廉价的代码检查、一个弥补代码盲区的裁判(judge),以及一套解读噪声分数的方法。裁判调用缓慢且消耗 token,代码检查快速且免费。因此你需要三个习惯:按速度拆分检查、保持成本可见、以及在发布后维持活跃的回归循环。
按速度拆分 CI:每次提交跑快检查,定时跑慢检查
不要在每次提交时运行全部检查。一次裁判调用需要数秒,而且有时自相矛盾;一次代码检查只需几毫秒,且结果始终一致。如果混用不当,开发者会失去对 CI 的信任,进而不再运行它。
按三种速度运行:
-
每次提交运行快速代码检查。纯 assert,无模型调用:JSON 是否合法、工具及参数是否正确、工单是否真的创建、token 预算是否守住、guardrail 是否先行执行。这些检查放在 pytest 或 Vitest 中,数秒内完成。
-
每个拉取请求(PR)及每晚运行慢速裁判检查。语气、忠实度、策略细节、确认流程。每次 PR 抽样运行,完整测试集每晚或在主分支上运行。
-
在 PR 流程之外运行长时间仿真。多轮对话和对抗性探测在每晚或每周运行,作为早期预警,绝不作为合并门禁。
两个数字可以说明这种拆分的重要性。某团队发现连续创建 20 个工单大约需要 162 秒,对于紧凑的开发循环来说太慢了。在并行化并重叠 LLM 等待时间之后,同样的运行大约只需 18 秒,提速约 9 倍。你的具体数字会有所不同,但经验是通用的:当 eval 需要数分钟时,开发者会跳过它们;当只需数秒时,他们会持续运行。
一条规则贯穿这三种速度:evaluations as code(评估即代码)。数据集在代码仓库中版本化管理,裁判与智能体(agent)代码放在一起定义,每次 CI 运行都作为独立的实验记录日志。
重要提示:一个对一切都答"好"的裁判,比没有裁判更糟。
对我们意味着:每个指标在被允许作为门禁之前,必须证明自己能够判失败。
为什么重要:一个所有人都信任却从未被测试过的通过门禁,是虚假的信心,而虚假的信心会带 bug 上线。
测试你的测试:known-bad 集合
裁判自己也会失效。prompt 漂移、模型被更换、曾经严格的评分标准变得宽松。因此,保留一个存放"确定是坏案例"的对话文件夹,并要求你的指标必须在这些案例上判失败。
某团队的集合中包含 11 个这样的 fixture:批准了不符合条件的人、未经确认就创建了工单、引用了一个从未创建过的工单编号。每个指标必须在其对应的 fixture 上得低分。如果某个指标在这些案例上答"好",你需要修复的是指标,而不是智能体。
从这套机制中得出的两条经验:
在此之上还有一个习惯:每一个漏到生产环境的失败案例都应加入 known-bad 集合。本周调试过的 trace,就是下个月的回归测试。
从一开始就控制成本
Eval 的 token 开销是双重的:一次用于运行智能体,一次用于运行裁判。三项控制手段能让账单保持可预测:
-
每次运行都打印账单。记录每个 suite 的输入 token、输出 token 和成本。当每次运行都打印账单时,某次 prompt 改动导致成本翻倍的问题当天就能被发现。
-
对昂贵的检查进行抽样,便宜的全部执行。每次都运行所有代码检查;对 judge 检查则抽样。一个起点:每个 PR 抽 20 段对话,高风险改动增加到 100 段以上,线上流量抽 5% 到 10%。
-
将高频运行的 judge 自托管。每晚运行数百段对话,成本会累积。最常用的 judge 应该是仍能覆盖全部已知坏例(known-bad set)的最便宜模型。
线上闭环:发布、观察、反馈
离线 eval 是快照。生产环境是天气。通过四个阶段闭环:
-
每条回复都过护栏。在用户看到任何内容之前运行廉价检查:毒性、跑题、缺少引用、违规内容。它们负责拦截或改写,不负责给质量打分。
-
对真实会话抽样评分。较慢的 judge 对抽样的完整对话打分,评估满意度、语气和问题解决率。
-
人工标注队列。将不确定的案例路由给人工:judge 置信度低、护栏拦截、用户点踩、任何接近安全边界的情况。
-
失败聚类成为新的 goldens。对失败进行聚类,挑选代表性样本,标注正确答案,加入 golden set。
以下两项更强的实践来自一个贴近监管红线的团队。第一,按类别门禁,而非取平均:routing、安全、coaching 质量和摘要分别打分,任何一项都可以阻断发布。第二,边界探针阻断发布:安全边界拥有独立的探针 suite,每次改动都运行,由领域专家负责。
该团队还用仿真替代了固定脚本:用更便宜的模型扮演用户画像(persona)与真实智能体对话,并对会话记录按类别评分。一个能对智能体的回复做出反应的 persona,捕获了越狱攻击,并推动了 prompt 加固。
带走的要点
-
按速度拆分 CI,确保检查真正运行:每次提交跑代码检查,每个 PR 和每晚跑 judge,长时间仿真放在关键路径之外。
-
每个 judge 在用于门禁之前,必须先在已知坏例(known-bad set)上验证,并随着每一次漏检失败不断扩充该集合。
-
每次运行打印 token 账单,对昂贵检查抽样,一旦 known-bad set 允许,就将高频 judge 自托管。
-
通过护栏、抽样评分和标注队列,将生产环境反馈汇入 goldens,让按类别门禁和边界探针行使否决权。
你会遇到哪些工具
这是一张地图,而非推荐。以下每个工具都能运行 eval,但各有明确的局限。选择时应以你的团队现有的技术栈为准。
-
LangSmith —— 为 LangChain 和 LangGraph 智能体提供追踪、数据集与 eval 的一体化平台。局限:托管定价随规模增长。
-
DeepEval —— 开源的 pytest 风格 eval 框架,内置评分器(scorer),并可为任意 Python 智能体自定义裁判(judge)。局限:裁判质量取决于你用来打分的模型。
-
OpenAI Evals —— 开源框架,可为任何通过 predict 函数接入的模型构建 eval 套件。局限:示例偏向某一技术栈,需自行编写适配层。
-
Promptfoo —— CLI 优先的 prompt 与智能体测试工具,支持断言,并可为 prompt、RAG 检索和智能体生成对抗样本。局限:在 prompt 层面最强;多轮测试需要额外接线。
-
Inspect —— 开源框架,用于对你在代码中自定义的任务进行结构化评估。局限:相比托管方案,首次运行前需要编写更多测试框架代码。
-
Braintrust —— 提供数据集、在线打分、实验对比以及生产日志。局限:托管服务,需先评估成本与数据处理方式。
-
MLflow —— 开源工具,将每次评估记录为 Dataset + Scorer + Predict Function 的组合。局限:环境搭建与运维由你自己负责。
-
Harbor 与 Terminal-Bench —— 沙箱 benchmark,智能体在容器中执行真实命令。局限:重量级且速度慢,适合每夜运行的套件而非每次提交。
决策指南
-
这件事该由智能体做,还是该由代码做?做法:存在唯一正确答案时用固定规则,仅当输入多变时才用智能体。检验点:能否用一个带测试的脚本替代该智能体步骤。
-
这项属性该用代码检查,还是 LLM 裁判?做法:凡是能写成规则的就用代码,只有必须阅读内容才能评分的才用裁判。检验点:是否存在正则、解析器或查表可以先行判定。
-
看结果还是看步骤,我们以什么作为门禁?做法:任意路径皆可接受时看结果,当顺序关系到安全、资金或合规时看步骤。检验点:如果智能体调换两步的顺序,什么会出问题。
-
多少用例、多少次重复才算够?做法:先覆盖真实失败案例,每项任务加每条禁止事项加每项必须保持正常的功能各建用例,先跑三次,结果不一致时增加次数。检验点:隐藏集是否随主测试集一起更新。
-
这个裁判是否有资格作为发布门禁?做法:用已知坏例集(known-bad set)加上人工与裁判的盲评对比抽样。检验点:在裁判获得否决权之前,它是否在每一个已知坏例上都正确判定为失败。
-
新版本真的变好了吗?做法:使用相同用例,统计逐用例的胜负,并重复运行。检验点:尽管平均值上升,是否有用例从通过翻转为失败。
-
六个月后我们还负担得起这些 eval 吗?做法:关注每次运行的 token 账单,为昂贵的裁判引入抽样,选用仍能在已知坏例集上发现失败的最低成本裁判。检验点:一次 PR 运行加一次每夜运行在 token 和时间上各花费多少。
-
发布之后怎么办?做法:每条回复都加护栏,对真实会话进行抽样评分,为不确定案例建立标注队列。检验点:谁负责把上周的失败案例转化为本周的 golden 用例——写明姓名和排期。
核心要点
-
常规测试对智能体(agent)会失效,因为同一输入可以产生多种有效输出,因此应在多次运行中测量智能体的正确率,而不是只检查一次答案。
-
测试集应从真实故障和真实用户消息中构建,覆盖智能体必须做的事、绝不能做的事以及必须持续保持正常的功能,并每当代码缺陷漏网时扩充测试集。
-
凡是能写成规则的东西都用廉价的代码检查,只有必须人工阅读才能评分的内容(语气、政策细节、清晰度)才使用 LLM 裁判(judge)。
-
让人来定义什么是“好”,并配以示例;持续审核裁判,直到其判断与人类一致,然后让自动化独立运行。
-
当任何路径都可行时,以最终结果作为门禁(gate);当顺序关系到安全、资金或政策时,以步骤作为门禁;并且始终保存完整的执行轨迹(trace)。
-
把单个分数视为一个区间而非一个点:在相同的测试用例上比较不同版本,阅读逐用例的翻转情况,只有当改进可复现时才发布。
-
利用早期 eval 让系统级选型变得可见:哪个模型已足够、哪种 RAG检索有效、哪些工具值得其成本。
-
按速度拆分 CI,确保检查真正运行:代码检查在每次提交时运行,裁判在每个 PR 和夜间(nightly)运行,长时间的模拟仿真脱离关键路径。
-
在裁判执行任何门禁之前,用已知的坏用例集(known-bad set)验证它;裁判的能力至少要与智能体相当,并随每次漏网案例扩充该坏用例集。
-
每次运行都打印 token 账单,对昂贵的检查进行抽样,一旦坏用例集表明可以用更便宜的模型,就自托管高频使用的裁判。
-
发布后闭合线上反馈回路:对每条回复设置护栏(guardrail),对真实对话线程进行抽样评判,为不确定案例建立标注队列,将故障聚类为新的黄金样例(golden)。
-
按类别分别设置门禁,而不是看单一平均值;为安全边界配备专属的探测套件,并指定有权阻止发布的负责人。
参考文献
-
LangChain, What Is Eval-Driven Development, November 2026: https://www.langchain.com/blog/what-is-eval-driven-development
-
DeepEval, Eval Driven Development: What It Is, How to Do It Right, and Real Examples: https://deepeval.com/blog/eval-driven-development
-
Anthropic, Demystifying Evals for AI Agents, January 2026: https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
-
OpenAI, Evaluation Best Practices: https://platform.openai.com/docs/guides/evaluation-best-practices
-
Evaluation-Driven Development and Operations of LLM Agents: A Process Model and Reference Architecture, arXiv 2411.13768: https://arxiv.org/abs/2411.13768
-
TMLS, Eval-Driven Development for LLM Systems, June 2026: https://www.tmls.nyc/research/eval-driven-development
-
Red Hat Developer, Eval-Driven Development: Build and Evaluate Reliable AI Agents, March 2026: https://developers.redhat.com/articles/2026/03/23/eval-driven-development-build-evaluate-ai-agents
-
LangChain, Monday Service and LangSmith: Building a Code-First Evaluation Strategy from Day 1, February 2026: https://www.langchain.com/blog/customers-monday
-
LangChain, How Numan Built an Eval-First AI Health Coach with LangGraph and LangSmith, October 2026: https://www.langchain.com/blog/how-numan-built-an-eval-first-ai-health-coach-with-langgraph-and-langsmith
-
MLflow, LLM and Agent Evaluation: https://mlflow.org/docs/latest/genai/eval-monitor/