当前位置:首页>排行榜>【翻译】评测驱动的开发:用测试而不是猜测来决定模型、检索与设计

【翻译】评测驱动的开发:用测试而不是猜测来决定模型、检索与设计

  • 更新时间 2026-11-21 00:58:21
【翻译】评测驱动的开发:用测试而不是猜测来决定模型、检索与设计

从第一天就让技术选型站在评测之上

原文作者:Sergii Makarevych(@sermakarevich)|原文链接:https://x.com/sermakarevich/status/2123078038598365335

引言

本文面向必须从第一天起就选定模型、RAG检索方案和智能体(agent)设计、并希望这些选型始终有据可依的工程师;同时也帮助在成本与质量之间权衡的负责人和管理者。文中所有计数与比率均来自公开发布的团队报告和论文,以保证每条论断有据可查。核心做法:在动手构建之前,先用 eval(评估)定义“好”的标准,此后每个问题都转化为测试。

快速概览

它是什么。Eval 驱动开发意味着在构建智能体之前先编写 eval。eval 是一种带评分的行为测试:给智能体一个输入,观察它的行为,并判断该行为是否合格。golden(金标准用例)将一个输入与对“好行为”的描述配对,说明什么必须发生、什么不能发生、以及好的输出长什么样。metric(指标)是你用来评分的检查项,通常实现为代码中的规则,或由模型给出的评级。judge(裁判)用于评估规则无法覆盖的方面,例如语气。trace(追踪)是完整记录每一步和每次工具调用的日志。一旦这些 eval 就位,模型选型、检索调优和架构决策就不再是争论,而变成测试。

它为何存在。每个 AI 项目都始于开放的设计问题:哪个模型够用、哪种检索方案有帮助、单智能体还是路由分发、选用哪些工具。没有事先定义的 eval,每个选型都靠主观意见争论,最炫的 demo 赢得话语权。随后智能体会悄然失效,因为一次微小的 prompt 修改或模型替换就可能改变其他地方的行为,而没有任何测试捕获它。事先定义好的 eval 固定了“好”的含义,使每个设计选项都必须在相同用例上证明自己。

它如何运作。先定义“好”,再让每个选型接受它的检验。你在智能体通过之前先写下会失败的用例。你修复问题。你保留该用例,确保该缺陷不会无声地复发。

  1. 事先将“好”定义为带有明确指标的 golden 用例,赶在智能体通过之前,使模型、检索和设计选项从一开始就面对相同的检验。

  2. 修复智能体直到新用例通过:凡是规则能判定的就用代码检查,只在需要阅读理解的场景才使用 judge。

  3. 保留每次运行的完整 trace,当某个用例失败时,你能看清是哪一步出了问题。

  4. 在同一用例集上测试每个设计选项,只发布可复现的胜出者;并随用户发现每个新缺陷而扩充用例集,使集合随时间追踪真实使用情况。

何时使用。从第一个设计决策开始——模型、检索方案、工具、架构——并在之后的每次变更中坚持使用:当一次 prompt 修改、模型替换或新工具可能影响未曾触及的回答时;当语气或安全边界的要求超出字符串匹配时。只有对输出固定的固定逻辑可跳过它,那里单元测试已经足够。

重要提示:单次通过可能造成误导,因为智能体在各次运行之间表现不稳定。
对我们的意义:我们在多次重复中统计比率,并用保存的用例防范已知缺陷。
为何重要:发布决策应有证据支撑,而不是取决于上一次 demo 的观感。

本文脉络

  • 第 1 层:为什么常规测试对智能体失效,以及为什么必须用比率取代单次匹配。

  • 第 2 层:如何从真实失败案例构建正确的测试集,并保留一套隔离的守护测试集。

  • 第 3 层:哪些检查只能交给模型裁判,哪些应该交给代码来做。

  • 第 4 层:人在其中扮演什么角色——定义“好”的标准,以及审计裁判。

  • 第 5 层:基于控制需求,决定是检查最终结果还是检查中间步骤。

  • 第 6 层:如何解读带噪声的分数,以及为何只在排除关键退化后的重复胜出时才发布。

  • 第 7 层:eval 如何指导模型、RAG 检索、工具与智能体形态的选型。

从一开始就请记住一个观点:不要相信智能体上一次的回答。把那个案例记下来,用可重复的方式打分,在下一次改动之后重新运行,并保留它。这个循环就是 eval 驱动开发。其余内容将展示如何让这个循环保持轻量,取材于一个文档支持智能体、一个需要严格执行步骤的 IT 支持智能体,以及一个措辞带有风险的健康教练场景。

为什么对智能体(agent)只做一次检查是不够的

本节回答:为什么对智能体只检查一次所能说明的信息如此之少?

你手动试用智能体。输入一条消息,回答看起来不错,于是上线。然后它在真实用户那里失败了。

几乎每个团队都遇到过这种情况。手动检查感觉很快,但它会骗人。一次尝试只展示了一条路径,而智能体有很多条路径。

普通软件对相同输入总是给出相同输出,这称为确定性(deterministic)。确定性意味着固定且可重复。你输入二加二,总是得到四。你运行一次测试,结果就成立。

智能体不是确定性的。相同输入每次可能给出不同输出。原因有两个,而且都很重要。

第一个原因是采样随机性。采样(sampling)指模型从多个可能的下一个词中挑选,而非总是选最高的那一个。这使语言保持自然,但也带来了变化:同一个 prompt 每次运行可能给出不同的措辞或不同的选择。

你可以通过一个通常称为 temperature 的设置来降低这种随机性。低值意味着更安全、更可重复;高值意味着更多样。但限制很明显:低值只是减少变化而不能消除变化,而且过低的设置会让回答变得生硬。大多数线上智能体都保留一定的随机性,所以要预期每次运行之间会有差异。

第二个原因是存在多种有效表述。许多不同的答案可能都是正确的。用户说笔记本电脑连不上 VPN。一个好的回复说工单已开启,帮助很快就会到来。另一个回复用不同的措辞表达了同样的意思。用户对两者都能接受。

精确匹配检查在这里就失效了。精确匹配(exact match)将输出与一个固定字符串比较。措辞不同即判定失败,即使语义完全正确。这种检查过于严格,惩罚了正确的多样性。

还有第三个问题。智能体自行选择步骤。普通函数遵循一条固定路径,而智能体在运行时选择工具:用哪个工具、以什么顺序、是否重试。

举个小例子。智能体有两个工具:search 用于搜索帮助文章,ticket 用于开启 IT 工单。用户写道 VPN 连不上。

现在观察相同输入下的三次运行。第一次运行:它先搜索,找到解决办法,发送步骤,未开启工单。第二次运行:它立刻开启工单,从未搜索。第三次运行:它先搜索,没有找到有用的内容,然后开启了工单。

哪次运行是正确的?取决于你的规则。如果规则要求必须先尝试搜索帮助文章,那么第二次运行违反了规则。如果规则要求 VPN 故障必须一律转为工单,那么第一次运行违反了规则。如果两种路径都允许,那么三次运行可能都没问题。

结论很清楚。你无法只检查一条固定路径。智能体的设计初衷就是自行选择。相同输入可能导致不同的工具调用顺序,而且不止一种顺序可能是正确的。期望单一调用顺序的经典测试从设计上就注定失败。

所以要改变问题。不要问“这一次是否通过”,而要问“它通过的频率有多高”。这需要两个简单的概念。

一次试验(trial)是对一个用例的一次运行。你提供输入,让智能体执行,然后对结果评分。这就是一次试验。

通过率(pass rate)是指运行的试验中有多少通过。把同一个 VPN 用例运行五次:三次遵循你的规则,两次跳过了搜索步骤。通过率就是五分之三,即百分之六十。这个数字能说明问题。百分之六十意味着不稳定,大约有一半的时间跳过搜索。如果只跑一次碰巧成功,你会误判为全部良好或全部糟糕。运行五次才能揭示真相。

重要提示:智能体运行一次几乎证明不了什么,因为措辞、选择和工具路径每次都会变化。
对我们的意义:我们将同一用例运行多次,观察通过比例,而不是单次的“是”或“否”。
为什么重要:通过率能在用户感受到之前,尽早暴露不稳定(flaky)行为。

需要重复多少次?从小规模开始,随风险和疑虑增大而增加。

对于新用例或日常用例,先做三次试验。三次既便宜又快速,远比一次更有说服力。如果三次结果一致,对大多数低风险用例来说是清晰的信号:全部通过意味着大概率稳健,全部失败意味着大概率有问题。局限在于,每十次才出现一次的故障往往会在三次中被漏掉。因此三次只是第一道筛选,不是证明。

如果三次试验结果不一致,应将该用例视为不稳定。不稳定意味着结果在每次运行之间翻转。不要用取平均把它掩盖掉。多运行几次以获得真实的通过率,并将其保留为关键用例。不稳定的用例在措辞变化或模型更换时最先出问题。局限在于成本,因此应把重复次数花在能产生回报的地方。

关键用例从一开始就应给予更多重复。关键意味着失败的代价很高:错误的路由只带来烦恼,而删除数据或跳过安全检查则是严重问题。对于严重用例,更多的前置试验可以让即使罕见的失误也有机会暴露。更多重复能降低漏掉罕见故障的概率,但永远无法降到零。多次干净的试验意味着强有力的证据,而不是完美的安全。

人工检查在快速感受、演示和重大故障排查中仍有一席之地。其局限在于无法度量稳定性:单次样本掩盖了波动幅度。

这个转变看似微小,实则深刻。旧思维把测试当作一次性通过或失败的关卡;新思维把它当作以某个比率通过的度量。从“它通过了吗”转变为“它以多高的频率通过”。这一转变使智能体的工作变得可测试,后续所有步骤都建立在此之上。

要点回顾

  • 单次人工尝试掩盖了波动性,因此应依据重复行为而非单次幸运的输出来评判智能体

  • 同一输入可能产生不同的有效措辞和不同的工具路径,因此检查必须允许多个正确答案

  • 重复用例并读取通过率,能将不稳定行为转化为团队可以采取行动的可见信号

如何构建一个保持诚实性的测试集

本节回答:我们如何选择能捕捉真实故障的智能体(agent)测试?

许多团队会要求一个固定数量。他们想要一条关于多少个测试才能让 eval 变得真实的规则。这样的规则并不存在。仅凭数量并不能让测试集变好。大量干净但凭空想象的用例仍然可能漏掉真实的故障;而一小部分来自真实痛点的用例却能捕捉到很多问题。重要的是方法,而不是数量。

该方法包含五个部分:从真实故障中播种(seed);覆盖必须发生什么、必须不发生什么、以及必须持续正常工作什么;每当有 bug 流出到用户那里就扩充测试集;保留一个隐藏测试集;谨慎使用生成的用例。

从真实故障出发,而不是想象中的理想路径(happy path)。理想路径描绘的是一个提出清晰请求、彬彬有礼的用户。而真实用户写得匆忙,充满错别字、半截句子、一条消息里夹带两个请求,或者在出问题时带着怒气。整洁的测试输入描述的是一个并不存在的世界。

改用三个来源从现实中播种。第一,过往的工单和聊天日志:取近期的消息,去除隐私信息,保留杂乱的原话。第二,线上糟糕的运行:每次演示出问题时,保存该输入。第三,人工检查发现的 bug:如果智能体出错了一次,在你修复之前先把该用例加进去。

这样做有效,是因为开发者书写的方式与用户不同。真实输入中带有你的思维会跳过的俚语和边缘表达形式,而日志会保留它们。早期日志稀少,新功能还没有任何日志,因此最初的测试集仍会有缺口。

接下来,为每项任务覆盖三类行为。一项任务指智能体必须处理的一个工作单元。对每项任务,测试必须发生什么、必须不发生什么、以及必须持续正常工作什么。

“必须发生”覆盖核心职责。以一个刚获得工单工具的客服智能体为例:当用户报告一个需要人工介入的故障时,它必须以正确的详细信息创建工单。只测试这一类的局限在于会带来虚假的安全感——智能体可能获得了新职责,却破坏了旧职责。

“必须不发生”覆盖智能体必须克制的边界。同一个智能体不应为“如何做”类问题创建工单,例如如何重置 VPN,而应从文档中给出答案。没有“必须不”类测试,这种偏移就会在无人察觉的情况下上线。

“必须持续正常工作”覆盖在你最近一次改动之前就存在的旧行为。在工单工具之前,搜索功能运行良好。用测试将其锁定,并在每次改动后运行完整测试集。

每当有 bug 流出到用户那里,就扩充测试集。Escaped bug(流出 bug)指测试捕获之前用户已经感受到的故障。一旦发生,就把那个确切的用例加进去,并保留旧的通过用例作为守卫。

这与经典软件工程的做法一致:每次流出都换来一个持久的测试。只增不减的测试集会变得缓慢,因此要定期审查,合并近似副本,但保留那些导致故障的奇怪表述。

以“意外度下降”来判断是否足够,而不是以数量。如果每次发布仍然带来全新类型的错误,说明测试集太薄了。

保留一个你从不据其调优(tune)的隐藏测试集。调优指不断修改 prompt 或代码直到测试通过。如果你在所有用例上调优,分数会攀升,但线上使用仍然会出错。

这个陷阱被称为过拟合(overfitting):修复方案记住了你的测试,而不是学会真正的任务,就像一个背下历年考题答案却在遇到新题时一片空白的学生。

重要提示:在所有测试上调优可能会抬高分数,却并未解决真实任务。
对我们的意义:我们保留一小部分案例不参与调优,且绝不根据单个隐藏案例进行修改,只根据整体分数调整。
为什么重要:调优分数与隐藏分数之间的差距是一个警告,说明收益在用户换一种措辞时将无法保持。

防御方法很简单。留出一小部分案例,在主调优集上自由迭代,然后在宣布胜利之前,在隐藏集上只跑一次。如果调优分数很高而隐藏分数很低,说明你过拟合了。用新的真实流量定期刷新隐藏集。不要手动修补单个隐藏案例,否则它就不再是隐藏的了。

使用生成的案例要谨慎。“生成”意味着由模型制造而非来自真实用户。当真实流量稀少时,合成案例可以帮助你起步。

但要把合成案例当作脚手架——一个日后会被替换的临时框架。人工构造的输入往往比真实输入更干净。一个在干净合成案例上表现出色的智能体,在混乱的真实场景中仍可能失败。

标注质量是另一个限制:合成案例带着制作者对正确答案的猜测。如果这个猜测错了,错误就被固化进了测试。因此要人工审查合成案例,并在真实案例到来时优先使用它们。

一句话概括这套方法:从真实消息和历史故障中播种。用三种方式覆盖每个任务。每个逃逸的故障都加一道新护栏。以惊奇度的下降而非数量来判断是否足够。留出隐藏切片以防记忆化。先用合成案例起步,再让真实使用来主导。

要点回顾

  • 诚实的测试集应从真实用户措辞和历史故障出发,而非整洁的想象 prompt

  • 每个任务都需要三类护栏:必须执行的动作、必须守住的限制、不得回归的旧行为

  • 逃逸的故障转化为持久的测试,同时隐藏切片和对合成案例的谨慎使用确保分数真实可信

级别 3:代码优先,模型负责品味判断,人员负责方向把控

这一层级回答的是:应由哪种检查器检查什么——程序、另一个 AI 模型,还是人员?

许多团队使用了错误的检查器。他们让模型去统计程序本可轻松统计的内容,或者要求人员每天重新阅读回答,这种方式十分缓慢。解决办法很简单:优先使用程序,其次使用模型评判,最后才由人员把关。

先给出三个简单定义。代码检查是一个只回答“是”或“否”的小程序:订单号是否正确,输出能否成功解析?模型评判器是另一个模型,它会根据一份包含示例的简短评分标准为回复打分。轨迹是一次运行的完整日志:请求、包含输入信息的工具调用以及最终答案。

凡是规则能够检查的内容,都优先使用代码

代码检查快速、廉价且可重复。每次变更都应运行这些检查。如果能将检查写成规则,就应编写程序,而不是使用模型提示词。

四项代码检查可以覆盖大多数基础场景。是否调用了正确的工具:对于“我的订单在哪里”这一请求,日志应显示订单查询,而不是密码重置。工具参数是否正确:工具调用本身可能正确,但输入可能有误,例如沿用了先前聊天中的错误订单号。副作用是否真实发生:如果智能体声称已创建工单,程序应确认相应记录确实存在,因为只有断言而没有记录就是失败。在应当依据检索材料作答的位置,是否存在引用标记。

这些数字可以具体说明检查结果:

  • 50 次运行中有 47 次调用了正确的工具。这意味着路由整体有效,而 3 次失败指向具体的混淆问题。

  • 50 个回答中有 42 个包含引用标记。这意味着回答的证据支撑较弱,需要优先改进。

代码检查的局限:它们能够验证结构和要素是否存在,却无法判断措辞是否友善、清晰或安全。这正是下一层需要解决的问题。

重要提示:凡是程序能够精确检查的内容,绝不要花钱让模型检查。

对我们而言:将工具、参数、副作用和引用检查移入程序,并在每次变更时运行。

这样做的原因是:它能降低成本和噪声,并让模型评判器只负责需要阅读理解的判断。

仅对必须通过阅读才能评分的方面使用模型评判器

有些品质存在许多可接受的答案,任何规则都无法逐一列举。语气、政策细微之处和清晰度都需要阅读者判断。

语气是指回复是否契合场景:事实正确,但语气过于冷淡或对于聊天而言过于冗长,都属于不合格。政策细微之处是指能否把握恰当的边界:健康教练可以分享一般的睡眠习惯,但不得作出诊断或指定剂量;一次恰当的拒绝应以友善的方式表示否定,并给出下一步建议。清晰度是指回复说明规则,并针对当前对象,在多种有效措辞下正确应用该规则。依靠逐字比对的程序会将这些回复全部判为失败;通过阅读理解含义的评判器则会让优质回复通过。

在这里,通过简单阅读得出的比例同样适用:

  • 50 条回复中有 36 条通过了语气评分标准。这意味着约三分之一需要缩短篇幅或增强语气亲和力。

  • 20 条临界回复中有 18 条守住了政策边界并提供了正确引导。这意味着整体表现已经较为接近,而 2 次未通过需要补充新的评分标准示例。

模型评判器的局限:存在噪声和偏差,而且每次运行成本高昂。应将其使用范围收窄——只评估品味、细微之处和清晰度。只要能够让检查器指向证据,例如检查每项主张是否出现在检索到的段落中,就应优先采用聚焦的证据支撑检查,而不是询问“这在现实世界中是否属实?”

预判评判偏差,并在设计中加以抵消

模型裁判并非中立。存在三种偏差,各有对策。位置偏差(position bias)偏向先展示的答案,因此应按两种顺序各评一次,只有两种顺序都获胜才算胜出。冗长偏差(verbosity bias)偏向更长的答案,因此应在评分标准中放一个“短而好”的示例与一个“长而差”的示例对照,以奖励简洁。自我偏好(self-preference)偏向与裁判同属一个模型家族的写作风格,因此应选用与生成答案的模型不同的模型家族来担任裁判。

一个习惯可以同时缓解这三种偏差:裁判先写出理由再打分,并提供类似“证据不足”的逃生选项,使其绝不瞎猜。像测试代码一样测试裁判,用已知坏例(known-bad)对话验证它必须判定失败:

  • 11 个已知坏例中捕获了 10 个。这说明裁判足够敏感,而那 1 个漏检则指明了需要补充的示例。

来自某一个团队的说法:一个小型裁判漏掉了 4 到 5 个已知坏例,而另一个模型家族的更大模型全部捕获。这只是他们的结果。教训是:在你自己的已知坏例集上测试你的裁判,如果它放过了本应判失败的案例,就升级裁判或收紧评分标准。

人定义“好”并审计裁判

人工评估每个运行结果太慢,但只有人能定义什么算“好”。这是两项工作,需在任务开始前完成,且只在任务变化时重复。第一,用示例定义“好”:收集极好和极差的回复,记录每个通过或失败的原因,将这些记录转化为评分标准(rubric)。第二,审计裁判:抽取 30 到 50 条回复,人工对相同案例盲评,再进行对比。凡评分不一致之处,用缺失的示例修正评分标准。

  • 在抽样的 50 个案例中,人工与裁判在 41 个上达成一致。这说明一致性尚可,而 9 个不一致则标出了评分标准的缺口。

之后让裁判独立运行,直到任务变化、一致性下降或出现新的失败类型为止。其局限在于规模与漂移:当产品或政策变化时,旧评分标准会失效,因此需要定期审计使两者保持一致。

要点回顾

  • 代码是底线:工具正确、参数正确、产生真实副作用、引用存在——每次变更都运行程序化检查。

  • 模型裁判只用于阅读层面的判断:语气、需要谨慎处理并引导跳转的政策红线、不同表述下的语义清晰度。

  • 用双序评审、成对评分标准示例、不同模型家族,以及“先理由后分数”加逃生选项,对抗三种偏差。

  • 人用示例定义“好”,并对裁判进行抽样审计,之后退居幕后,直到任务变化或一致性下降为止。

Level 4:路径自由时只把结果作为放行门槛,路径是必要条件时才检查步骤

这一层回答的问题是:测试应该检查最终结果、智能体(agent)走过的步骤,还是两者都查?

以往的建议是只检查最终结果、绝不检查步骤。这只对了一半。当任何路径都能到达正确答案时,步骤检查只会碍事。但当顺序关系到安全、法律、金钱或信任时,步骤本身就是产品,只看结果的检查会漏掉真实的失败。

先给出两个直白的定义。结果检查(result check)关注最终状态:报告是否正确、工单是否已创建?步骤检查(step check)关注路径:哪些工具以何种顺序执行、在不可逆操作之前是否先请求了确认?轨迹(trace)是两者背后的完整日志。结果决定是否发布;轨迹解释为什么成功或失败。

路径自由:只对最终状态设门槛

有些任务有多种正确的完成方式。研究类任务需要一份带真实来源的正确摘要。Bug 修复需要让失败的测试通过且不破坏其他功能。

在这里强制固定步骤会带来三个问题。它阻止有效的新解法,因为更强的配置会找到更短的路径。它让测试变得脆弱,因为工具名称会变而答案依然正确。它还会惩罚改进,因为一次更好但不同的升级会在僵化的测试下被判失败。

因此应以结果作为发布门槛——正确性、覆盖率、来源引用、真实副作用——并对多部分任务给予部分得分:

  • 20 份研究答案中有 17 份来源完整。这意味着来源引用是可靠的,3 处缺口标志着 RAG检索(retrieval)的遗漏。

结果检查的局限在于:它确认了目的地,却掩盖了道路。在这里没问题,因为道路本来就允许变化。

重要:当任何安全路径都可接受时,评判目的地,而不是道路。
对我们的意义:让发布与否取决于正确性、覆盖率、来源引用、测试通过等最终状态指标。
为什么重要:更好的路径可以通过,测试保持稳定,升级不再看起来像失败。

路径必要:检查步骤,因为顺序本身就是要求

另一些任务的步骤不可跳过。顺序本身就是对用户或外部规则的承诺。

先验证资格再执行操作是最典型的情形:智能体(agent)必须在提供选项或创建任何内容之前核实记录。一份看起来完美的工单,若对象根本不具备资格,在结果层面看似正常,实际上是错的。不可逆操作前先确认是第二类:工单、扣费、删除都要等待明确的“是”,任何最终状态检查都无法确认提问确实发生过。护栏(guardrail)顺序是第三类:由独立的审查环节在用户看到回复之前检查每条回复,不安全的草稿退回重写,反复失败则回退到安全话术。

步骤结果以比率形式呈现:

  • 50 次运行中有 46 次先验证了资格。这意味着护栏大体成立,4 次跳过必须在发布前修复。

  • 50 次运行中有 43 次在正确的时机请求了确认。这意味着约七分之一的操作执行过早——对高风险操作而言这是阻塞项。

  • 一组安全探针拦截了 30 条不安全草稿中的 29 条。这意味着护栏有效,而那 1 条漏网之鱼定义了下一个探针。

成本也应纳入步骤检查。一个正确但调用了 40 次昂贵工具(而非 3 次)的答案,在生产环境中依然是失败的。计数和 token 用量能让浪费显形:中位数为 12,000 tokens、50 次运行中有 4 次超过 60,000,意味着存在值得设上限的重尾。只有当步骤背后有明确规则支撑时——某项政策、安全需求、成本上限或信任承诺——才将其提升为放行门槛(gate)。

无论以什么把关,始终记录 trace

无论你以什么作为把关标准,都要保存每次评分运行的全部内容:输入、每一次工具调用、最终状态。记录的成本很低。而复现一次失败的成本很高,有时甚至不可能,因为同一个智能体下次的行为可能不同。

Trace 的首要任务是调试。当分数下降时,trace 能定位问题出在哪里:文档错误、记录读错、跳过确认、工具用对了但参数错了。没有日志你只能靠猜;有了日志,几分钟内就能找到出错的步骤。

它的第二个作用:trace 成为下一个测试用例。一份包含新错误的失败日志——例如引用了一个从未创建过的工单号——就成为已知坏例(known-bad case)。哪怕只有大约 10 个这样的例子,也能构成一个有力的测试集。日志中可能包含个人数据,因此必须做好访问控制。

实践中的两层结构

将结果和轨迹(trajectory)结合为两层。第一层是以结果做发布把关:符合条件的用户的工单已创建并获得确认、回复安全、摘要忠实、代码通过测试。关键用例要多次运行,在同一批用例上比较版本,只有在反复取得提升时才发布。第二层是以轨迹做调试,加上必需步骤做控制:记录 trace 但不以其作为关卡,因此一条看似奇怪但正确路径的运行仍可发布;同时将少数步骤升级为关卡:资格已验证、已请求确认、已运行安全审查、未超预算。

  • 新版本在 50 个用例中赢了 14 个、输了 3 个。这意味着那 3 个失败需要审查——哪怕平均值看起来更好,一处关键破坏就是回归。

  • 一项发布关卡要求不可逆操作的确认检查 50/50 全部通过。这意味着这里的门槛是完美——一次静默执行的不可逆操作代价太高。

许多团队沿用的节奏:每次变更都运行廉价的程序化检查,较大的变更或夜间运行模型评分检查,以较慢的节奏进行人工抽检。避免过度:无法对应到某条明确规则的关卡步骤检查应归入调试范畴。关卡要保持少而精、有名有据、可解释。

要点回顾

  • 自由路径意味着以最终状态把关:正确性、覆盖率、信息来源、真实副作用——否则更优路径会让高质量工作无法通过。

  • 必需路径意味着检查步骤:操作前验证资格,任何不可逆操作前获取确认,护栏顺序,成本上限。

  • 始终记录完整 trace,使失败在几分钟内被定位,并转化为回归测试用例。

  • 用结果做发布把关,用轨迹做调试,仅将明确、可解释的步骤升级为关卡。

Level 5:分数是一个区间,而不是判决

这一层级回答的问题是:当分数自行波动时,如何做出“发布或不发布”的决策。

同一个智能体在同一测试集上运行两次,会得到两个不同的数字。什么都没改,分数却动了——比如第一次 82 分(满分 100),第二次 79 分。

很多团队由此断定 eval 毫无用处的。他们错了。想想体重秤:一分钟显示 70.1 kg,下一分钟显示 70.3 kg。它依然有用,只是不必为 200 克而惊慌。智能体分数同理:一个分数意味着“80% 左右,上下浮动几个点”。

这一层级讲的就是这个观念转变。不要再追求精确数字,而是问三个更好的问题:新版本修复了什么、破坏了什么;差距是否大于波动幅度;趋势线随时间走向如何。

为什么同一个智能体两次打分不同

波动有三个来源,全部属于正常现象。

第一,采样随机性。模型的每个下一个词都是从若干可能选项中挑出来的,而不是只有唯一固定答案。相同输入可能产生不同的措辞,或选中不同的文档;在小测试集上,一两个翻转的用例就能让整体均移动几个点。

第二,测试集太小。数学特性决定了小集合天然跳动:

  • 20 个用例时,每个用例值 5 分,一次侥幸猜对就能让总分摆动 5 分,在什么都没变的情况下看起来像是大变化。

  • 100 个用例时,每个用例值 1 分,同样的侥幸猜测几乎不动均分,数字显得更平稳。

  • 200 个用例时,每个用例值半分,运气因素基本相互抵消,小的真实提升开始可见。

这就是为什么团队起步时用 20 到 50 个真实用例来快速捕捉大范围的破坏,但绝不在这么小的集合上宣布 2 个点的胜利。

第三,裁判波动。代码检查不会波动——工具要么被调用,要么没被调用。LLM 评分器/裁判(judge)则有一点波动,因为一个处于边界的答案可能这次通过、下次不通过。

分数是带有一圈模糊的估计值。只对大于模糊范围的差距采取行动。

永远不要比较两个孤立的数字

永远不要拿版本 A 的 80% 和版本 B 的 83% 比较就说 B 更好。让新旧版本在完全相同的用例上运行,然后逐个用例阅读胜败情况:

  • 旧版本通过 60 个中的 47 个,约 78%,并准确记录通过的是哪 47 个。

  • 新版本在同样的 60 个用例、同样的裁判下,通过 60 个中的 50 个,约 83%。

  • 翻转情况比均值更重要:5 个用例从失败变为通过,但有 2 个从通过变为失败——这是隐藏在上升均值之内的破坏。

一个修复了 5 个、又破坏了 2 个的变更是权衡取舍,不是明确的胜利。

VPN 的故事说明了原因。一个文档智能体原本有搜索工具,后来团队新增了一个工单提交工具。规则很明确:像"my laptop will not connect to VPN"这类故障应该提交工单,而像"how do I connect to VPN"这类 how-to 问题应该搜索文档、绝不提交工单。

他们先跑基线,加上新工具,再跑一遍同样的 eval。均分上升了,因为以前提交工单失败的用例现在通过了。看起来可以发布了。

逐用例视图揭示了真相。有一个 how-to 用例从文档搜索翻转为提交工单:工具描述写着"use it for VPN issues",于是任何提到 VPN 的内容都命中了。修复只需一句话:把适用范围收窄到需要 IT 采取行动的请求。

只在重复出现的、明确的回归上进行门禁拦截

自动门禁不应因一次带噪声的运行而失败。只有当新版本连续两次明显差于保存的基线时才判失败。

重要原则:只在出现反复的明确回退时阻断发布,绝不要因为单次有噪声的运行就阻断。
对我们的含义:候选版本必须在相同的案例上连续两次明显输给固定的基准版本(pinned baseline)。
为什么重要:单次运行的门禁会拦住好的改动,并让团队学会无视门禁。

在实践中:

  • 将生产环境的分数保存为固定基准(pinned baseline),例如上次发布在同一裁判(judge)和案例下得 48/60。

  • 每次改动时,在相同案例上重新运行基准版本和候选版本,确保对比公平。

  • 只有当候选版本的差距大到不能用运气解释时才阻断,例如在 60 个案例的集合上净输 4 个或更多案例,且连续两次如此。

廉价的代码检查可以对每次提交都阻断,因为它们快速且稳定。缓慢的裁判检查则按改动在大约 20 个案例上运行,并在夜间对全量集合运行。

一个小的习惯可以降低噪声。先对每个案例运行 3 次。如果 3 次结果一致,后续运行一次即可。如果结果分裂,将该案例标记为不稳定(flaky)并给它 5 到 10 次重复运行,因为不稳定案例会掩盖下一次回退。给关键安全案例 10 次试验,低风险的风格案例保持 3 次。

看线,而不是点

单个分数是一个点。仪表盘是连接各次发布之间这些点的线。将三条线放在一起跟踪:通过率、单次运行成本和延迟。

这张图能捕捉到任何单一检查都无法捕捉的两件事。第一,糟糕的交易。质量从 47/60 升到 50/60 听起来不错,直到你看到成本翻倍、延迟从 2 秒升到接近 5 秒。第二,缓慢的漂移。每次改动单独看都没问题,但一个月后这条线下降了 8 个点。

用线上数据闭环。对每条线上回复运行廉价的代码检查,并对大约 5% 的会话线程抽样运行裁判评分,暴露出的失败会被加回作为新案例。

要点回顾

  • 单个分数意味着大约 80% 上下浮动几个点,因此在相信 3 到 5 点的平均变化之前,要在相同案例上对比新旧版本,并逐案例查看翻转情况。

  • 平均分上升但一个关键案例坏了就是回退,因此要给必须通过的案例打标签,任何案例从通过翻转为失败时阻断发布。

  • 只在针对固定基准(pinned baseline)反复出现明确失利时才设置门禁,并在一张图上同时跟踪质量、成本和延迟,让漂移和糟糕的交易始终可见。

这个层级回答的问题是:我们应该上线哪个模型、哪种 RAG 检索配置、哪种架构?

没有 eval(评估)时,关于系统方案的争论全凭个人观点。有人说必须用最大的模型,有人说必须加重排序器(re-ranker),还有人说必须上多智能体。嗓门最大的人赢了,系统最终变得比实际需要更贵、更复杂。

有了 eval,同样的争论一个下午就能解决。让方案 A 和方案 B 在相同的用例上用同一个评分器/裁判(judge)运行,然后看哪些用例被修复了、哪些被搞坏了、付出了什么代价。

决策 1:哪个模型就够了

最常见的错误是所有事情都用最强的模型。感觉安全,但慢、贵,而且往往没有必要。让两个模型在相同的用例上用相同的 prompt、工具和评分器运行,逐用例比较结果。

有三种模式反复出现:

  • 简单任务小模型就够,比如路由或简短的 FAQ 回答。小模型往往与最大模型只差 2 到 3 分,例如 91/100 对 93/100,而成本只有约十分之一,速度快一倍。小模型胜出。

  • 困难任务上差距集中出现,比如多步工具调用。平均差距可能是 8 到 10 分,但大模型恰好修复了那 5 到 10 个小模型总是失败的困难用例。这时升级才被证明是值得的。

  • 混合工作负载按任务拆分:小模型负责路由,大模型只回答困难用例。

有一条规则决定这些数字是否有意义:评分器通常需要比它所评分的智能体更强,因为评判语气或对来源的忠实度比查资料更难。保持评分器固定:同一个评分器、同一套评分标准(rubric)、同一批用例。

决策 2:哪些 RAG 检索旋钮真正有用

分块更大还是更小。取 top 3 还是 top 10。加重排序器还是不加。上下文越多感觉越好——直到 eval 表明它反而把结果变差了。

分别度量两件事:

  • 我们是否检索到了正确的片段。用代码检查:正确的文档是否出现在 top 结果中。不需要评分器。

  • 答案是否忠于这些片段。用一个评分器阅读保存下来的分块来检查:每个论断是否都来自被检索到的内容。

然后在同一批数据上一次只动一个旋钮。小块精确,但可能把一个答案拆到两个分块里;大块保留了上下文,但引入噪声。

  • 重排序器对分块重新排序,代价是延迟。忠实度(faithfulness)从 36/50 提升到 43/50,只增加 15% 成本,通常值得做。只涨 1 分但延迟翻倍,就不值得。

  • Grounding 和引用能捕获最危险的失败。要求每条论断都附引用,并用代码检查该分块确实存在。这能抓住那种流畅但毫无来源的答案。

在相同用例上一次只调一个 RAG 检索旋钮。
一次改两处会让你猜不出是哪个动了忠实度。
逐用例的翻转告诉你平均值掩盖了什么。

决策 3:单智能体还是更复杂的架构

选项从一个带工具的智能体,到路由器(router)和专家之间的任务交接(handoff),不一而足。不要从多智能体起步。让 eval 证明你确实需要拆分。

每多一个智能体,就多一个上下文丢失的交接点,外加延迟、成本和调试负担。只有当 eval 显示某种模式只有拆分才能修复时,才进行拆分。

多步循环带有级联风险:早期的一个小错误会在几步之后滚雪球般演变成错误结果。要通过评估轨迹来发现它——也就是工具调用时机和护栏顺序,而不仅仅是最终文本。如果以前能通过用例的准确率下降了,说明新加的工具引入了混乱。在答案展示给用户之后才运行的检查只是摆设。

如何用文字解读一个系统对比

设想在同一批 60 个用例上对比两种方案,30 个工单类、30 个文档类,使用同一个裁判(judge):

  • 方案 A,小模型 + top 3 检索、无重排序器(re-ranker):60 个中通过 47 个,约 78%,每 1,000 次运行 8 美元,中位延迟约 2 秒。工单类 24/30,文档类 23/30。

  • 方案 B,大模型 + top 10 检索加重排序器:60 个中通过 50 个,约 83%,16 美元,约 5 秒。工单类 27/30,文档类 23/30。

表面结论是 B 以双倍成本和等待时间换来 5 个点的领先。但拆分数据透露更多信息:B 修复了 3 个工单类用例,而文档类的持平掩盖了内部变动——一些 A 能通过的用例在 B 上失败了,另一些则被修复了。

所以问题永远不是“B 好 5 个点,上线吧”。而是:修复 3 个工单类用例,值不值得付出 2 个文档类用例被搞坏,外加双倍成本和延迟。绝不能只看平均值就上线;必须优先加权必须通过的用例,并要求领先结果可复现。

成本和延迟必须进入评分卡

很多团队先评质量,承诺以后再操心成本。“以后”永远不会来。

把成本和延迟当作一等评分指标,按用例逐一记录,而不只记总量。给每个方案记录质量、成本、延迟,以及回归数(从通过变为失败的翻转数)。把预算设为门禁。一个正确但调用了 40 次工具的答案,就是一次带着好分数的失败。

要点回顾

  • 没有 eval,技术选型就靠主观意见,所以要在相同用例上、用固定裁判对比模型、RAG 检索和架构,并关注翻转数以及成本和延迟。

  • 小模型在落后大模型 2 到 3 个点以内时,通常在成本和速度上更胜一筹;重排序器必须用明显的 faithfulness(忠实度)提升来换取它带来的延迟;多智能体(multi-agent)架构必须证明它确实解决了某个具体问题模式。

  • 绝不能只凭平均值上线:优先加权必须通过的用例,要求领先结果可复现,并以预算作为门禁——正确但缓慢或昂贵的答案同样算失败。

Level 7:如何在不破坏信任的前提下高频发布

这一级回答的问题是:如何在日常工作中运行所有这些检查,同时不拖慢团队、不烧穿预算?

你现在已具备各个组件:一个由真实失败案例构建的测试集、廉价的代码检查、一个弥补代码盲区的裁判(judge),以及一套解读噪声分数的方法。裁判调用缓慢且消耗 token,代码检查快速且免费。因此你需要三个习惯:按速度拆分检查、保持成本可见、以及在发布后维持活跃的回归循环。

按速度拆分 CI:每次提交跑快检查,定时跑慢检查

不要在每次提交时运行全部检查。一次裁判调用需要数秒,而且有时自相矛盾;一次代码检查只需几毫秒,且结果始终一致。如果混用不当,开发者会失去对 CI 的信任,进而不再运行它。

按三种速度运行:

  • 每次提交运行快速代码检查。纯 assert,无模型调用:JSON 是否合法、工具及参数是否正确、工单是否真的创建、token 预算是否守住、guardrail 是否先行执行。这些检查放在 pytest 或 Vitest 中,数秒内完成。

  • 每个拉取请求(PR)及每晚运行慢速裁判检查。语气、忠实度、策略细节、确认流程。每次 PR 抽样运行,完整测试集每晚或在主分支上运行。

  • 在 PR 流程之外运行长时间仿真。多轮对话和对抗性探测在每晚或每周运行,作为早期预警,绝不作为合并门禁。

两个数字可以说明这种拆分的重要性。某团队发现连续创建 20 个工单大约需要 162 秒,对于紧凑的开发循环来说太慢了。在并行化并重叠 LLM 等待时间之后,同样的运行大约只需 18 秒,提速约 9 倍。你的具体数字会有所不同,但经验是通用的:当 eval 需要数分钟时,开发者会跳过它们;当只需数秒时,他们会持续运行。

一条规则贯穿这三种速度:evaluations as code(评估即代码)。数据集在代码仓库中版本化管理,裁判与智能体(agent)代码放在一起定义,每次 CI 运行都作为独立的实验记录日志。

重要提示:一个对一切都答"好"的裁判,比没有裁判更糟。
对我们意味着:每个指标在被允许作为门禁之前,必须证明自己能够判失败。
为什么重要:一个所有人都信任却从未被测试过的通过门禁,是虚假的信心,而虚假的信心会带 bug 上线。

测试你的测试:known-bad 集合

裁判自己也会失效。prompt 漂移、模型被更换、曾经严格的评分标准变得宽松。因此,保留一个存放"确定是坏案例"的对话文件夹,并要求你的指标必须在这些案例上判失败。

某团队的集合中包含 11 个这样的 fixture:批准了不符合条件的人、未经确认就创建了工单、引用了一个从未创建过的工单编号。每个指标必须在其对应的 fixture 上得低分。如果某个指标在这些案例上答"好",你需要修复的是指标,而不是智能体。

从这套机制中得出的两条经验:

  • 裁判模型的能力必须至少与智能体模型相当。一个较弱的裁判漏掉了 11 个 known-bad 案例中的 4 到 5 个,导致细微错误溜了过去。

  • 每个指标在成为门禁之前必须先被测试:将其运行于 known-bad 加 known-good 案例,阅读其判分理由,调整评分标准,反复迭代。

在此之上还有一个习惯:每一个漏到生产环境的失败案例都应加入 known-bad 集合。本周调试过的 trace,就是下个月的回归测试。

从一开始就控制成本

Eval 的 token 开销是双重的:一次用于运行智能体,一次用于运行裁判。三项控制手段能让账单保持可预测:

  • 每次运行都打印账单。记录每个 suite 的输入 token、输出 token 和成本。当每次运行都打印账单时,某次 prompt 改动导致成本翻倍的问题当天就能被发现。

  • 对昂贵的检查进行抽样,便宜的全部执行。每次都运行所有代码检查;对 judge 检查则抽样。一个起点:每个 PR 抽 20 段对话,高风险改动增加到 100 段以上,线上流量抽 5% 到 10%。

  • 将高频运行的 judge 自托管。每晚运行数百段对话,成本会累积。最常用的 judge 应该是仍能覆盖全部已知坏例(known-bad set)的最便宜模型。

线上闭环:发布、观察、反馈

离线 eval 是快照。生产环境是天气。通过四个阶段闭环:

  • 每条回复都过护栏。在用户看到任何内容之前运行廉价检查:毒性、跑题、缺少引用、违规内容。它们负责拦截或改写,不负责给质量打分。

  • 对真实会话抽样评分。较慢的 judge 对抽样的完整对话打分,评估满意度、语气和问题解决率。

  • 人工标注队列。将不确定的案例路由给人工:judge 置信度低、护栏拦截、用户点踩、任何接近安全边界的情况。

  • 失败聚类成为新的 goldens。对失败进行聚类,挑选代表性样本,标注正确答案,加入 golden set。

以下两项更强的实践来自一个贴近监管红线的团队。第一,按类别门禁,而非取平均:routing、安全、coaching 质量和摘要分别打分,任何一项都可以阻断发布。第二,边界探针阻断发布:安全边界拥有独立的探针 suite,每次改动都运行,由领域专家负责。

该团队还用仿真替代了固定脚本:用更便宜的模型扮演用户画像(persona)与真实智能体对话,并对会话记录按类别评分。一个能对智能体的回复做出反应的 persona,捕获了越狱攻击,并推动了 prompt 加固。

带走的要点

  • 按速度拆分 CI,确保检查真正运行:每次提交跑代码检查,每个 PR 和每晚跑 judge,长时间仿真放在关键路径之外。

  • 每个 judge 在用于门禁之前,必须先在已知坏例(known-bad set)上验证,并随着每一次漏检失败不断扩充该集合。

  • 每次运行打印 token 账单,对昂贵检查抽样,一旦 known-bad set 允许,就将高频 judge 自托管。

  • 通过护栏、抽样评分和标注队列,将生产环境反馈汇入 goldens,让按类别门禁和边界探针行使否决权。

你会遇到哪些工具

这是一张地图,而非推荐。以下每个工具都能运行 eval,但各有明确的局限。选择时应以你的团队现有的技术栈为准。

  • LangSmith —— 为 LangChain 和 LangGraph 智能体提供追踪、数据集与 eval 的一体化平台。局限:托管定价随规模增长。

  • DeepEval —— 开源的 pytest 风格 eval 框架,内置评分器(scorer),并可为任意 Python 智能体自定义裁判(judge)。局限:裁判质量取决于你用来打分的模型。

  • OpenAI Evals —— 开源框架,可为任何通过 predict 函数接入的模型构建 eval 套件。局限:示例偏向某一技术栈,需自行编写适配层。

  • Promptfoo —— CLI 优先的 prompt 与智能体测试工具,支持断言,并可为 prompt、RAG 检索和智能体生成对抗样本。局限:在 prompt 层面最强;多轮测试需要额外接线。

  • Inspect —— 开源框架,用于对你在代码中自定义的任务进行结构化评估。局限:相比托管方案,首次运行前需要编写更多测试框架代码。

  • Braintrust —— 提供数据集、在线打分、实验对比以及生产日志。局限:托管服务,需先评估成本与数据处理方式。

  • MLflow —— 开源工具,将每次评估记录为 Dataset + Scorer + Predict Function 的组合。局限:环境搭建与运维由你自己负责。

  • Harbor 与 Terminal-Bench —— 沙箱 benchmark,智能体在容器中执行真实命令。局限:重量级且速度慢,适合每夜运行的套件而非每次提交。

决策指南

  • 这件事该由智能体做,还是该由代码做?做法:存在唯一正确答案时用固定规则,仅当输入多变时才用智能体。检验点:能否用一个带测试的脚本替代该智能体步骤。

  • 这项属性该用代码检查,还是 LLM 裁判?做法:凡是能写成规则的就用代码,只有必须阅读内容才能评分的才用裁判。检验点:是否存在正则、解析器或查表可以先行判定。

  • 看结果还是看步骤,我们以什么作为门禁?做法:任意路径皆可接受时看结果,当顺序关系到安全、资金或合规时看步骤。检验点:如果智能体调换两步的顺序,什么会出问题。

  • 多少用例、多少次重复才算够?做法:先覆盖真实失败案例,每项任务加每条禁止事项加每项必须保持正常的功能各建用例,先跑三次,结果不一致时增加次数。检验点:隐藏集是否随主测试集一起更新。

  • 这个裁判是否有资格作为发布门禁?做法:用已知坏例集(known-bad set)加上人工与裁判的盲评对比抽样。检验点:在裁判获得否决权之前,它是否在每一个已知坏例上都正确判定为失败。

  • 新版本真的变好了吗?做法:使用相同用例,统计逐用例的胜负,并重复运行。检验点:尽管平均值上升,是否有用例从通过翻转为失败。

  • 六个月后我们还负担得起这些 eval 吗?做法:关注每次运行的 token 账单,为昂贵的裁判引入抽样,选用仍能在已知坏例集上发现失败的最低成本裁判。检验点:一次 PR 运行加一次每夜运行在 token 和时间上各花费多少。

  • 发布之后怎么办?做法:每条回复都加护栏,对真实会话进行抽样评分,为不确定案例建立标注队列。检验点:谁负责把上周的失败案例转化为本周的 golden 用例——写明姓名和排期。

核心要点

  1. 常规测试对智能体(agent)会失效,因为同一输入可以产生多种有效输出,因此应在多次运行中测量智能体的正确率,而不是只检查一次答案。

  2. 测试集应从真实故障和真实用户消息中构建,覆盖智能体必须做的事、绝不能做的事以及必须持续保持正常的功能,并每当代码缺陷漏网时扩充测试集。

  3. 凡是能写成规则的东西都用廉价的代码检查,只有必须人工阅读才能评分的内容(语气、政策细节、清晰度)才使用 LLM 裁判(judge)。

  4. 让人来定义什么是“好”,并配以示例;持续审核裁判,直到其判断与人类一致,然后让自动化独立运行。

  5. 当任何路径都可行时,以最终结果作为门禁(gate);当顺序关系到安全、资金或政策时,以步骤作为门禁;并且始终保存完整的执行轨迹(trace)。

  6. 把单个分数视为一个区间而非一个点:在相同的测试用例上比较不同版本,阅读逐用例的翻转情况,只有当改进可复现时才发布。

  7. 利用早期 eval 让系统级选型变得可见:哪个模型已足够、哪种 RAG检索有效、哪些工具值得其成本。

  8. 按速度拆分 CI,确保检查真正运行:代码检查在每次提交时运行,裁判在每个 PR 和夜间(nightly)运行,长时间的模拟仿真脱离关键路径。

  9. 在裁判执行任何门禁之前,用已知的坏用例集(known-bad set)验证它;裁判的能力至少要与智能体相当,并随每次漏网案例扩充该坏用例集。

  10. 每次运行都打印 token 账单,对昂贵的检查进行抽样,一旦坏用例集表明可以用更便宜的模型,就自托管高频使用的裁判。

  11. 发布后闭合线上反馈回路:对每条回复设置护栏(guardrail),对真实对话线程进行抽样评判,为不确定案例建立标注队列,将故障聚类为新的黄金样例(golden)。

  12. 按类别分别设置门禁,而不是看单一平均值;为安全边界配备专属的探测套件,并指定有权阻止发布的负责人。

参考文献

  • LangChain, What Is Eval-Driven Development, November 2026: https://www.langchain.com/blog/what-is-eval-driven-development

  • DeepEval, Eval Driven Development: What It Is, How to Do It Right, and Real Examples: https://deepeval.com/blog/eval-driven-development

  • Anthropic, Demystifying Evals for AI Agents, January 2026: https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents

  • OpenAI, Evaluation Best Practices: https://platform.openai.com/docs/guides/evaluation-best-practices

  • Evaluation-Driven Development and Operations of LLM Agents: A Process Model and Reference Architecture, arXiv 2411.13768: https://arxiv.org/abs/2411.13768

  • TMLS, Eval-Driven Development for LLM Systems, June 2026: https://www.tmls.nyc/research/eval-driven-development

  • Red Hat Developer, Eval-Driven Development: Build and Evaluate Reliable AI Agents, March 2026: https://developers.redhat.com/articles/2026/03/23/eval-driven-development-build-evaluate-ai-agents

  • LangChain, Monday Service and LangSmith: Building a Code-First Evaluation Strategy from Day 1, February 2026: https://www.langchain.com/blog/customers-monday

  • LangChain, How Numan Built an Eval-First AI Health Coach with LangGraph and LangSmith, October 2026: https://www.langchain.com/blog/how-numan-built-an-eval-first-ai-health-coach-with-langgraph-and-langsmith

  • MLflow, LLM and Agent Evaluation: https://mlflow.org/docs/latest/genai/eval-monitor/

随机文章