AI 产品实践|先写写Eval,但不只会Eval
本文共计约 6000 字,阅读时长预计 12 分钟
一、评测在AI产品开发过程中的定位
“If you can’t measure it, you can’t improve it.”
如果无法衡量,就无法改进。
这句话放在 生成式AI 产品上尤其适配。
上个月,Anthropic 的AI产品负责人Dianne Penn在Lenny的播客上提到说:“Evals are the new PRDs”。传统互联网靠 PRD 描述产品质量,而AI产品需要用 Eval 定义产品质量。
最根本的原因是大模型生成的过程是黑盒的,且生成的结果还有很强的不确定性。在对话类 Agent中,同一个用户query,每一次的回复可能都不一样;一次完整体验又可能同时包含意图识别、信息检索、工具调用、以及对整段会话上下文的理解。任何一个环节出现问题,用户侧感受都是“这次回答不好”。
如果只看少量 Demo 里的最终回复,团队无法了解当前产品还存在哪些问题、每类问题发生的概率,也很难定位是生成链路中哪个环节需要优化。只能出一个badcase就报一个,打补丁式解决问题,下次同类型 badcase 照样发生。
所以AI产品评测的定位,跟过去传统搜推或者是内容标签算法不一样,不是在给模型组织一次性考试,而是需要产品把一次复杂体验拆成可以独立判断的问题,并且设计一套可规模化的方式,来量化大模型在特定业务场景下的能力边界,以此推动协作的技术团队,在整个ai产品开发过程中做持续性的优化。
科学有效的评测需要回答这三个问题:
“为什么需要产品负责评测,它不是外包的活吗”
两个月前 +1 问我:为什么你认为评测应该你来做,为什么你认为算法做不好。
我当时愣住了,没能很好解释。后来我才发现,尽管这两年评测对于AI产品的重要性已经成为一个共识,但在传统互联网部门,评测由谁负责、怎么做、什么样的评测是科学有效等等问题,都还没有定论。
加上在传统互联网大厂的评价体系里,往往做任务分配、项目管理、拉通对齐才会更有组织影响力,所以大家就算是都听说过“ai产品要做评测”、“评测驱动迭代”,但实际执行上还是认为它是不需要动脑子的脏活累活,要么外包出去,要么就是让算法自闭环(相当于让算法既做运动员,又做裁判)。
结果就是,做出来的东西看起来很fancy,很适合向上汇报,实际上完全没有用户买单。可能这也是为什么传统互联网大厂手握强大的模型、丰富的用户场景跟真实的数据,但至今推出的AI功能不止是乏善可陈,甚至还让用户反感、完全不愿意尝试。因为过往有太多评测没做好就推上线的AI功能,一次又一次,用户的好奇心跟耐心已经消磨殆尽了。
评测没做好就推上线这个事情,对于不背业务指标的技术部门来讲,收益 >> 损失 。因为他们不需要对用户体验负责,不需要为最终业务指标负责,直接推上线反而可以更快拿到真实的用户数据去反哺算法迭代;但对于产品来说,牺牲的用户体验无法挽回,第一印象分已经扣完了。
所以从产品应为用户体验负责这一点出发,我认为对话类 Agent 评测需要由产品负责,且不可外包。因为评测最终回答的问题是产品是否可用,一个 Query 是否属于目标用户的真实需求、一个任务包含哪些细分场景、什么样的回答可以接受、哪些低频问题虽然少见但风险很高,都取决于业务判断、产品定位、和对用户需求的理解。

二、评测内容设计:评测集与评测标准共同定义产品质量
| | |
|---|
| | |
| | 定义判断方式:每个问题对应的通过、失败和 N/A 条件 |
2.1 评测集:一组围绕产品目标主动设计、且持续更新的用户体验样本
在生成式 AI 产品中,一个有效的评测集至少需要满足三个原则:
第一,业务场景要足够丰富。评测集需要覆盖任务下的主要场景及其细分情况,而不能只保留流量最大的几类问题。围绕一次对话任务,还可以按照用户目标、任务阶段、信息充分程度、上下文状态、工具调用方式和风险等级继续拆分。只有把这些情况尽可能地列全,评测结果才能说明产品分别擅长什么、不擅长什么。
第二,用户表达要尽可能真实。真实性指的是用户query的语言风格、信息完整程度和上下文方式接近目标用户,而不只是内容在业务上成立。真实用户输入中会有简称、错别字、模糊指代、口语化省略,也可能一句话同时包含多个需求。把这些表达改写成过于标准的query,比如说直接用AI生成,这样的评测集会严重高估产品在真实环境中的能力表现。
第三,难度分布要有层次。评测集既要包含简单问题,也要包含困难问题和极端 Corner Case。这里需要特别区分“表达真实”和“分布照搬”:输入风格应接近真实用户,但样本难度不必与线上流量保持相同比例。真实流量通常以常见问题为主,如果完全按自然频率抽样,低频、高风险和极端场景很容易被淹没。评测需要有意识地提高这些样本的比例,才能尽早暴露技术能力的上限和薄弱环节。
“上线前、冷启阶段没有足够真实流量怎么办”
讲一个传统互联网做AI产品常见的误区:传统机器学习通常从同一批数据中划分训练集、验证集和测试集,用测试集衡量模型在相近数据分布上的表现。这种方法如果直接套用到生成式 AI 产品评测中,就容易把“留出一部分数据”误当成“建好了评测集”。随机切分既不能保证所有业务场景都被覆盖,也无法确保各场景的样本比例能够反映真实业务分布,同时也没有做到主动纳入困难问题和极端 Corner Case。
所以在对话这个场景下,我找了相近业务的线上真实 Query,按照我们自己的业务场景,做一轮筛选,目的是保留目标用户的真实表达方式。再根据业务场景和风险问题,由 LLM 生成表达变体、扩充稀缺样本,最后一条条review,删除模板化、重复或场景错误的内容,形成冷启阶段的评测集。每个AI产品都需要根据自己独特的业务场景去做评测集的设计,最核心原则就是,真实、丰富、有层次。只有这样的冷启评测集,才能充分暴露当前产品能力的不足,持续牵引技术改进。产品上线后,真实日志中出现的新表达和代表性 Bad Case,也要持续补充到评测集。
2.2 评测标准:先定义评价维度,再明确判断方式
有了评测集,下一步就是明确应该从哪些方面判断对话 Agent 的表现。一次完整的对话体验涉及多个环节,评价维度通常包括以下几类:
| |
|---|
| |
| |
| |
| 工具调用、结构化输出或交互元素是否正确且与用户需求一致 |
| |
| |
定义了评价维度后,还需要继续拆成执行阶段能够独立判断的具体问题。也就是说,把每个维度都再细拆成一组可以分别回答“是、否或不适用”的问题:1 表示通过,0 表示失败,N/A 表示该评价维度不适用于当前 Case。这样做的好处是有足够的区分度,执行的过程简单直接,只需要判断结果是否满足明确条件。
相反,如果是设置 1~5 分的指标,那么可能会出现不同的 Judge 面对同一个 Case,都会依据各自的理解给出不同分数。比如说,同一条模型回复,A 认为是 3 分,B 认为是 2 分,C 认为是 4 分,分数之间的边界很难界定。而无法标准化的东西,就无法做到客观衡量。所以我建议是要把问题拆得够细,细到可以用二元选项去做判断,避免评测执行时在含义模糊的分数之间作选择。
总结来讲,对话类 agent 在划分维度和设计判断条件时,我认为主要有三个原则:
第一,每个指标只回答一个问题。比如,“回答中的事实信息是否有依据”、“这一轮是否记住了前面确认的用户条件”、“整段对话是否解决了用户需求”,都需要分开判断。
第二,事实判断要评价“这次回答是否有依据”,而不是“事后能否找到依据”。对于依赖知识库、搜索结果或其他工具返回的事实和结论,对话 Agent 系统预期是先获得相关信息,再基于这些信息生成回复,评测需要包括模型是否根据当时实际获得的信息得出了这个结论。
例如,假设知识库里确实记录了某项内容,但模型生成回复时并没有检索到,却仍然给出了肯定回答。如果评测结束后重新搜索知识库,Judge 可能找到支持材料,并把这次回答判为正确。但对当时的case来说,模型就是在缺少依据的情况下作答。所以,Judge 需要查看生成该回复时实际记录的检索结果、工具返回和有效会话上下文。这样才能进一步区分:问题是信息源没有内容、检索没有召回、工具没有正确返回,还是模型拿到证据后仍然生成错误。
第三,N/A 不是失败。比如,某次任务没有调用工具时,就不需要评价调用结果是否准确;用户没有改变话题时,也不需要判断产品能否跟上话题变化;信息不足时,不能默认通过或失败。也就是说,每个指标都需要展示实际参与计算的样本数,N/A 不参与通过率计算。
最后补充一点,评测标准不可能一次制定后就永久冻结。线上新的 Bad Case 会持续暴露标准中不够明确的地方,所以标准也需要持续迭代,但从我个人经验来讲,这是最容易跟算法扯皮的地方,你说算法交付的通过率没达到标准,算法掰扯说,是因为你的标准总是会变。这一点我们要自信,标准肯定会变,只是说每次迭代都要尽可能做到细致同步,最好是能有可视化界面,可以看到每个版本下的在当前标准下未覆盖的Bad Case,从而迭代新的标准。
这也是最近我在思考的,如果AI时代的评测需要平台化,那它绝对不是上一个时代的外包标注平台,而应该是一个方便产品、算法、工程各方对齐产品目标、当前模型能力边界和未来迭代方向的平台。小团队不需要这样的信息同步平台,像梁圣说的,他们处在一个sweet point。但习惯了依赖多方协同的大厂可能需要,平台化可以实时呈现每个迭代版本的整体表现,也方便可视化一个问题从发现到解决的完整过程。
三、评测流程设计:Agent-as-a-Judge 执行动态多轮评测
评测集回答“评什么”,评测标准回答“怎么判断”。前两部分共同定义了产品质量,最后就是执行流程的设计。
3.1 为什么要用agent 做主执行
以前的评测就是将提前生成好的样本交给外包团队,标注同学按照规则判断对错。这种方式是静态的,本质是数据标注的思路。但多轮对话的场景不是这样,要完成一个多轮对话case的评测,不仅要判断模型本轮回复的内容是否足够好,还要基于这轮回复的内容,发起下一轮的对话或产生其他交互行为(比如最基础的,点击引导词或者选项卡)。整段对话结束后,还需要结合每一轮保存的检索结果、工具调用和交互证据,判断当时的回复是否合理。
所以当评估对象本身是一个动态运行的agent,执行评估的过程也需要是动态的,对于judge的要求是能够跟着产品的实际返回结果动态调整每一步操作。人工可以完成单次体验,但很难把这类临场操作规模化、稳定地重复执行。这类型的任务非常适合设计一个或者多个 agent 协作来完成,不是出于成本或效率,而是 agent 可以做得更好。
插句题外话,我一直认为ai产品开发的早期阶段,首要目标是打磨出最好的产品效果,在还没达到预期效果时,不要因为当前的成本或者性能问题给方案划定边界。因为成本跟性能几乎一定会随着技术进步指数级改善,很可能两三个月后当你的产品效果打磨好了,成本性能问题也已经随着技术突破改善了。即使后期没改善,必须降级,那也是在触碰到技术边界、明确最佳效果后的主动取舍,毕竟90分主动降低成80分容易,从80分优化成90分就没那么简单了。
回到评测流程本身,我设计了两个 Agent 应用在不同阶段:
| |
|---|
| 在上线前与产品预发版本交互:开启 Session,按固定评测集发起首轮会话;再根据产品每一轮的实际返回,点击交互元素或生成下一轮问题 |
| 读取已经形成的完整 Session,按照评测标准调用确定性规则脚本和 LLM Judge 完成评分 |
3.2 上线前:两个 Agent 协作完成评测
上线前,真实用户 Session 还不存在,需要Agent 1 模拟用户主动与预发版本交互,生成一段可以被评估的完整对话。整个流程分为三个阶段:
图中 Qn 表示第 n 轮用户输入,用 An 表示候选版本的回复,二者共同组成第 n 轮完整问答 Rn。R1、R2、R3 只是为了说明多轮如何产生,实际轮数和停止条件由具体评测方案决定。
第一阶段,评测系统从固定评测集取出首轮 Query(Q1),启动一个新的 Session,请求预发环境中的候选版本。候选版本返回 模型生成的回复内容(A1) 后,系统将 Q1、A1 以及当轮产生的检索结果、工具调用和交互证据写入 Session,形成第一轮完整问答 R1。
第二阶段,Agent 1 接手后续对话,读取已经形成的轮次和完整上下文,根据预发环境的实际返回决定下一步操作:可以点击回复中的交互元素,也可以生成新的后续 Query。候选版本继续返回 A2、A3……,每轮 Query、候选版本回复和对应证据都会写入同一个 Session,依次形成 R2、R3……
第三阶段,对话结束后,Agent 2 直接读取完整 Session,执行评测主流程:能够通过结构化字段确定的问题交给规则评分,依赖语义和完整上下文理解的问题交给 LLM Judge(语义评分模型),评分结果最终汇总进入可视化评测报告。报告的作用有两个,一是让团队快速理解当前版本的整体表现和主要风险,二是让产品和算法能够从低分指标快速定位到具体 Bad Case,具体界面展示根据不同业务场景关注的指标去做设计就好,不展开讨论。
上线前的评测流程,执行的关键细节是需要明确:
至于并发调度、批次大小、接口重试等工程执行细节,可以通过 AI coding 闭环整个流程,不展开讨论。
3.3 上线后:评测 Agent 读取线上日志
上线后,评测对象变成用户已经经历过的真实会话,在线上数据足够的前提下,可以不需要 Agent 1 去模拟用户生成下一轮问题。而是直接读取线上日志中保存下来的用户输入、产品回复、以及每一轮检索结果、工具调用、甚至包括版本记录在内的完整上下文。日志更新后,评测 Agent 按照 Session 聚合并按时间顺序还原对话,再依照同一套评测标准调用规则和 LLM Judge 完成评分。
发布前和上线后是两条独立流程:上线前主动请求预发版本,上线后读取真实日志。线上会持续发现的固定评测集中尚未覆盖的用户表达、长尾或者是高风险问题,在完成脱敏和原因分析后,可以将这些具有代表性的 Bad Case 筛选进评测集,加入后续版本的发布前评测。
四、关于之前收到的一些问题
问题一:如何保证评测Agent的准确率呢?
回答:算法会看bad case,产品也要抽取case自己看,这个没什么好说的,产研团队必须要体验自己的产品。针对有争议的 Case,产品和算法需要一起判断,必要时调整 judge prompt。除此之外,尽可能使用更好的模型,我还是之前的观点,没有达到预期效果之前,不要考虑成本跟性能。
问题二:评测标准用0-1两分制,会不会只能区分出不好的,但不能判断什么是更好?(隔壁算法老板的问题)
回答:这个问题要回到评测本身的定位,它是对齐产品预期跟技术实现的桥梁,不是用来探索上限的,上限依旧取决于产品在用户场景上的发掘。
问题三:所有AI应用产品的评测体系都是这样吗?
回答:大差不差,基本框架是类似的。但在不同业务场景会有很多创造性的方法,都很有意思,以后有机会可以再写一篇,顺带讲讲AI产品开发的节奏。
AI 产品实践|写写 Eval,但不只会 Eval