上一篇收尾时,检索侧的那几件武器——切分、向量、关键词、融合——已经交到我们手上了。但一个更根本的问题,正浮出水面:
你怎么知道,这一堆改完,它到底变好了?还是只是"感觉"变好了?
今天要讲的评测,就是这把尺子。它不性感、不"AI",但它是决定一个 RAG 项目是"越做越准"还是"越调越玄"的分水岭。
先记住一句话:
没有评测,"优化"就只是"感觉"。
回头看第 9 天,我们给 RAG 装过一副"诊断眼镜"——A 类失败(没检到)和 B 类失败(检到了没用对)。今天要做的事,是把那副眼镜从"定性"升级成"定量":不光说清坏在哪,还要用一个数字说清坏到什么程度。
评测在日常开发里只干两件事:
① 定位:这一版答错了,到底是检索的锅,还是生成的锅?② 回归:我改完这一处,其它地方有没有被我改坏?
没有尺子会怎样?你会陷入一种非常典型的困境——每改一版,都得靠"我随便问几个问题看看",然后凭直觉判断好坏。改到最后,谁也说不清哪一版才是最好的。这就是评测要终结的状态。
评测 RAG 的第一个、也是最重要的原则,就一句话:
别只评"答案对不对"。要把 RAG 拆成两段,分别量。
因为 RAG 是一条链:问题 → 检索 → 生成 → 答案。端到端只给一个"好/坏"的分数,你永远不知道该修哪一环。而拆开之后,两段各有一把自己的尺:
问题 ─► [检索] ─► [生成] ─► 答案↑ ↑检索侧指标 生成侧指标Recall / Precision Accuracy / Faithfulness
这正好接上第 9 天的 A、B 两类失败——A 类用检索指标度量,B 类用生成指标度量。定性诊断,从此有了数字。
检索侧的评测(Retrieval Evaluation),核心是第 9 天那对老熟人:
到了评测里,它们通常带一个 @K,意思是只看前 K 条结果,因为用户和模型真正关心的就是排在最前面的那几个:
Recall@K = 前 K 条命中的相关文档 / 全部相关文档 ← 别漏Precision@K = 前 K 条里的相关文档 / K ← 别脏
查账的例子最好懂:
库里真正相关的有 5 篇检索返回 Top-5,其中 3 篇相关Recall@5 = 3 / 5 = 0.6 (漏了 2 篇)Precision@5 = 3 / 5 = 0.6 (混进 2 篇无关的)
那先看哪个?先看 Recall。理由和第 9 天完全一致——检索漏掉的,后面 Rerank 再准、模型再强,都救不回来;而多带回来的噪声,至少还有机会在精排和生成阶段被过滤。漏了是死局,多了只是麻烦。
除了这对主角,检索侧还有两个常用配角,专门度量"排序好不好":
MRR :第一篇相关文档排在第几位(越靠前分越高)NDCG :整体排序质量,越相关的排越前、得分越高
它们的区别很简单:Recall/Precision 只看"有没有捞到",MRR/NDCG 还看你"把它排在了第几"——而排位,直接决定了它能不能进到模型的视野。
检索把料备好了,接下来评生成。很多人第一反应是Answer Accuracy(答案准确度)——和标准答案比,对不对。
它最直觉,却最不好自动化:同一个意思,十种说法。逐字比对必然判错,靠人评又太贵。所以工业界更依赖三个"可自动评"的维度:
Faithfulness(忠实度) 答案有没有超出检索到的资料、自己编造 ← RAG 的底线Answer Relevance(切题) 答案有没有正面回答用户的问题 ← 别答非所问Context Relevance 喂进去的上下文,有多少是真正相关的 ← 检索与生成的接口
这里我要特别把Faithfulness挑出来讲,因为它是 RAG 最该守住、也最容易被忽视的一条底线。
RAG 的全部卖点,就是"基于资料作答、有据可查"。所以对它来说,"编造"是头号大敌——哪怕一句话和检索到的资料对不上,就足以摧毁用户对整个系统的信任。一个 RAG 系统可以偶尔答不完整,但绝不能"自信地编"。
一段忠实度评测长这样:问题:报销几天到账?检索到的资料:……到账时效为 5 个工作日……模型答:一般 3~7 天,具体看银行。答案流畅、也”差不多对”,但资料里只写了 5 个工作日——多出来的”3~7 天””看银行”,全是模型加的 → 忠实度不合格
准确度关心"对不对",忠实度关心"是不是资料里说的"。 对 RAG 而言,后者才是它区别于裸模型的价值所在。
把生成侧的维度再提炼一下,业界有个非常好用的三分法,叫RAG Triad(RAG 三元组):
用户问题/ \Context Relevance Answer Relevance(检索来的料相关吗) (答案切题吗)\ /Faithfulness(答案忠于上下文吗)
三个维度只要塌一个,用户立刻能感觉到:料不相关 → 答偏;答案不忠实 → 答假;答案不切题 → 答非所问。RAG 的评测,本质上就是盯着这三个角,一个一个量。
指标定义清楚了,新的问题来了——分怎么打?谁来打?两条路:
办法一:有标准答案(Reference-Based)。人先写好"标准答案",评测时拿模型答案去比对。
办法二:LLM 当裁判(LLM-as-a-Judge)。让一个 LLM 对照问题、资料和答案,直接给 Faithfulness、Relevance 打 0~1 的分数。
实践中的组合拳很朴素:核心场景、关键版本,用人工兜底;日常的每一次改动,用 LLM 裁判跑批量回归。两者配合,既准又跑得动。
前面所有指标,都建立在一个前提上——你得有一批"知道正确答案"的题。这就是Golden Set(黄金集 / 评测集)。
它的最小形态,回看第 9 天那张"小测试集",今天把它正式化:
黄金集的一条 = { 问题, 标准答案, 应该被检出的文档 id[] }建它的要点不多,但个个关键:
黄金集是评测的燃料。没有它,再漂亮的指标也只是空转。
回到 AskDoc。前面它的每一次改动——切分、Rerank、Hybrid——我们其实都是"改完就感觉一下"。今天,是时候给它配上一套能反复跑的评测了。
第一步,建一个三四十条的黄金集。第二步,让评测脚本自动跑分:
set := loadGoldenSet(”eval/golden.jsonl”) // 问题 + 标准答案 + 相关文档 idfor _, c := range set {hits := askdoc.Retrieve(c.Question, 5) // 检索侧recall := RecallAtK(hits, c.GoldDocIDs, 5) // 该找的,找回了多少ans := askdoc.Answer(c.Question) // 生成侧faith := judge.Faithfulness(ans, hits) // LLM 裁判:答案忠于资料吗report(c, recall, faith)}
这套脚本真正的价值,在于它把"优化"变成了一件可验证的事:以后每改一个变量,就跑一遍,看Recall@5 和 Faithfulness 这两个数字动没动、往哪动。动了、往好里动,才留下;没动甚至变差,就退回去。
从此,AskDoc 的每一次进步,都有一个数字为它作证。这,就是从"手工作坊"走向"可维护系统"的第一步。
评测不是"上线前补的作业",而是"开发全程的方向盘"。 先有尺子,再谈优化——顺序错了,后面全是无用功。
检索看 Recall / Precision,生成看 Accuracy / Faithfulness。 分不开这两段,你就永远不知道该修哪一环。
今天回答了"RAG 应该怎么评测":
一句话:
评测把 RAG 从"我觉得变好了",变成"我知道它变好了"——它不产生答案,却决定你敢不敢把答案交出去。
下一篇,我们回到链条的最前端去动刀。前面所有的武器——切分、检索、重排、融合、评测——都建立在"用户的问题已经是一个好问题"的前提上。可真实用户偏偏问得很烂。Query 侧优化:Rewrite、Multi-Query 与 HyDE,讲的就是怎么在下刀之前,先把问题本身救回来。
推荐阅读:
我是如何用AI(Claude+Trae)在一周内开发一个微信小程序的?
合集地址:
友情链接:
7天训练营
1、公众号“Codee君”回复“源码”获取源码
2、https://pan.baidu.com/s/1B6pgLWfSgMngVeFfSTcPdg?pwd=jc1s
如果您喜欢这篇文章,请您(点赞、分享、亮爱心),万分感谢!