当前位置:首页>排行榜>AI 工程之路-13、RAG 应该怎么评测?

AI 工程之路-13、RAG 应该怎么评测?

  • 更新时间 2026-10-24 12:47:32
AI 工程之路-13、RAG 应该怎么评测?

上一篇收尾时,检索侧的那几件武器——切分、向量、关键词、融合——已经交到我们手上了。但一个更根本的问题,正浮出水面:

你怎么知道,这一堆改完,它到底变好了?还是只是"感觉"变好了?

今天要讲的评测,就是这把尺子。它不性感、不"AI",但它是决定一个 RAG 项目是"越做越准"还是"越调越玄"的分水岭。

先记住一句话:

没有评测,"优化"就只是"感觉"。


一、评测的两件事:定位与回归

回头看第 9 天,我们给 RAG 装过一副"诊断眼镜"——A 类失败(没检到)和 B 类失败(检到了没用对)。今天要做的事,是把那副眼镜从"定性"升级成"定量":不光说清坏在哪,还要用一个数字说清坏到什么程度。

评测在日常开发里只干两件事:

① 定位:这一版答错了,到底是检索的锅,还是生成的锅?② 回归:我改完这一处,其它地方有没有被我改坏?

没有尺子会怎样?你会陷入一种非常典型的困境——每改一版,都得靠"我随便问几个问题看看",然后凭直觉判断好坏。改到最后,谁也说不清哪一版才是最好的。这就是评测要终结的状态。


二、第一原则:检索和生成,必须分开评

评测 RAG 的第一个、也是最重要的原则,就一句话:

别只评"答案对不对"。要把 RAG 拆成两段,分别量。

因为 RAG 是一条链:问题 → 检索 → 生成 → 答案。端到端只给一个"好/坏"的分数,你永远不知道该修哪一环。而拆开之后,两段各有一把自己的尺:

问题 ─► [检索] ─► [生成] ─► 答案          ↑         ↑     检索侧指标    生成侧指标   Recall / Precision   Accuracy / Faithfulness

这正好接上第 9 天的 A、B 两类失败——A 类用检索指标度量,B 类用生成指标度量。定性诊断,从此有了数字。


三、检索侧:Recall 与 Precision 的"兵团"

检索侧的评测(Retrieval Evaluation),核心是第 9 天那对老熟人:

  • Recall(召回率):该找回来的,找回了多少——管"别漏";
  • Precision(精确率):找回来的,有多少是对的——管"别脏"。

到了评测里,它们通常带一个 @K,意思是只看前 K 条结果,因为用户和模型真正关心的就是排在最前面的那几个:

Recall@K    = 前 K 条命中的相关文档 / 全部相关文档    ← 别漏Precision@K = 前 K 条里的相关文档 / K                 ← 别脏

查账的例子最好懂:

库里真正相关的有 5 篇检索返回 Top-5,其中 3 篇相关  Recall@5    = 3 / 5 = 0.6     (漏了 2 篇)  Precision@5 = 3 / 5 = 0.6     (混进 2 篇无关的)

那先看哪个?先看 Recall。理由和第 9 天完全一致——检索漏掉的,后面 Rerank 再准、模型再强,都救不回来;而多带回来的噪声,至少还有机会在精排和生成阶段被过滤。漏了是死局,多了只是麻烦。

除了这对主角,检索侧还有两个常用配角,专门度量"排序好不好":

MRR   :第一篇相关文档排在第几位(越靠前分越高)NDCG  :整体排序质量,越相关的排越前、得分越高

它们的区别很简单:Recall/Precision 只看"有没有捞到",MRR/NDCG 还看你"把它排在了第几"——而排位,直接决定了它能不能进到模型的视野。


四、生成侧:不只"对不对",更要"忠不忠"

检索把料备好了,接下来评生成。很多人第一反应是Answer Accuracy(答案准确度)——和标准答案比,对不对。

它最直觉,却最不好自动化:同一个意思,十种说法。逐字比对必然判错,靠人评又太贵。所以工业界更依赖三个"可自动评"的维度:

Faithfulness(忠实度)    答案有没有超出检索到的资料、自己编造   ← RAG 的底线Answer Relevance(切题)   答案有没有正面回答用户的问题           ← 别答非所问Context Relevance         喂进去的上下文,有多少是真正相关的      ← 检索与生成的接口

这里我要特别把Faithfulness挑出来讲,因为它是 RAG 最该守住、也最容易被忽视的一条底线。

RAG 的全部卖点,就是"基于资料作答、有据可查"。所以对它来说,"编造"是头号大敌——哪怕一句话和检索到的资料对不上,就足以摧毁用户对整个系统的信任。一个 RAG 系统可以偶尔答不完整,但绝不能"自信地编"。

一段忠实度评测长这样:  问题:报销几天到账?  检索到的资料:……到账时效为 5 个工作日……  模型答:一般 3~7 天,具体看银行。  答案流畅、也”差不多对”,但资料里只写了 5 个工作日——  多出来的”3~7 天””看银行”,全是模型加的 → 忠实度不合格

准确度关心"对不对",忠实度关心"是不是资料里说的"。 对 RAG 而言,后者才是它区别于裸模型的价值所在。


五、RAG Triad:三个维度,一张图

把生成侧的维度再提炼一下,业界有个非常好用的三分法,叫RAG Triad(RAG 三元组):

              用户问题             /        \   Context Relevance   Answer Relevance   (检索来的料相关吗)  (答案切题吗)             \        /            Faithfulness        (答案忠于上下文吗)
  • Context Relevance:检索到的那几段,和问题真相关吗?
  • Faithfulness:答案是不是老老实实站在这些上下文之上,没有悬空编造?
  • Answer Relevance:答案有没有真的回答那个问题?

三个维度只要塌一个,用户立刻能感觉到:料不相关 → 答偏;答案不忠实 → 答假;答案不切题 → 答非所问。RAG 的评测,本质上就是盯着这三个角,一个一个量。


六、谁来当裁判:有标准答案 vs 没有

指标定义清楚了,新的问题来了——分怎么打?谁来打?两条路:

办法一:有标准答案(Reference-Based)。人先写好"标准答案",评测时拿模型答案去比对。

  • 优点:准、可解释;
  • 缺点:人工成本高、难规模化,而且"同义不同词"很容易被误判。

办法二:LLM 当裁判(LLM-as-a-Judge)。让一个 LLM 对照问题、资料和答案,直接给 Faithfulness、Relevance 打 0~1 的分数。

  • 优点:便宜、能规模化,正好补上"人工太贵"的短板;RAGAS、TruLens 这类评测框架,干的就是这件事;
  • 缺点:裁判本身也会漂——同一条答案,换个问法、换个模型,打分可能不一样。

实践中的组合拳很朴素:核心场景、关键版本,用人工兜底;日常的每一次改动,用 LLM 裁判跑批量回归。两者配合,既准又跑得动。


七、评测的燃料:黄金集(Golden Set)

前面所有指标,都建立在一个前提上——你得有一批"知道正确答案"的题。这就是Golden Set(黄金集 / 评测集)。

它的最小形态,回看第 9 天那张"小测试集",今天把它正式化:

黄金集的一条 = { 问题, 标准答案, 应该被检出的文档 id[] }

建它的要点不多,但个个关键:

  • 从真实问题里采样,别自己拍脑袋造句——判官得判真实的卷子;
  • 覆盖不同难度与类型:事实型(报销几天)和推理型(跨三份文件才能答的)都要有;
  • 别贪多:几十条就能起步。第一批评测的价值,绝大部分来自"建起来",而不是"建得全"。
  • 留一部分别拿来看:留点固定题做回归,避免你把系统"调"到只会答评测集(过拟合)。

黄金集是评测的燃料。没有它,再漂亮的指标也只是空转。


八、AskDoc:搭一套最小评测

回到 AskDoc。前面它的每一次改动——切分、Rerank、Hybrid——我们其实都是"改完就感觉一下"。今天,是时候给它配上一套能反复跑的评测了。

第一步,建一个三四十条的黄金集。第二步,让评测脚本自动跑分:

set := loadGoldenSet(”eval/golden.jsonl”)        // 问题 + 标准答案 + 相关文档 idfor _, c := range set {    hits := askdoc.Retrieve(c.Question, 5)           // 检索侧    recall := RecallAtK(hits, c.GoldDocIDs, 5)       // 该找的,找回了多少    ans := askdoc.Answer(c.Question)                 // 生成侧    faith := judge.Faithfulness(ans, hits)           // LLM 裁判:答案忠于资料吗    report(c, recall, faith)}

这套脚本真正的价值,在于它把"优化"变成了一件可验证的事:以后每改一个变量,就跑一遍,看Recall@5 和 Faithfulness 这两个数字动没动、往哪动。动了、往好里动,才留下;没动甚至变差,就退回去。

从此,AskDoc 的每一次进步,都有一个数字为它作证。这,就是从"手工作坊"走向"可维护系统"的第一步。


九、一个可以带走的判断

评测不是"上线前补的作业",而是"开发全程的方向盘"。 先有尺子,再谈优化——顺序错了,后面全是无用功。

检索看 Recall / Precision,生成看 Accuracy / Faithfulness。 分不开这两段,你就永远不知道该修哪一环。


总结

今天回答了"RAG 应该怎么评测":

  • 第一原则:检索和生成分开评,才能定位问题(接上第 9 天的 A / B 两类失败);
  • 检索侧:Recall@K(别漏)与 Precision@K(别脏)为主,MRR / NDCG 衡量排序;优先保 Recall;
  • 生成侧:Answer Accuracy 之外,更关键的是 Faithfulness——答案是否忠于检索到的资料,这是 RAG 的底线;
  • RAG Triad:Context Relevance、Faithfulness、Answer Relevance,三个角撑起可信度;
  • 谁当裁判:有标准答案(准但贵)与 LLM-as-a-Judge(便宜可规模化)配合使用;
  • 黄金集是这一切的燃料——没有它,指标只是空转。

一句话:

评测把 RAG 从"我觉得变好了",变成"我知道它变好了"——它不产生答案,却决定你敢不敢把答案交出去。

下一篇,我们回到链条的最前端去动刀。前面所有的武器——切分、检索、重排、融合、评测——都建立在"用户的问题已经是一个好问题"的前提上。可真实用户偏偏问得很烂。Query 侧优化:Rewrite、Multi-Query 与 HyDE,讲的就是怎么在下刀之前,先把问题本身救回来。


推荐阅读:

小游戏<篮球三消王>上线了

加班计1.0.8发布

我是如何用AI(Claude+Trae)在一周内开发一个微信小程序的?

从 0 到上线:AI Agent 独立完成宣传网站实战

合集地址:

开发vlog

Go开发者的云原生之路

Golang

MySQL
AIGC

友情链接:


7天训练营

Docker7天冲刺训练营

Redis7天训练营


*源码地址*

1、公众号“Codee君”回复“源码”获取源码

2、https://pan.baidu.com/s/1B6pgLWfSgMngVeFfSTcPdg?pwd=jc1s


如果您喜欢这篇文章,请您(点赞、分享、亮爱心),万分感谢!

随机文章