当前位置:首页>排行榜>还不知道RAG策略怎么选?用真实评测数据验证带你立马学会!

还不知道RAG策略怎么选?用真实评测数据验证带你立马学会!

  • 更新时间 2026-11-13 16:05:02
还不知道RAG策略怎么选?用真实评测数据验证带你立马学会!

相信各位在学习agent开发时对RAG这项技术早就越有耳闻,但对于一些人来说(就是我)其中的各个策略细节以及几种范式的原理、边界认识还不够清晰。为了防止面对各种名词一脸懵逼的情况再次发生,我把几个最常见的策略和范式按照自己的理解梳理并实现了一遍,让它们跑同一批语料、同一批问题、同一套评测指标,并根据真实的评测结果写下这篇文章,希望能给各位带来一些思考与启发,帮助大家查漏补缺,促进共同进步。

本文看点

01

评测怎么搭才有区分度

02

五个策略的真实收益

03

多种范式怎么选

01

WHAT RAG SOLVES

RAG 在补什么

模型不知道的东西分两类。一类是没学过,比如上个月刚发生的事;一类是学不到,比如你公司的报销制度、你自己的笔记、上周改过的那份产品文档。前一类通常等模型更新,或者接一个实时搜索;后一类只能从外部找资料。

RAG 处理的就是后一类。流程很朴素,资料先存好,提问的时候取相关的几段,跟问题一起交给模型,让模型照着这几段回答。更准确地说,RAG 是一组给 LLM 和 Agent 补信息缺口的技术。为了达到这个目的,有时候是经典向量检索,有时候是 GraphRAG、LightRAG 这样的知识组织方式,有时候是 Agentic RAG,让 Agent 自己决定要不要再查一次;反过来,有些问题也不该用 RAG,grep、LLM Wiki、Memory、上下文压缩、结构化查询也都能解决同一类需求。

这个思路 2020 年由 Lewis 等人提出来,论文里把它叫检索增强生成。当时的动机和现在不太一样。那时候模型参数小,检索是为了补知识。现在的旗舰模型参数已经够多,检索更多是为了补“此刻需要,但不在参数里”的那些信息。

2025 年之后上下文窗口一路涨到1M token 量级,于是有了另一种说法,把资料整本塞进去就行,RAG 这套东西可以退休了。

这个说法在三件事上站不住。

第一件是钱。检索一次交给模型的是五段,这次实验里五段加起来通常不到一千字。把十万七千段全塞进去是一千二百万字,差了一万倍。这笔钱每次提问都要付一遍,语料越大差得越多。

第二件是等待。模型要把输入读完才能开始输出,输入越长,用户盯着屏幕的时间越久。问答场景里这个延迟是能直接感觉到的。

第三件最难察觉。模型的注意力分布在全部输入上,塞进去的无关内容越多,真正有用的那几段分到的注意力越少。答案读起来仍然流畅,只是悄悄偏了,也就是我每次说的“幻觉”。这一条比前两条都麻烦,因为它不会报错,只会答错。

综上所述,检索这一步还是得留着。接下来的问题是,为了达成更好的效果,中间都要使用哪些策略?这些策略在真实情况下效果究竟如何?值不值得加?

图 1 RAG全流程示意图:准备阶段把资料放进去,检索阶段把它取出来

后面讲的每个策略,位置都在这个示意图中。还有一类改动更大,换的是整条走法,那些放到最后讲。

在讲策略之前,你可能会问,我凭什么说某个策略好或不好?总不能我说什么就是什么吧。为此我搭了一套评测,用真实数据标出每个策略和范式的边界,方便你后面做选型,也让你看上去更专业。毕竟,“没有评估闭环的 RAG,只是一个看起来会检索的聊天机器人;有评估闭环的 RAG,才是可以持续优化的工程系统。”

02

BENCHMARK

这套评测体系是怎么搭的?

要横向比较,前提是只让“策略”这一个变量变动——也就是我们在中学课堂上就学过的 “控制变量法”。向量索引和生成模型用同一套,提示词、温度、取前五段的预算也都尽量不动。

我把每个策略写成一个只做检索的函数。输入是问题和索引,输出是候选段落。生成、裁判、打分全部复用同一套代码。这样差异只能归到检索上,不会混进提示词或者采样参数的影响。

想搭建自己的 RAG 评测体系,首先要确定好几件东西:语料(用什么数据、多大规模、题目从哪来)、指标(检索层看什么、生成层看什么)、样本量(你打算分辨多大的差异)。还有一个容易被忽略的口径问题,决定你的分数能不能跟别人比。

2.1 评测语料的选择

选择测试集时,要确保测试集尽可能覆盖四类问题:单跳具体问题、单跳抽象问题、多跳具体问题、多跳抽象问题。我的语料选了三份,各自回答不同的问题。

第一份是 MMarco 中文版,十万七千条网页段落,题目取自真实的 Bing 搜索词,一开始取了六十道,后来补到三百道。选它的理由很具体,query 和文档来源不同,一边是搜索日志,一边是网页正文,词汇重叠低,能拉开差距。

这一点值得多说两句,因为我在这儿栽过一次。最初用的是另一份数据,百度知道那种问答对,query 和标准答案来自同一个页面。结果 baseline 的 hit@5 直接是 1.000,检索层饱和了,七个策略的差异全部落在裁判噪声里,一个都测不出来。我查了一阵实现,最后发现是数据的问题,题目和答案出自同一页,检索这一步本来就没什么难度。

第二份是 MultiHopRAG,六百零九篇英文新闻长文,平均一万字符,切成七千六百六十九块。四十五道可答题,外加十五道在语料里根本没有答案的题。这份数据是为了测多跳和长文档,短段落那份测不了这两个。

第三份是《民法典》,九百零三条,按条切块,平均八十三字。三十七道题,每道题的构造方式都一样,提问用 A 的措辞,答案只在 B 里。这份专门用来测块与块之间的引用关系。

我选的这三份语料各有偏向,读数字时得知道。MMarco 的题目来自真实搜索日志,最接近线上流量,但语料只有十万段,比真实任务容易。MultiHopRAG 是英文新闻,长文档和多跳都有了,可它跟中文业务的分布差得远。民法典那份最特殊,题目是按 A 的情境、B 的答案构造的,天然偏向关系型方案。任何一条结论,我都尽量在两份以上的数据上看同向。只有一份数据支持的结论,我会写明。

最后说一下口径,也就是这批数字是在什么范围里算出来的。用什么数据、语料多大、多少道题,都算口径的一部分。口径不同,分数不能直接进行比较。我用的MMarco 这份其实是 C-MTEB 子集,十万七千段,真实 MS MARCO 有八百八十万段。民法典数据集只提供九百零三条,全文是一千二百六十条。所以本文所有绝对分数都不能对标公开榜单,只用于组内比较。

数据集
规模与题量
用来测什么
偏向
MMarco 中文
10.7 万段,60 / 300 题
真实检索、单跳事实
语料小,比真实任务容易
MultiHopRAG
609 篇长文,7,669 块,45 + 15 题
多跳、长文档
英文新闻,离中文业务远
民法典
903 条,37 题
块与块的引用关系
题目构造,偏向关系型方案

数据来源

MMarco huggingface.co/datasets/C-MTEB/MMarcoRetrieval

MultiHopRAG huggingface.co/datasets/yixuantt/MultiHopRAG

民法典 github.com/13098806890/laws-data

2.2 评测指标的选型

检索层只用两个指标,hit@1 和 hit@5。这名字来自以前搜索引擎那套传统评测,MS MARCO 这类榜单就已经用了很多年。

hit@k 的意思很朴素。把检索结果按相关度排成一列,看标准答案有没有出现在前 k 个里面。排在第一,这道题的 hit@1 记 1;排在前五,hit@5 记 1。所有题取平均,就是这组题上的 hit@k。六十道题里五十七道命中,hit@5 就是 0.95。

两个指标问的是两件事。hit@1 问第一眼准不准,用户多半只看第一条。hit@5 问有没有漏掉,因为前五条会一起交给模型,只要在里面,模型就有机会用上。后面会看到,很多策略的差别只在其中一个指标上显形,只盯一个会得出完全相反的结论。

长文档上还得多做一步映射。一篇新闻被切成几十块,答案往往散在好几块里。MultiHopRAG 每题平均二十五个标准块,按块算 Recall@5 的天花板是 5 除以 25,也就是 0.2,谁跑都是这个数。所以检索到的块要先还原成它所属的文章,去重之后再算命中。这一步不做,长文档检索的所有结论都是废的。

检索层三个指标,分工不一样

指标
在问什么
什么时候会骗人
hit@1
标准答案是不是排在第一
只关心第一名,看不见“不漏”的收益
hit@5
标准答案在不在前五之内
进了上下文,不等于模型用得上
Recall@5(块级)
该召回的块,前五里占到多少
长文档每题 25 个块,天花板只有 0.2

检索到了不等于答对。答案质量得单独测,我直接使用了业内常用的RAGAS,2023 年提出的一套RAG自动化评测框架,包含以下五项指标:

答案质量五项,各管一件事

指标
在问什么
什么时候失真

忠实度

Faithfulness

答案里的话有没有依据

拆成论断,逐条回查上下文

答案太短,拆不出论断

答案相关

Answer Relevancy

有没有答到问题上

从答案反推一个问题

答案只有几个词时失效

上下文精确

Context Precision

检索段落里有多少有用

逐段判断与问题是否相关

段落长、话题多时偏严

上下文召回

Context Recall

该有的段落拿到没有

用参考答案反查需要哪些段落

参考答案过短时无法反查

答案正确

Answer Correctness

跟参考答案比对不对

语义相似度加论断重合度

参考答案短时严重失真

这五项没有一项是人手工打的分。做法是让另一个模型读问题和上下文,自己判断、自己给分,业内把这种做法叫LLM-as-a-Judge,用模型当裁判。这次当裁判的是 DeepSeek 的模型,提示词全程固定。

用模型当裁判便宜,也能批量跑,但也是有代价的。分数会抖,同一份材料喂两次未必一样;裁判还有自己的偏好,换一个模型,绝对分可能整体平移。所以这类分数适合组内比较,不适合跨论文对表。

前四项只要问题和上下文,不用人写标准答案;第五项才要参考答案。这也是 RAGAS 流行的原因。

问题出在答案长度上。MMarco 的参考答案平均二十八个字,MultiHopRAG 的答案多是两三个词的实体名,比如一个人名。论断抽取和反向出题这两步都是按成段文本设计的,遇到一个词就退化了。所以短答案场景我另算一个更笨的指标,看参考答案有没有出现在回答里。两套都跑,结论以这个笨指标的量级为准。

2.3 样本量与噪声

还有一件事决定多大的差距才算差距。裁判噪声实测约正负 0.03。同一份上下文喂两次裁判,上下文精确会差 0.026,十五道题里十三道完全相同,两道跳变。小于 0.03 的差距我一律当噪声。

生成层每个策略只测二十题,单指标标准差约 0.1。所以均值得配合逐题配对看方向,赢多少题、输多少题。只看均值,会被两三道题的跳动带跑。

配对的做法是把每道题的差值当成一个样本,赢记正、输记负、平记零,有放回地重抽一千次,看差值的分布有没有跨过零。跨过的当作没结论。这套算法叫 bootstrap,好处是不用假设分数服从正态分布,二十道题这种小样本也能用。这次所有标了置信区间的地方都是这么算的。

样本量这件事,我一开始完全没概念。六十道题上,hit@1 的标准误约 4.7 个百分点。三百道题上压到 2.0 个百分点。这个数字后面会救回一个策略,现在先记住它。

03

BASELINE

最朴素的 naive RAG

我将从一条什么都不加的流水线讲起,在此基础上逐步拓展各个策略及范式。切块、嵌入、建索引、检索、生成。问题进来,检索一次,取前五段,交给模型,结束。整个过程没有分支,没有回环。

这就是 naive RAG,后文中也叫 baseline。

它在数据上的位置是这样的。MMarco 六十题,hit@1 是 0.783,hit@5 是 0.950。同一份数据扩到三百题,两个数都降了,0.697 和 0.897。两份数据的难度本来就不一样。六十题那份偏容易,题目变多以后覆盖了更多难例,数字自然下来。这两组不要混着比。

MultiHopRAG 上,文档级 hit@1 是 0.600,hit@5 是 0.978。

这里有个地方值得停一下。hit@5 到了 0.978,四十五道题里只有一道没把正确答案所在的那篇文章捞进前五。可答案命中率只有 0.600。检索几乎没漏,答对只有六成。

差距就出在中间那一步。资料摆在模型面前,模型没有用上。

「检索指标可以很好看,答案质量却仍在上限之外。」

naive RAG 会在三个地方断。

库里根本没有相关内容,检索必然空手。这种情况换策略也没用,得回去补语料。

内容在库里,但没排进前五。这是检索层的问题,混合检索和重排解决的就是这一段。

内容排进来了,模型却没用上。它可能把五段材料平均地概括了一遍,真正的答案被稀释掉;也可能答案在第三段的最后一句,而模型只读了每段的第一句。这一类最隐蔽,因为检索指标看起来很好,你会以为是模型能力不够,转头去换更大的模型。

这次实验里,检索几乎没漏而答对只有六成,落差大部分属于第三类。

naive RAG 的优点也很实在。便宜、快、行为可预测。同样的问题问两次,拿到的资料是一样的。它的每一个失败都能定位到具体环节,这对调试很重要。所有策略都拿它当对照,后面出现的每一个百分点,都是相对它算的。

取前五段这个预算,比它看起来重要。取三段,答案常常不够,模型只能靠猜。取十段,上下文变长,读得慢,噪音也多,真正有用的那几段反而被稀释。五个左右是常见的折中。预算固定还有一个好处,策略之间的比较不会被谁给的资料多污染。后面讲引用扩展的时候会看到,它为什么代价明显,就是因为它在这个固定预算里挤掉了别的位置。

04

CHUNKING

切块有三种切法

准备阶段的第一步是切。切法直接决定后面能检索到什么。

最省事的做法是定长切,数够一定字数就断开。问题很直观。假设一段退货政策这样写:

EXAMPLE

签收后七日内可以无理由退货。商品需保持完好,吊牌未剪、不影响二次销售。定制类商品和生鲜食品不适用本条。退货运费由买家承担,质量问题除外。

为了把切点看清楚,把刀改密,每二十字切一刀。第一刀就落在“完好”中间,前一块停在“商品需保持完”,后一块从“好”字开始。这样切出来的两块交给模型,模型只能靠猜。

第二种叫语义分块。先把每个句子转成向量,相邻句子的向量距离近,说明还在说同一件事,就合进一个块;距离远就断开。切点因此落在意思转换的地方,不会落在句子中间。代价是要先把每个句子都编码一遍,一篇长文几百句,这笔开销在建索引时就付掉了。

断开的那条线不是全局常数,按每篇文档自己的分布算。这次用的是相邻句子相似度的 75 分位,低于这条线就断,再用 200 字下限和 1000 字上限兜住,免得切成一堆碎句。按每篇自己的分布算,比手调一个固定阈值稳,长文和短文的尺度不一样。

第三种叫命题分块。先用 LLM 把长文拆成一条条原子陈述,每条只讲一个事实,再拿这些陈述建索引。上面那段话会被拆成四条。“七日内可无理由退货”“商品需保持完好”“定制和生鲜不适用”“运费买家承担,质量问题除外”。每条都很短,语义很单一。

图 2 同一段文字,三种切法给出的边界不一样

三种切法在四十五道多跳题上的结果,测的都是不加任何策略的检索器。

切法
块数
平均块长
内容保留
hit@1
hit@5
定长
7,669
870 字
117%
0.600
0.978
语义
7,348
850 字
99%
0.622
0.889
命题
64,643
68 字
70%
0.667
0.911

命题的 hit@1 最高,定长的 hit@5 最高,语义两头都不突出。三个数之间的极差是 6.7 个百分点,在四十五道题上等于三道题。

两种极端都能解释。块切到六十八字,一条陈述只讲一件事,向量很干净,最相关的那条容易被顶到第一。代价是一篇长文被拆成上百条,同属一个话题的其他信息散在各处,要凑齐前五名就难。定长块一块八百七十字,上下文都带着,容易把前五名填满,可块里的杂质也拉低了排在第一的概率。

粒度是个取舍。细的容易顶第一,粗的不容易漏。这不是优劣。

内容保留率那一列也值得看。命题分块只保留了 70% 的原文,因为有些句子是描述性的,抽不出事实陈述,被丢掉了。定长的 117% 是重叠造成的,同一个句子在相邻两块里各出现一次。这个数字要写出来,不然容易以为三种切法处理的是同样多的内容。

还有一个更好的组合。语义分块配重排,hit@1 是 0.778,全场最高,比定长配重排高 2.2 个百分点,比语义分块自己高 15.6 个百分点。

这个结果说明分块的收益未必体现在直接召回上。语义切法单独用的时候 hit@1 只有 0.622,比重排一配就跳了十五个点。它做的是给重排提供更好的素材,候选本身更干净,交叉编码器判断起来更容易。切块和重排是配套的,单独评价切块会低估它。

比切法更基础的一个参数是块的大小,它决定的是另一类错误。块太大,一块里塞了三四个话题,向量被平均成一个模糊的方向,跟谁都沾一点,跟谁都不精确。块太小,一句话缺主语、缺前提,单独拿出来看不懂,模型拿到也只能猜。常见的折中是几百字,再带一点重叠,让正好跨在边界的那句话在相邻两块里各出现一次。

我这次定长切用的就是一千字符加一百五重叠,重叠也是保留率超过 100% 的原因。

要为切块操心的场景只有两种。答案本身跨在边界上,或者文档结构自带语义。法条按条切、代码按函数切、表格按行切,效果比按字数切稳得多,因为作者已经把语义边界画好了。反过来,在一千字量级、事实型问答的场景里,切法不是关键变量。这组数据里三种切法的差距在噪声边缘,谁也说不上比谁强。

实践里常见的起步方案通常很朴素:递归切分 + 10%-20% overlap + 保留章节 metadata,然后用 Context Precision / Recall 看 bad case。

05

EMBEDDING

嵌入和索引

准备阶段还剩两件事,把切好的块变成向量,再把向量和原文存起来。这两步决定了检索的上限,也决定了很多看起来像检索问题的毛病,其实根子在这里。

5.1 嵌入

嵌入是把文本变成一串数字,通常几百到几千个。这串数字单独看没有意义,有意义的是两串放在一起比。意思接近的两句,数字串指向的方向接近;意思不相干的两句,方向几乎垂直。所以“找语义相近的段落”在数学上就是“找方向最接近的向量”,常用的度量叫余弦相似度,方向一致算 1,垂直算 0。

通用的嵌入模型在大多数场景里够用,因为它在海量文本上学过词的用法。遇到术语体系很强的领域会出问题。不要迷信“最强 embedding 模型”,要看语种、领域、文档长度、成本、延迟等指标,以及它是否真的提高了端到端答案质量。

法律里的“定金”和“订金”是两个概念,前者不退,后者能退。在通用模型的向量空间里,这两个词只差一个字,可能贴得很近,检索时互相污染。再比如医疗里的阴性/阳性、代码里的 list 和 ls,都是同一类麻烦。用户搜“订金能不能退”,系统把“定金不退”那一段取上来,答案就成了反的。

解决办法通常是换领域专用的嵌入模型,或者拿自己的语料把通用模型再训一遍。前者的成本是重新建一次索引,后者还要一批标注数据。

因为我准备的三份语料里没有真正的垂直领域文本,给不出数字,所以这一部分的策略我就没测,只能给判断。如果你的资料术语密集,比如合同、病历、代码,值得单独试一版领域嵌入。如果语料是新闻、百科、产品文档这种通用表达,换领域模型的收益通常撑不起这份成本。怎么判断要不要上领域模型呢?拿二十个只有行内人分得清的近义词去搜,看前五段是不是你想要的那几段。

5.2 索引

索引这一步把向量和原文一起存进数据库。我这次实验的规模只有十万段,向量直接放内存里做矩阵乘法就够,没引入专门的向量库。再往上走,项目小的时候 SQLite 配 sqlite-vec 插件够用,数据量大了换 PostgreSQL 配 pgvector,好处是能跟业务数据放一起,做权限过滤少一次跨库调用。

除了向量和文本,通常还要存一些结构化字段,标明内容的日期、来源、类型,这类字段我们通常叫做metadata。检索时按这些字段过滤,能挡掉一大批本来就不该出现的结果。比如法条检索限定现行有效版本,客服检索限定产品型号等等。metadata 不是装饰品,它决定了后面能不能做权限过滤、章节过滤、时间过滤、引用溯源。很多“RAG 答错”的根因不是模型差,而是文档入口就把正文、页码、标题层级或者表格语义这类字段弄丢了。

普通方式建索引这一步还会丢掉一样东西,即块与块之间的关系。比如,原文里的第 12 条写着“依据本法第 X 条”,切块之后 X 落在另一个块里,数据库不知道这两块有关系。取到第 12 条的时候,那个 X 不会跟着放入上下文中,造成检索信息遗漏,效果不佳。

这是准备阶段的最后一个缺口。补它的方案放到后面第八节的Graph RAG范式来讲,因为那已经不是简单地改零件了。

06

QUERY

改写问题与 HyDE

前面提到的几个策略都在“资料和索引”那一侧进行优化,接下来这一节的两个在“问题”这一侧。一句话问得不好,检索就跟着不好。

我先给结论吧:我的测试里,在干净、完整的 query 上,这两个都掉分。它们只在一种情况下值得加,就是用户说的是半句话,而前文能把那半句补回来。

6.1 查询改写

用户的问题和文档的措辞经常对不上。用户问“我这种情况能不能退”,文档写的是“七日无理由退货的适用条件”。两句话意思相通,字面几乎不重叠,向量能救一部分,救不了全部。

改写的做法是让模型先换几种说法再搜。最常见的是补全,把“这个”换成它指的东西;也可以拆开,把一个比较题拆成两个问题分别搜;或者放宽,把过窄的表述换成更常见的说法。几路结果按名次合起来,重新排一次。

图 3 改写把“这个”补成实体;上文里没有可恢复的信息时,它只能猜

实测是掉分的。六十道题上比 baseline 低十五个百分点,扩到三百题,置信区间整段落在零以下。抽样波动解释不了这个差距。

原因不复杂。向量检索在这批数据上本来就排得不错,改写等于在已经排对的顺序上再推一把,推的方向稍偏,原来对的就沉下去了。

但换一个条件,结论反过来。把两百条真实 query 改写成口语追问,用代词指代关键实体,比如把“个人所得税专项附加扣除标准”说成“这个能扣多少”。这时 hit@1 从 0.725 掉到 0.420,因为关键实体没了。

在这个状态下再上改写。不给上文,只回到 0.425,等于没救;把原 query 一起提供过去,回到 0.690,收回二十七个点,基本恢复到原来的水平。

所以改写有没有用,取决于上文里有没有可恢复的信息。信息彻底缺失的时候,它只能猜。判据也很直接,去日志里数“指代型追问”占多少,占比高才值得加。

6.2 HyDE

HyDE 更绕一点。它让模型先写一段假设的答案,再拿这段答案去向量库里检索。本质是把“问题-文档匹配”转换成“文档-文档匹配”。理由是答案的措辞比问题更接近文档,问句是疑问语气,文档是陈述语气,中间隔着一层。假设答案把这个隔层抹掉,用答案当鱼饵,更容易钓到对的段落。

图 4 HyDE 先编一段假设答案,再拿它去搜

实测更差。六十题上和改写撞在同一个分数,多跳那组 hit@1 掉二十四个点,四十五道题里弄丢五道、只救回一道。

原因在编这个动作本身。新闻里那些具体的人名、金额、时间,模型本来就不熟,编出来的“答案”方向一偏,检索就整条跑偏。问题问得越具体,它编错的概率越高。

它成立是有前提的,query 和文档之间存在语义鸿沟,而且检索器没在这个领域训练过。这次用的是通用强模型、query 干净,鸿沟本来就不存在,所以它剩下的只有噪音。这个前提我没有单独验证,跨领域场景要另测。

所以别把它当默认开关。只有当query 和文档说的不是一套话时,它才有发挥空间。

把这两个策略放一起看,它们做的是同一件事,在向量之外再叠一层信号。向量已经把大部分题排对的时候,叠得越多,压得越狠。这也是为什么它们和混合检索会在同一个分数上撞车。

事实证明,查询增强不是越多越好。多查询会扩大覆盖面,也会放大 rerank 成本;HyDE 对开放式问题有帮助,但如果 LLM 写出的假设答案偏了,检索方向也会偏。Expand, Rerank, and Retrieve: Query Reranking for Open-Domain Question Answering. (https://arxiv.org/abs/2305.17080)这篇文章提醒我们:查询扩展本身也需要被重排,不是贪婪生成出来的第一个扩展就最好。比较好的做法是按问题做一层类型路由:事实型问题先走 BM25 + Dense,模糊开放问题再走 HyDE,强业务约束问题先做 metadata filter。

07

RETRIEVAL

混合检索与重排

检索层在行业内通常使用混合检索,经过两路召回后用rerank模型进行重排。对于性能要求极高、强调低延迟的场景,则会使用 RRF(Reciprocal Rank Fusion,倒数排名融合)。

7.1 混合检索 = 向量检索 + BM25

向量检索(代表稠密检索)有一个天生的盲区。它只比意思,不比字面。一型糖尿病和二型糖尿病在语义上几乎是邻居,向量分不出差别,可这两种病在医学上差得很远。用户搜前者,系统把后者的段落递上来,答案就错了。

BM25 (代表稠密检索)补的就是这个盲区。它不看语义,只数词。一个词在这段文字里出现得越多,这段越可能和它有关;一个词在整个库里越常见,它越不值钱。“的”“是”“可以”到处都是,等于没有信息;一型糖尿病只在少数段落出现,命中一次就很说明问题。

混合检索就是两路都跑,再把两路结果进行去重、合并和初步排序。排序的办法很简单,按名次。某一段在向量那一路排第三,在 BM25 那一路排第十,两边的名次折算成分数加起来,重新排一次。

图 5 向量看语义,BM25 看字面,两路合起来排序

听起来挺完美,但我实测发现不完全是这样。

中文那份语料上,BM25 单独跑只有向量的七成,两路按各种权重混,最好的结果也没超过纯向量。原因在分词。中文要先切词,切完 BM25 命中的多是“可以”“什么”这种到处都有的词,等于往排序里掺噪音。

换到英文新闻,结论反了。BM25 的相对强度跟中文差不多,可混合之后比纯向量高了八九个百分点。差别在 query 的形态,英文那批题里有大量专名和编号,BM25 命中就是真命中。

所以判据不在“要不要混合”,而在你的 query 里有没有一批只能靠字面认出来的东西。合同号、零件号、法条号、人名,有就值得试,没有效果就不一定有明显提升。当然,这组只有四十五道题,八点九个百分点只能当方向性证据。

7.2 重排

要理解重排,得先看清向量检索是怎么工作的。

它走的是各算各的。建索引的时候,每段文字被压成一串数字存起来;用户提问的时候,问题也被压成一串数字。两边从头到尾没有见过面,系统只是比这两串数字的方向像不像。

快是真快,十万段也能毫秒返回。代价是模型只判断得出“整体意思像不像”,判断不了“这段到底能不能回答这个问题”。

举个例子吧。用户问:猫可以吃巧克力吗?

检索捞出来两篇: 

文档 1:巧克力成分介绍(关键词 “巧克力” 命中,向量也有点像,检索排第 1) 文档 2:猫狗禁食食物清单(真正能回答问题,检索排第 4)

Rerank 读了之后:文档 2 相关性分远高于文档 1,直接把文档 2 排到第一名。

重排做的就是这件事。它不预先算向量,而是把问题和一段候选拼成一段话,一起送进模型,让模型读完直接给一个分数。

图 6 重排把第 12 名补进前五

打个比方,向量检索像筛简历,看关键词和经历像不像;重排像面试,把人和岗位放到一起聊一次。面试当然更准,可一个人聊一次,二十个候选就是二十次,所以只能放在粗筛之后。先让向量从十万段里挑出二十段,再让重排在二十段里排序,留前五。它的开销只跟候选数有关,跟语料规模无关。

它最擅长读的是限定条件。“只统计 2023 年之后”“排除外包”“按季度而不是按月”,这类附加要求在向量那里会被平均掉(因为每个词的权重有差别),在重排这里能读出来。

数据也支持这一点。六十道题里原本有三道的答案掉在五名以外,重排把它们捞了回来,hit@5 从 0.950 变成 1.000。已经排对的题名次没怎么动,平均甚至退了一点点。

所以它做的还有补漏,减少彻底漏掉,不是单纯把第三名提到第一。

值得一提的是,我将评测样本加到三百题,才看见它在第一名上的收益,hit@1 从 0.697 到 0.743。六十题看不见,是因为这个提升只有 4.6 个百分点,而六十题本身的误差就有 4.7 个百分点,信号和噪声一样大。

多跳长文档上收益更明显,hit@1 涨了十五个百分点,答案命中率也跟着涨了七个百分点。

检索层和答案层同时变好,这批策略里只有它做到。如果你的 RAG 只能加一个策略,加重排。

7.3 RRF(Reciprocal Rank Fusion,倒数排名融合)

RRF 就是把好几份不同检索结果列表,按「名次」打分,名次越靠前分越高,最后把分数加起来重排,不关心相似度具体多少,只关心排第几。

RRF 不直接比较 BM25 分数和向量相似度,而是只依据候选文档在两路结果中的排名位置进行融合,因此不受两种分数量纲不同的影响。其特点是计算简单、速度快、延迟低,所以通常用在性能高要求、强调低延迟的场景。

值得说明的是,RRF和重排并不是非此即彼的关系,有一种说法是在真实工程里经典搭配: BM25 + 向量检索 → RRF 融合 → 取 Top20 → Rerank 精排 → 取 Top3~5 给大模型。

这部分我接触的实在不多,没有相关实践,因此本文就不再胡说八道了,感兴趣的可以自己实操试试。

08

PARADIGMS

RAG 的不同范式

前面七节都在同一条流水线上换零件。切得更合理、嵌入更贴合领域、问题改写得更准、检索排得更对。

这些改动有天花板。当答案根本不在候选里,或者一个问题要分几步才查得清,换零件解决不了,得换走法。下面四种走法,各自在解决一个前面解决不了的问题。

基础 RAG 是一条直线

前面跑的那条流水线,换一个角度看,本身也是一种范式。问题进来,检索一次,取前几条,交给模型回答。没有分支,没有回环。

它的好处是便宜、快、行为可预测。缺点是三个断点全在一条直线上,任何一个断了都没有补救。库里没有相关内容,它不会去别处找。第一次没搜到,它不会换词再搜。

怎么区分三个断点,有顺序可循。先看 hit@5。答案所在的那一段压根不在前五,问题在检索,往后加混合检索或重排。hit@5 很高而答案命中率低,问题在生成,去查提示词、段落顺序、上下文长度。中间还有一种,hit@5 不低但 hit@1 明显更低,说明检索到了却没排好,那是重排的活。三个数字一摆,该动哪一段基本就清楚了。很多人跳过这一步直接换模型,钱花了,问题还在。

大部分业务场景落在这条直线上就够了。baseline 在所有实验里都不难看,原因也在这里。它的 hit@1 是 0.783,换任何策略都至少要花一次额外调用才可能超过,而大多数策略连这个都做不到。

Graph RAG 把关系捡回来

第五节的最后留了一个缺口。切块会把块与块之间的关系切掉。合同第 12 条写着“依据本法第 X 条”,这个 X 在别的块里,向量检索不会因为一句话里有引用关系就顺手把 X 取出来。

Graph RAG 的做法是先把关系存成一张图。节点是实体,比如条文、公司、人;边是关系,比如引用、XX属于XX关系、投资。检索时先定位命中的节点,再顺着边把相邻节点一起找出来放入上下文。

图有两个来源。一是让 LLM 读文档抽实体和关系,通用但贵,质量也不稳。二是用规则抽,法律条文里的“依据本法第 X 条”“本合同第 X 条”,格式固定,正则就能拿到,成本接近零。

抽出来的图是局部图,只覆盖你自己的文档。WikiData 那种预先建好的全局图是另一种东西,拿它增强检索的方案叫 KG-RAG,思路相近,图的来源不同。

图 7 顺着引用边,把答案那一条捞回上下文

Graph RAG 有两半。一半是顺着实体邻域找,也就是上面这条路径;另一半是把关系密切的实体聚成社区,给每个社区写一段概括,用来回答“这堆文档整体在讲什么”。

顾及成本的考量,本文只测了前一半,边还是用正则抽的。所以后面提到的那些数字衡量的是纯图检索的下限,不代表完整 Graph RAG 的上限。

另有一个更轻的版本叫 LightRAG,把社区摘要整个去掉,改成拿具体实体和抽象话题两组关键词分别检索,换来的是新增文档时往下合并就行,不用重建。这一范式我没有进行评测,感兴趣的读者可以自己评测试试效果如何,也欢迎在评论区分享你的成果和见解。

引用边扩展的收益是有条件的,我用两组实验把边界测出来了。

第一组是 MultiHopRAG 的多跳新闻题。用实体图代替向量做检索,输得很惨。hit@5 只有 0.533,向量检索是 0.978,差了四十五个百分点。

原因在问句形态。那批题长这样,“据 The Verge 和 TechCrunch 报道,那位面临欺诈审判的加密货币人士是谁”。The Verge 确实出现在问句里,可它几乎出现在每一篇相关报道里,做检索信号反而是噪音。真正的判据是“面临欺诈审判的加密货币人士”这段语义,纯实体图抓不住。

第二组换到民法典,结论反过来。

配置
被引用条文的召回@5
引用方条文的召回@5
普通向量检索
0.514
0.946
向量前二名加引用扩展
1.000
0.946

在被引用的那一条上,召回从 0.514 跳到 1.000。

中间有一行数据最说明问题。在引用方已经进了向量前两名的三十道题里,普通检索仍有十八道拿不到被引用的那一条,占六成。上下文里明明摆着“依据本法第 X 条”这句话,那个 X 不在里面。模型看得见指路牌,走不到路那头。

加上扩展之后,答案覆盖度从 0.741 到 0.824,十二道题更好,三道更差,二十二道持平。

代价也得说清楚。每题平均多插入 1.41 条条文,其中 23% 属于噪音,跟目标条文无关。前五名这么紧的预算里,这个代价不小。所以扩展只能跟着显式引用走,不能把相邻块一股脑拉进来。

两组结论放在一起不矛盾,它们回答的是两个问题。用实体图替代向量做通用检索,这次是惨败。用引用边做关系补全,效果很干脆。工业界的 Graph RAG 几乎都和向量检索混着用,原因大概在这里,单独用图等于放弃了语义匹配这条腿。

成本分两种情况。开放域确实贵,六百多篇新闻抽五千多个实体、六千多条关系,花了一块三毛七,五分钟。法律条文那种显式引用用正则抽,边际成本几乎是零。

增量更新也要分情况。逐文档抽出来的关系是局部的,更新一篇只需重抽那一篇。微软原版 GraphRAG 那套里面有社区检测和社区摘要,依赖全局聚类,更新一篇可能触发整体重算,那才是真正贵的地方。这两个成本经常被混在一起讲,其实不是一回事。

要不要上这一套,判据是你的文档里有没有显式关系。法条、合同、制度、论文有,用正则就能抽,收益还是从 0.514 到 1.000 这种量级。开放域新闻没有,只能让 LLM 通读,收益不稳。

还得提醒一句,这组实验的题目是构造的,天然偏向 Graph RAG 有效。它测的是机制在关系型问题上的上限,不是自然流量里的平均收益。真实业务里“需要跟随引用”的题占多大比例,得按你自己的文档统计。

Agentic RAG 把检索变成循环

人查资料不是一次成型的。先搜一轮,看看够不够,不够就换个词再搜。Agentic RAG 就是把这件事交给模型。

做法是让模型自己判断信息够不够,不够就生成一个新查询再检索、换数据源、换query。给它的工具通常是语义检索,也可以是别的。循环几轮,直到它认为够了或答案明确不可达,再整理上下文交给生成。

图 8 不够就换个说法再搜一轮

我的实现只做两轮。先检索五段,让模型判断够不够。不够就让它给一个新查询,再检索一次。最终只返回某一轮的前五段,不累积,否则它的上下文条数会比别的策略多,比的就不是检索能力了。

结果是没起来。MMarco 上 0.767,比 baseline 低 1.6 个百分点。MultiHopRAG 上四十五道题里三十八道和 baseline 完全一样。

我怀疑是“替换”丢掉了第一跳的证据,做了个累积变体,第二轮结果跟第一轮合并。文档级三项指标一点没变,只有 NDCG 从 0.369 微升到 0.385。

显而易见,多给第二轮证据,并没有让第一跳变好。

当然,这个结果不等于 Agentic RAG 没用(其实是我自己没用)。我的实现是简化版,两轮、替换式、没有规划、没有工具选择,跟论文里那套差得远。更准确的说法是,我做的这个简化版没跑出效果。

不过有个判断可以下。这个范式的上限取决于模型的自评能力。模型看不出资料不够,后面的循环就白转。而自评这件事本身就不可靠,下面 Adaptive 那节里,路由判定同一批题跑四遍,结论都不一样。判断都判不准,循环越多,错得越远。

它的成本也很实在。每题至少多一次判断调用,需要二轮时再多一次改写和一次检索,这些步骤串行,延迟跟着涨。

此外,再检索还会带来一个副作用:重复查。多轮对话里,用户经常追问、改问、绕着同一个主题问,如果检索系统没有记忆,就会一遍遍召回同一批 chunk。
工程上有两个层级的解法:轻量做法是按 session 维护 consumed_ids,每轮检索后记录已经用过的 doc/chunk,下轮过滤;同时在单次检索内按 doc 去重,避免同一篇文档的三个相似 chunk 挤满 Top-K。至于效果如何,同样需要你们自己去验证了()。
Agentic RAG 这类方案特别适合多跳、跨源、信息分散的场景。企业内部最常见:合同在法务库,付款在财务库,项目状态在 Jira,客户沟通在 CRM。用户一句“这个客户为什么还没续约”,背后可能需要查历史工单、报价、合同条款、最近会议纪要。
它的选型逻辑很简单:如果答案路径需要“查到 A 后才能知道去哪里查 B”,就该考虑它;如果只是固定知识库 FAQ,一次混合检索加 rerank 就够了,别把小问题装修成指挥中心,浪费精力浪费钱。

Adaptive RAG 先判断要不要查

还有些问题根本不用查。“你们几点下班”“一加一等于几”,模型本来就会。给这种问题跑一遍检索,是白花钱。Adaptive RAG 在检索前面加一道判断,简单的直接答,复杂的才走完整流程。

这道判断有三种常见实现。规则匹配最快,写死关键词,覆盖面窄。小分类器要标注数据,边界情况得靠人补。用一次极短的 LLM 调用最灵活,判断标准直接写在提示词里,改起来不用重新训练。我用的是第三种。

图 9 常识题跳过检索,具体题走全套

提示词必须带例子。只写规则的时候模型会漂。我最初那版只写了“涉及具体事物一律 YES”,它把“建行可以炒石油吗”判成了不需要检索。补了几条正反例,又加上“拿不准一律 YES”的兜底,才稳住。这个兜底也有代价,它让漏检变少,误检变多,等于把风险往反方向挪了一点。

第一版测出来是灾难。二十道题里它跳过了三道,跳过之后上下文为空,上下文类的指标必然记 0,整张表看它全面落后。我一度写了“这个范式完全无效”。

后来查出来两个 bug。跳过检索之后仍然用 RAG 提示词,模型面对空资料只能回答“资料中没有相关信息”;另一个是解析,模型输出为空时被当成了不需要检索。修完再看,情况完全变了。

补一组混合分布的题,十五道常识加十五道具体,画像是这样。常识题跳过 100%,跳过时仍然答对 87%。具体题误跳 20%。

再看它真正检索的那十七道题。跳过的那三道上下文为空,不参与比较,剩下的分数是这样。

指标
Adaptive(17 题)
baseline(同批题)
上下文精确
0.883
0.903
上下文召回
0.882
0.900
忠实度
0.843
0.816
答案正确
0.752
0.723

四项指标基本持平,答案正确性还略高一点。它检索到的东西并不差,问题出在它放弃的那部分题上。

这两件事在报表上长得一样,在业务上完全不同。放弃是主动省成本,检索得差是能力不够。前者要算账,后者要修东西。

还有一个数字不太好看。它的路由判定不可复现。同一批六十题跑四遍,跳过数分别是 14、9、12、10。逐题一致率 93.3%,四道题翻转。指标的抖动约正负 7%,小数点后三位的差异不能当结论。

这个范式的取舍很清楚。省掉常识题的检索成本,赌的是误跳比例。值不值取决于你的流量里常识题占多少。客服机器人里“你们几点下班”这类问题很多,它划算。专业检索工具里几乎没有这种题,它就只是在冒险,而且每次都在冒。

四种范式摆在一起,差别在它们各自想解决的那一个问题。

范式
想解决什么
主要代价
什么时候值得
基础 RAG
把资料接进模型
一次定生死,漏了就没了
默认起点,多数场景够用
Graph RAG
块之间的显式关系是答案路径
建图要花钱,关系质量难验证
文档里有引用、层级、归属关系
Agentic RAG
一次检索不够,需要多轮
多轮调用,延迟和成本翻倍
问题本身需要分步查证
Adaptive RAG
大量问题其实不用查
误跳,且路由不稳
常识类问题占比高的场景

09

SELECTION

怎么选

我最想提醒各位的一点是:RAG 不是“让模型知道更多”的唯一方式,它只是“在推理时找一小段上下文”的方式。选型从一个问题开始,模型现在缺什么。缺的东西不一样,补法完全不一样,成本也差着数量级。

9.1 先分清缺的是哪种信息

缺一段会变的事实时,用 RAG。制度条款、产品参数、上周的会议结论都属于这一类。它们不在参数里,也不该在参数里。

缺的是一种行为时,用微调。输出必须符合固定格式,必须按某种口径解释,必须用行业内的说法,这些属于“怎么做”的问题,跟“知道什么”是两件事。

缺的是组织方式时,用 LLM Wiki 这类预编译方案。资料本来就零散,反复被问的其实是同一批结论,每次都要重新检索拼装,说明缺的是一层整理。

缺的只是几个精确字符串时,先试 grep 和文件读取。函数名、报错、某个文件的第 42 行,这类问题的答案不需要语义理解,向量检索反而绕远。

9.2 四种 RAG 范式怎么选

绝大多数项目从基础 RAG 加重排开始。这两步的收益在两个数据集、两类指标上同向,成本也最低,重排的开销还跟语料规模无关。

文档里有显式引用、层级、归属关系的,加一步引用扩展。判据很土,把你的文档翻一遍,看有没有大量“依据第 X 条”“见附件三”“属于某项目”这种写法。有就值得,没有就别上。

问题需要跨段落拼信息、第一步该搜什么又不明显的,考虑 Agentic。先别急着实现,从日志里抽一百个问题,数一下有多少个是一次检索命中不了的。比例低于一成,多轮设计大概率白花钱。

常识类问题占比高的场景,可以上 Adaptive。它省的是检索调用,赌的是误跳比例。这个比例只能从你自己的流量里量,抄别人的没用。

还有一个更划算的动作经常被忽略,把评测搭起来。没有指标,上面这些判断全靠感觉,而感觉在检索这件事上特别不准。这次实验里我自己就判反过一次。

9.3 什么时候该微调

微调解决行为,不解决知识。

值得做的情况有三种。你有一批稳定的标注数据,几百到几千条。任务边界清楚,输入输出格式固定。或者你想用小模型替掉大模型,把成本和延迟压下来。

不值得的情况也很清楚。知识天天变,微调一次就要重训一次,还查不到出处。需要引用原文、需要给出页码的场景,微调给不了。数据只有几十条的时候,写提示词比微调有效。

有个常见误区是把微调当成灌知识。模型的参数不是数据库,灌进去的东西既不能精确召回,也不能单独删除。让它忘掉一条错的知识,比让它学会一条难得多。

9.4 什么时候该 LLM Wiki

RAG 像解释器,每次提问都从头读一遍资料。LLM Wiki 像编译器,新资料进来的时候就让模型读完、拆成概念页、和旧页面建立链接,之后查询直接读页面。

它适合稳定、反复使用、需要积累的知识。个人笔记、长期维护的项目文档、一个团队反复讨论的那几十个概念,都属于这一类。同一批资料被问过十次以后,预编译的成本就摊平了。

不适合的情况有两种。资料几千篇以上,模型的上下文装不下整个索引,要么分层,要么退回 RAG。资料变得很快,今天写的页面明天过期,维护成本会超过收益。

还有一个现实问题,编译质量取决于模型对领域的理解。它会把相似的概念合并,也会把不该合并的合并掉。真要用,得留一个人抽查概念页。

所以,“什么时候不该用 RAG”的简化判断可以这样说:当问题需要精确定位,用 grep/glob/read;当问题需要全局统计,用 query engine / semantic operator;当问题需要长期个性化,用 Memory / LLM Wiki;当问题需要持续运行,用 Continuous RAG;当问题需要可控执行,用 Workflow / Agent loop / Harness。RAG 仍然重要,但它不应该是默认答案。它适合补一段证据,不适合替代搜索工具、数据库、记忆系统、流处理系统和工程闭环。

把这几节压缩成一张表,选型的时候可以直接对着看看。

你缺什么
优先方案
前提或代价
会变的事实,比如制度、参数、会议结论
RAG,baseline 加重排
预算固定,重排按候选数计费
文档里有显式引用、层级、归属
加一步引用扩展
要有“依据第 X 条”这类写法,正则才抽得出
问题要跨段落拼,第一步不明显
Agentic RAG
一次检索命中率低于九成才值得
常识类问题占比高
Adaptive RAG
约两成具体题会被误跳
输出格式、口径、行业话术
微调
要几百到几千条稳定标注
知识稳定、反复被问、要积累
LLM Wiki
几千篇以上装不下整张索引
只缺几个精确字符串
grep 与文件读取
不做语义理解,问法要能落到字面

∞

EPILOGUE

写在最后

写到这里,策略和选型都讲完了。最后交代几点我个人的经验吧。

指标会决定你能看见什么。hit@1 好看,但它只关心第一名。重排这种补漏型策略在六十道题上 hit@1 完全隐身,在 hit@5 和答案命中率上才现形。如果评测只统计 hit@1,你会系统性地低估那些“不漏”的环节,转头去加那些看起来更聪明的策略。同样,只看 RAGAS 会低估短答案,只看块级召回会误判长文档。

样本量决定你能看见多大的效应。六十道题的分辨率是五个百分点左右,比这更小的提升,测多少次都是随机数。重排那 4.6 个百分点,在小样本上就是隐身的。

做agent项目选型时也不要只是简单地问“我要不要上 RAG”,而要先问三个更具体的问题:1.模型缺的是什么信息?2.这些信息是稳定的、实时的、结构化的,还是分散在文档和工具里?3.补上这些信息的最低成本方式是什么?

答案可能是向量检索,也可能是知识图谱、Agent 工具调用、文件系统搜索、Memory、Wiki,或者只是一个更清楚的业务流程。面对代码在流水线上廉价生成的ai时代,这才是工程项目里作为“人”最该做的判断。

RAG 的价值不在于“让模型多看点资料”,而在于把用户的一句话,扩展成模型完成任务真正需要的上下文。工程上真正要优化的,也不是某个单点算法,而是从问题理解、信息获取、上下文组织、回答生成到评测反馈的整条链路。

当然,受限于个人认知和成本,我的评测有许多不足之处,文章部分地方也难免会存在纰漏与错误。欢迎各位读者指正。查了许多资料写完这篇文章唯一感想就是,RAG的水很深。

费尽心思的我
END

随机文章