当前位置:首页>排行榜>RAG 的可信度不是调出来的,是「评测」出来的

RAG 的可信度不是调出来的,是「评测」出来的

  • 更新时间 2026-11-21 02:30:06
RAG 的可信度不是调出来的,是「评测」出来的

AI 数据底座 · 第 3 篇 · 可信RAG 的可信度不是调出来的,是测出来的。这篇拆开两层评测:检索层看 Recall@3,答案层用双 agent 隔离盲评看引用覆盖与诱导抵抗;也记录了几个边界——结构能保证引用映射存在,不能保证每一句都用;指标不达标时,先审口径,再疑系统。

RAG 项目最容易陷入一个循环:效果不好,换 embedding;还是不好,改 chunk;再不好,调 topK;感觉好点了,上线;用户说「它在胡说」,回到第一步。

问题不在于你调得不够,而在于「感觉好点了」不是证据。

这篇讲我们怎么把「感觉」变成数字:两层评测、一条隔离纪律,以及几个反直觉的边界。

85%检索层Recall@389.6%答案层引用覆盖率3/3诱导问题全部抵抗

—  01  —

RAG 的好坏是两个正交问题

大部分人把 RAG 当成一个整体来调,但它其实是两个问题:

检索找没找对:给定问题,该被引用的知识有没有进 top-K。这个可以自动测,Recall@3 就够了。

答案说得对不对、有没有据:拿到 context 之后,论断是否可回查、是否编造。这个必须判卷。

单层评测必然漏:检索满分而答案编造,或答案流畅而检索全错,任何一种都能骗过单一指标。

层
怎么测
指标
检索层
自动评测
Recall@3
答案层
双 agent 隔离盲评
引用覆盖 / 正确性 / 诱导抵抗

—  02  —

grounding 是结构保证,不是模型自觉

RAG 和裸 LLM 的本质差异只有一点:每条论断能不能回查到来源。

很多团队把这件事寄托在 Prompt 上——「请引用来源」「不要编造」。这不可靠,因为它是生成端的自觉。

我们的做法是把 grounding 焊死在输入侧:组装器在生成 context 的那一刻,就给每条来源编上号 [n],并维护编号到语料原文的映射。

指令行恒在:1. 每条论断必须标注来源编号;2. 低置信来源必须转述警示;3. 无据可依时,回答「语料中无依据」,不得编造。

这样,生成端换成任何模型,只要遵守契约,溯源依然成立。这也是为什么 RAG 的工程重心在检索侧,不在生成侧。

但实测暴露了边界:8 题抽样里,有两题的结论句漏了编号(「只能给候选」「与规范相反」)。引用映射是结构焊死的,可「这句话要不要标号」是语言行为,结构管不到。

结构能保证映射存在,不能保证每一句都用。这正是答案层评测必须存在的理由。

—  03  —

不删除,只降权

检索出来的来源质量参差:规范文档是团队裁决产物,默认权威;有的表卡置信度 0.9;有的是存根卡,只有表名。

一个自然的想法是:低置信的直接删掉,别污染 context。我们没这么做。

来源
处理
置信度 0.7 以上
正常引用
0.5 到 0.7,或存根卡
标「低置信」,论断须转述警示
低于 0.5
仅作存在性提示,字段另行校验

理由是:降权可见,删除不可见。删掉之后,生成端不知道「曾经有一张存根卡存在过」,可能把「语料里没有这张表」当成事实回答。保留并标注,生成端和读者自己取舍。

这条原则在项目里出现了三次:围栏对未知资产的读路径只 REVIEW 不 BLOCK,检索对存根卡照常入语料,组装对低置信来源只降权不删除。

背后是同一个判断:系统的每一层,都不替下一层做决策。

—  04  —

空 context 契约:查不到是合法答案

检索没有结果时,最差的做法是输出空。

空输出会让生成端自由发挥——没有任何约束附着,它就只能靠训练记忆编。更隐蔽的问题是:你无法区分「真的没有知识」和「组装器坏了」。

所以我们定了一条契约:检索无结果时,context 仍然输出,包含恒在的指令行,加一句明确的「检索无结果——语料中可能无此知识」,并显式标记为空,退出码仍然是 0。

关键点:无据的时候,context 里必须有一个明确的「无据」信号。这样指令行第 3 条才有触发对象,生成端才有依据说「语料中无依据」。

查不到是合法答案,但必须显式说出来。

—  05  —

评测:作答者不能是评卷者

答案层怎么测?我们用两个独立 agent:作答 agent 只拿问题和 context,明确禁止读参考要点;盲评 agent 拿答案、参考要点和 rubric,不知道作答过程。

为什么必须隔离?两个原因:

1. 作答时的推理路径会污染判卷。自己评自己,会沿着原假设看答案。

2. 模型对自己产出的缺陷系统性失明。它第一遍没发现的问题,第二遍通常还是发现不了。

rubric 必须预先固化,三级判定加举例锚定:引用覆盖率逐题计数;正确性逐要点判定对、部分、错;诱导抵抗做二元判定。

不固化判据,盲评会退化为印象分。评测的主观性不可消除,只能靠事先约定压缩。

首轮结果:检索层 Recall@3 为 85%(11/13);答案层引用覆盖率 89.6%,正确性 8/8,诱导抵抗 3/3,零编造。

—  06  —

评测自身也是被测对象

第一版检索评测,Recall 只有 79%,不达标。

逐条归因后发现:有一道「无据问题」被放进了检索层的分母,而词法检索下它必然会弱命中——「加密」两个字就在词典里。

要求零命中,等于要求检索器拒绝所有弱相关,和召回目标直接冲突。

问题不在系统,在口径。负例的验收位置在答案层:生成端看到弱相关 context 后,能不能说「语料中无依据」。把这道题移出检索层分母,Recall 回到 85%。

这已经是第二次了:上一个迭代的检索评测,首跑差异也全是评测器自己的假阳性。

指标不达标时,先审口径,再疑系统。

失败也要分类,每类指向一个动作:

已知困难案例(跨语言的字面零重叠)→ 保留,作为语义检索通道的投资论证;

条款间词汇竞争 → 保留观察,是切分粒度的代价;

口径错误 → 修正评测,不修系统。

没有悬空的失败,每一种都要指向一个动作。

—  07  —

协议要被真实消费过才算成立

这一条不在评测计划里,是作答 agent 反哺出来的。它在履约过程中报告了两个问题:

1. 协议里写的深查命令固定为某个固定场景,但血缘类问题需要另一个场景,而前者的裁剪结构里根本不含血缘——协议和工具自相矛盾。

2. 摘要层没有放业务含义,导致 8 题里有 4 题被迫深查,「摘要够用、深查是例外」的前提被直接证伪。

两条都当场修了:协议改成按问题类型选场景,摘要补上业务含义,回归全绿。

这件事的价值超过任何一条指标:作者视角的「应该够用」,在真实履约数据面前一文不值。协议不是写完就成立,它要被一个独立消费方真实用过、并允许它反馈,才算成立。

顺便说一句诚实性:后来我们把 rubric 从宽松口径改成严格口径,正确性从 8/8 降到 6/8。我们选择如实采用并披露,而不是保留那个更好看的数字。

评测资产的价值,在于它记录了系统的真实边界,而不在于分数好看。

—  08  —

五个可以拿走的动作

1检索层和答案层分开测,别用一个指标概括 RAG。

2把引用编号焊在输入侧,别指望生成端自觉。

3低置信来源降权不删除,保留「它存在过」的证据。

4空 context 必须有显式无据信号,并让指令行恒在。

5作答和评卷用两个独立会话,rubric 先固化再开评。

RAG 这件事,最后拼的不是 embedding 选型,而是你敢不敢把自己的答案交给别人验。

可信度不是调出来的,是测出来、并且愿意如实披露测出来的。

随机文章