AI 数据底座 · 第 3 篇 · 可信RAG 的可信度不是调出来的,是测出来的。这篇拆开两层评测:检索层看 Recall@3,答案层用双 agent 隔离盲评看引用覆盖与诱导抵抗;也记录了几个边界——结构能保证引用映射存在,不能保证每一句都用;指标不达标时,先审口径,再疑系统。
RAG 项目最容易陷入一个循环:效果不好,换 embedding;还是不好,改 chunk;再不好,调 topK;感觉好点了,上线;用户说「它在胡说」,回到第一步。
问题不在于你调得不够,而在于「感觉好点了」不是证据。
这篇讲我们怎么把「感觉」变成数字:两层评测、一条隔离纪律,以及几个反直觉的边界。
85%检索层Recall@389.6%答案层引用覆盖率3/3诱导问题全部抵抗
— 01 —
RAG 的好坏是两个正交问题
大部分人把 RAG 当成一个整体来调,但它其实是两个问题:
检索找没找对:给定问题,该被引用的知识有没有进 top-K。这个可以自动测,Recall@3 就够了。
答案说得对不对、有没有据:拿到 context 之后,论断是否可回查、是否编造。这个必须判卷。
单层评测必然漏:检索满分而答案编造,或答案流畅而检索全错,任何一种都能骗过单一指标。
— 02 —
grounding 是结构保证,不是模型自觉
RAG 和裸 LLM 的本质差异只有一点:每条论断能不能回查到来源。
很多团队把这件事寄托在 Prompt 上——「请引用来源」「不要编造」。这不可靠,因为它是生成端的自觉。
我们的做法是把 grounding 焊死在输入侧:组装器在生成 context 的那一刻,就给每条来源编上号 [n],并维护编号到语料原文的映射。
指令行恒在:1. 每条论断必须标注来源编号;2. 低置信来源必须转述警示;3. 无据可依时,回答「语料中无依据」,不得编造。
这样,生成端换成任何模型,只要遵守契约,溯源依然成立。这也是为什么 RAG 的工程重心在检索侧,不在生成侧。
但实测暴露了边界:8 题抽样里,有两题的结论句漏了编号(「只能给候选」「与规范相反」)。引用映射是结构焊死的,可「这句话要不要标号」是语言行为,结构管不到。
结构能保证映射存在,不能保证每一句都用。这正是答案层评测必须存在的理由。
— 03 —
不删除,只降权
检索出来的来源质量参差:规范文档是团队裁决产物,默认权威;有的表卡置信度 0.9;有的是存根卡,只有表名。
一个自然的想法是:低置信的直接删掉,别污染 context。我们没这么做。
理由是:降权可见,删除不可见。删掉之后,生成端不知道「曾经有一张存根卡存在过」,可能把「语料里没有这张表」当成事实回答。保留并标注,生成端和读者自己取舍。
这条原则在项目里出现了三次:围栏对未知资产的读路径只 REVIEW 不 BLOCK,检索对存根卡照常入语料,组装对低置信来源只降权不删除。
背后是同一个判断:系统的每一层,都不替下一层做决策。
— 04 —
空 context 契约:查不到是合法答案
检索没有结果时,最差的做法是输出空。
空输出会让生成端自由发挥——没有任何约束附着,它就只能靠训练记忆编。更隐蔽的问题是:你无法区分「真的没有知识」和「组装器坏了」。
所以我们定了一条契约:检索无结果时,context 仍然输出,包含恒在的指令行,加一句明确的「检索无结果——语料中可能无此知识」,并显式标记为空,退出码仍然是 0。
关键点:无据的时候,context 里必须有一个明确的「无据」信号。这样指令行第 3 条才有触发对象,生成端才有依据说「语料中无依据」。
查不到是合法答案,但必须显式说出来。
— 05 —
评测:作答者不能是评卷者
答案层怎么测?我们用两个独立 agent:作答 agent 只拿问题和 context,明确禁止读参考要点;盲评 agent 拿答案、参考要点和 rubric,不知道作答过程。
为什么必须隔离?两个原因:
1. 作答时的推理路径会污染判卷。自己评自己,会沿着原假设看答案。
2. 模型对自己产出的缺陷系统性失明。它第一遍没发现的问题,第二遍通常还是发现不了。
rubric 必须预先固化,三级判定加举例锚定:引用覆盖率逐题计数;正确性逐要点判定对、部分、错;诱导抵抗做二元判定。
不固化判据,盲评会退化为印象分。评测的主观性不可消除,只能靠事先约定压缩。
首轮结果:检索层 Recall@3 为 85%(11/13);答案层引用覆盖率 89.6%,正确性 8/8,诱导抵抗 3/3,零编造。
— 06 —
评测自身也是被测对象
第一版检索评测,Recall 只有 79%,不达标。
逐条归因后发现:有一道「无据问题」被放进了检索层的分母,而词法检索下它必然会弱命中——「加密」两个字就在词典里。
要求零命中,等于要求检索器拒绝所有弱相关,和召回目标直接冲突。
问题不在系统,在口径。负例的验收位置在答案层:生成端看到弱相关 context 后,能不能说「语料中无依据」。把这道题移出检索层分母,Recall 回到 85%。
这已经是第二次了:上一个迭代的检索评测,首跑差异也全是评测器自己的假阳性。
指标不达标时,先审口径,再疑系统。
失败也要分类,每类指向一个动作:
已知困难案例(跨语言的字面零重叠)→ 保留,作为语义检索通道的投资论证;
条款间词汇竞争 → 保留观察,是切分粒度的代价;
口径错误 → 修正评测,不修系统。
没有悬空的失败,每一种都要指向一个动作。
— 07 —
协议要被真实消费过才算成立
这一条不在评测计划里,是作答 agent 反哺出来的。它在履约过程中报告了两个问题:
1. 协议里写的深查命令固定为某个固定场景,但血缘类问题需要另一个场景,而前者的裁剪结构里根本不含血缘——协议和工具自相矛盾。
2. 摘要层没有放业务含义,导致 8 题里有 4 题被迫深查,「摘要够用、深查是例外」的前提被直接证伪。
两条都当场修了:协议改成按问题类型选场景,摘要补上业务含义,回归全绿。
这件事的价值超过任何一条指标:作者视角的「应该够用」,在真实履约数据面前一文不值。协议不是写完就成立,它要被一个独立消费方真实用过、并允许它反馈,才算成立。
顺便说一句诚实性:后来我们把 rubric 从宽松口径改成严格口径,正确性从 8/8 降到 6/8。我们选择如实采用并披露,而不是保留那个更好看的数字。
评测资产的价值,在于它记录了系统的真实边界,而不在于分数好看。
— 08 —
五个可以拿走的动作
1检索层和答案层分开测,别用一个指标概括 RAG。
2把引用编号焊在输入侧,别指望生成端自觉。
3低置信来源降权不删除,保留「它存在过」的证据。
4空 context 必须有显式无据信号,并让指令行恒在。
5作答和评卷用两个独立会话,rubric 先固化再开评。
RAG 这件事,最后拼的不是 embedding 选型,而是你敢不敢把自己的答案交给别人验。
可信度不是调出来的,是测出来、并且愿意如实披露测出来的。