准确率 0.82
三个工具
三个分
RAG 评测 · 先定标准再选工具
你们那套 RAG 上线前跑过评测吗？我猜跑过，也猜那个数在 0.8 上下：几百条问答对跑出一个 0.82，截图进周报，然后就没有然后了。
问题出在这个数身上——它是谁定义的？同样是「答对」，做检索的、做生成的、做工具调用的，量的是三件事。三个开源框架跑同一段回答，分数能差出 0.2，谁都没坏。文中不含本站自测，指标取自公开文档，版本与许可按 2026 年第三方横评记录。
三把尺子，量的是三件事
THREE RULERS, THREE THINGS
RAGAS 最贴检索，把 RAG 拆成两半：检索侧管召回得准不准，生成侧管答案有没有出处，另有一个噪声敏感度指标。许可 Apache-2.0，2026 年 1 月记到 0.4.3 版。
TruLens 把评测挂在每一步上，官方那套叫 RAG Triad，每次检索和每次工具调用都能单独打分。许可 MIT，Snowflake 维护，记到 2.8.1 版。
DeepEval 的指标名与 RAGAS 很像，差别是写成单元测试，一条命令就能让不合格的分数卡住合并请求；工具调用那套它备得齐。许可 Apache-2.0，2026 年 10 月记到 4.3.1 版。
许可信息取自各项目仓库与第三方横评记录（2026 年口径），版本迭代较快，接入前以仓库为准；指标的中英文名以各项目文档为准。
分数为什么分家
WHY THE SCORES SPLIT
举个具体的。一个问题，模型先查文档、再调一个员工档案接口、最后拼答案。RAGAS 看召回够不够；TruLens 把三步分别打分；DeepEval 还追问工具和参数对不对。
同一段轨迹，三种问法，三个分。第三方横评的经验是：只考检索的题三家差距在正负 0.05 以内，混合类才真正拉开。所以「换个框架分数掉了」多数不是模型退步，是尺子换了。
秤换了，菜没变。要命的是你拿两个读数去比。
更隐蔽的坑在许可上。Arize Phoenix 常被列进「开源评测工具」，但它用的是 Elastic License 2.0，源码可见、可自托管，不是 OSI 认定的开源。自己试验没人管，写进采购单让法务过一遍时会被单独拎出来。
先定标准，再挑工具
STANDARD FIRST, TOOL SECOND
顺序别反。先回答「什么叫答对」，再决定用哪把尺。
建金标集。从脱敏真实提问里抽两百到五百条，按来源打标签，混进几类难对付的：文档里没答案的、要跨两份文件才能答的、附近有相似干扰的。定下来就冻结，换代只换模型不换题。
检索和生成分开跑。召回的 hit rate 与 MRR 不用大模型裁判，几乎不花钱，却能在裁判开口前抓出索引和切分的问题。很多「答案不准」查到最后是切分切坏了。
阈值先写死再跑。第三方横评给的参考线是忠实度 0.85、工具选择准确率 0.95。别往上加，裁判本身有噪声，定得比噪声还窄，跑十次挂八次，大家就学会绕开它。
还有一条：别让生成答案的模型自己打分。同模型自评会偏自己，这是被反复记录的偏差。裁判换个模型家族，尺度用二值或短序数，别用十分制。
选工具按缺什么挑：分不清检索还是生成出问题，用 RAGAS；要把评测卡进合并请求，用 DeepEval；连哪一步出错都不知道，再用 TruLens。
这类账在谁手上
这类活我们在接入环节常碰到：不缺工具，缺一套能落进流程的验收标准。我们通常帮着做三件事：把真实提问抽成金标集，给检索和生成各定一条阈值，再把评测挂进发布流程。你们要是也在跑 RAG 却说不清那句「准确率 0.8」怎么来的，把评测脚本和一批脱敏提问发过来，我们对一遍就知道该补哪段。
卓然手记
评测工具不产生判断，只把判断变成可重复的数字。先有标准再谈工具，顺序反了就是给自己造一个好看的数。想要金标集模板和阈值表，在公众号对话框回复【工具】。文末「阅读原文」里是一份接入检查清单。
本文不含本站自测，未在任何厂商 API 上跑过评测。指标名称与许可信息取自各项目公开文档与 2026 年第三方横评文章，版本号（RAGAS 0.4.3、TruLens 2.8.1、DeepEval 4.3.1）为第三方文章记录口径，未直接打开仓库核对。忠实度 0.85、工具选择 0.95 两条线同样出自第三方横评的实践建议，非厂商官方标准。文中不涉及任何厂商排名或强弱结论。
