RAGAS 评测清单:4 个指标测 RAG 家底,防
评测 RAG 系统,最怕把检索和生成的锅混着算。召回率只有 40%,你花两周死磕提示词,最后发现调了个寂寞。
先看回答里有没有知识库外的信息,多半是生成层幻觉;再看是不是漏了明明有的内容,多半是检索层没捞出来。定位到层,指标才有意义。
检索层就看三件事:前 K 个候选里捞没捞到正确答案、第一个排第几、整体排序好不好。生成层重点盯忠实性,答案里的每句话都得能在材料里找到依据,这是防幻觉的命门。
实操就五步:攒 30 到 50 条真实问题当测试集,跑出检索和生成的基线分数。分数低就去查分块、向量库或者提示词,改完必须重跑同一批题做回归对比。
拿客服知识库举例,原来上下文召回率才 0.62,命中率 0.68。后来把分块改成 512 token 加 15% 重叠,命中率直接拉到了 0.75 以上。
大模型当裁判虽然方便,但容易有自恋偏差,关键结论最好人工复核 20 到 30 条。
原文RAGAS 评测清单:4 个指标测 RAG 家底,防幻觉一测就现形