厂商自测、学术基准与三大悖论,法律AI评测榜单到底该信谁?
- 更新时间 2026-11-10 11:31:53
【法律 AI 评测赛道观察系列 · 02】
GPT-4 通过律师资格考试后，法律行业试用了两年 AI，考试分数和真实工作能力之间有一条巨大的鸿沟。于是，一批专门针对法律 AI 的评测基准在过去两年间集中涌现，想回答“这些工具到底行不行”。
但新问题也跟着来了，这些评测本身可不可信？市面上已经有数十个法律 AI 榜单，有的由厂商自己跑，有的由学术机构设计，有的由独立第三方运营。它们给出的分数经常互相矛盾，有时同一个产品在不同榜单上的排名差距悬殊。看似客观的数字背后，藏着利益博弈、方法论分歧和认知盲区。
评测圈的四大派系
第一派，学术基准（测推理）。由高校和研究机构开发。代表是斯坦福大学的 LegalBench（162个子任务）和幻觉基准。独立性最高，没有利益冲突。但局限在于，测试的是“原子化的推理能力”。测试一个人“加减乘除算得快不快”，跟让他做一道复杂的应用题，是两回事。
第二派，独立第三方基准（测体验）。由非厂商的独立机构运行，目前行业最信赖的信息来源。代表如 Vals AI 的产品对比报告和智能体评测，以及由数百名执业律师参与、明确拒绝厂商赞助的独立合同评测机构。核心价值在于把各家产品放在同一个测试台上，引入真人律师作为基线对照。
第三派，厂商自测基准（带私货）。法律 AI 公司自己出卷子、自己判卷子。比如某合规平台自建综合评测把自己排第一，某法律 AI 公司用企业法务任务设计榜单，同样把自己排第一。厂商太需要一个数字，来向客户证明“我比同行强”。排名不可信，但侧面说明评测已成为市场竞争的标尺。
第四派，行业横评与调查。不严格属于“打分”，但对理解市场全貌必不可少。比如汤森路透发布的产品对比指南（自家产品是主角），或者头部公司针对全球顶尖律所 AI 使用现状的问卷摸底。这类信息水分需要挤，但能看出行业冷暖。
评测画出的真实边界，三大悖论
把这些评测的数据放在一起，抛开各自为战的榜单，会发现三个极度反直觉的悖论。
悖论一，最强的大模型，比包装好的法律专业产品还厉害？在某厂商的综合评测中，纯大模型（没有任何法律产品包装）的得分，居然超越了市面上多款法律专用产品。但在另一家独立第三方的产品评测中，专业产品却大幅领先通用模型。原因留到第三篇详细拆解，这里先说结论，测试“裸模型”和测试“产品”，考的不是同一张卷子。
悖论二，没有检索的 AI 全在瞎编，但商业平台的检索居然打不过自建？所有评测一致显示，有没有“检索增强生成（RAG，即让 AI 先去翻资料再回答）”是生与死的区别。有检索和没检索之间，正确率差距达60个百分点（第四篇会给出完整数据）。但令人意外的是，一些顶级商业法律数据库平台的检索准确率，居然打不过某些机构自己动手搭建的定制化检索系统。传统巨头靠历史积累的数据库壁垒，在 AI 时代的检索能力上，正面临严峻的技术挑战。
悖论三，考高分和能干活，完全是两码事。在早期的学术答题基准上，AI 的准确率可达85%以上。但当评测升级为“智能体”，要求 AI 像初级律师一样阅读卷宗、检索判例、写出完整文书时，最强模型的任务通过率骤降到了不到30%。如果在评测中加入极其严苛的“幻觉门控”（只要出现一个实质性错误，整个任务零分），通过率甚至会跌到约13%。行业之前高估了 AI“答题”的能力，低估了 AI“干完整活儿”的难度。
评测的“元问题”
学界有一篇著名的论文叫《法律 AI 评测没有万能解》。核心逻辑是，法律 AI 无法像数学那样搞自动化验证，任何榜单都存在固有缺陷。这种缺陷主要体现在三层困境。第一层是任务偏差，榜单测量的往往是“可被标准化的法律任务”，而律师工作中最难标准化的部分，客户沟通、谈判策略、临场判断，几乎不会出现在基准中。第二层是评分局限，现在流行用“大模型当裁判”来给 AI 打分，但裁判模型本身也会出错。第三层是时效困境，模型每个月都在更新，法律条文每年都在变更。一个榜单发布时，它测试的模型可能已经过时了。
评测画出的线绝不完美。但它比“什么都能干”的自大，和“什么都干不了”的恐慌，都更接近真相。
