Jev‑ToM评测:类型化决策模型,在心智理论
以前测心智理论,基本只盯着生成式大模型。Jev‑ToM 这套新框架,把类型化决策模型也拉进来比了。
它专门做有限候选判断:给上下文和选项,直接输出选择、概率和分数。不用长篇生成,胜在低延迟、低成本。这次一口气测了 5 个决策模型和 7 个大模型,用的是 9 套公开数据集、11117 道英文题。
结果最猛的 Jev‑1.13,综合准确率 73.2%,排第一。但它不是全能——情绪和社会语用接近九成,信念推理却只有 68.4%。总榜第一,不等于你业务里每项都强。
更扎心的是工程坑。同一个 0.9 置信度阈值,换个任务错误率能从 0 飙到 34.9%。附加理由也一样,好理由能救答案,烂理由能把原本对的带偏。交叉配对实验里,修复约 7 个百分点,损伤也到 7.1 个,净收益几乎归零。
好在它确实便宜快:每千次请求只要 0.03 美元左右,平均响应 282 毫秒。但别被结构化输出骗了——生产上线前,任务级校准和格式校验都得重做。
原文Jev‑ToM评测:类型化决策模型,在心智理论任务上表现如何