腾讯 Hy4 的独立评测成绩:35 分,但"不知
腾讯 Hy4 正式版一发布,成绩就摆在那儿:AA 智能指数 35 分,国内实验室第二;单任务成本 0.78 美元,比 Grok 4.7 便宜十倍。
可同一套评测里,它准确率 50%,幻觉率却飙到 89%。不是每答十题错八道——而是它真不知道答案时,十次里有八九次会编一个出来。
这俩数字分母根本不一样。准确率看全部题目,幻觉率只看它不会的那些题。所以它能"知道不少",也能"瞎编很自信"。
放到业务里,问题就出来了。写代码错了测试会红,知识问答错了却像真的。尤其输出直接进生产、当事实引用、进合规材料时,一次编造的代价远超省下的 token 费。
想测清楚,光看排行榜不够。抽真实问题人工核,建标准答案库自动比对,再故意塞不存在的订单号和产品型号,看它是说查不到还是张口就来。
验收线也得提前画死,比如"本该不知道的题,编造率低于 2%"。最扎心的是:模型能力在涨,可它"知道自己不知道"这件事,还没跟上。
原文腾讯 Hy4 的独立评测成绩:35 分,但"不知道就说不知道"的能力只有 11%