当前位置:首页>排行榜>不训练新模型,视频补线索让七项评测均提升

不训练新模型,视频补线索让七项评测均提升

  • 更新时间 2026-10-20 03:41:41
不训练新模型,视频补线索让七项评测均提升

PAPER NOTES · 论文深读  ·  2026.10.18

不训练新模型,视频补线索让七项评测均提升 · 从论文到工程系统的拆解笔记

做多图问答的开发者,常遇到一个难题:图片拍到了起点和终点,却没拍到中间怎么动;看得到眼前场景,却不知道机器人站到另一边会看到什么。CoWorld Reasoner 的办法,是按问题生成视频,补充推理线索,再结合原图回答。

不想通读全文的话,结论和判断都在文末,拉到最下面就行。

作者报告,最强配置在七项基准上都超过同一模型直接作答。但先记住边界:生成视频是待检验的假设,不是真实观测。

本文依据论文 v1,标注日期为2026年10月15日,PDF页眉另标10月14日。下文是作者公布结果,不是千哥AI实测;论文转引的第三方成绩,也不是对本方法的独立验证。

CoWorld Reasoner: Agentic Multimodal Reasoning with the Evolving Video World Model-Driven Harness 首页截图|来源:https://arxiv.org/abs/2610.21910|截图日期:2026-10-18

01

PART

缺的是视角,还是没拍到的过程?

SECTION

视觉语言模型,就是能看图回答问题的模型;视频世界模型,则根据图像和要求生成变化过程。作者让两者协作,不训练新模型,而是改进“什么时候生成、生成什么、怎么看结果”。

论文用四类操作解释这种分工:

•换视角:从机器人位置看,红锥在蓝方块哪边?

•补中间过程:已知转动前后,红色尖端途中是否经过黄色物体?

•延续运动:继续直行,会先碰到哪个物体?

•改变条件再推演:移走支撑物后,另一个物体会不会倒?

这些是论文示意,不是试用记录。关键不在于“多生成一段视频”,而在于先找信息缺口:另一侧视角和干预后的结果,需要不同请求。

02

PART

不只调用视频模型,还要约束它怎么生成

SECTION

作者搭了一套运行框架,连接工具、技能、核验器和执行代码。

工具调用视频模型;技能是可复用的操作指引,教答题模型选择操作、组织请求、解释结果。请求要说明源图及顺序、希望发生的变化,以及必须保留的条件。例如切换视角时,物体不能顺便换位置,还要按题目指定的参照判断左右。

核验器描述生成视频中的事件、异常和不确定性;执行代码协调调用、保存历史。能直接回答时,可以跳过生成。核验器只看生成视频,不等于核实了真实物理过程。

这套框架分四步运行:判断生成能否帮忙;构造请求或跳过;解释视频;整合原图与生成线索回答。

开发期间,监督者根据执行记录、阶段指标和可获得的答案评分,修改工具、技能、核验指令及代码。每阶段的候选方案从相同传入历史重跑,再选择方案交给下一阶段。

作者运行3轮演化,每阶段最多修改5次,允许提前停止;测试时固定最终框架。两个模型权重始终不变,但仍需反复调用和评审,不训练不等于零成本。

03

PART

评估效果对比:七项都涨,收益并不平均

EVALUATION

开发集共120题,来自MMSI、Spin、CausalSpatial、PerceptionBench,各30题,测试排除这些题。

主配置使用gpt-5.6-luna和FAL上的MiniMax H3 Max Turbo图生视频接口。答题、监督和外部评分使用同一GPT-5.6部署,但上下文独立。生成视频为5秒、480P,答题模型取9帧辅助推理。

以下为论文表1准确率,单位为%。SpatiaLab分两种答题格式,因此七项基准对应八行结果。

评估项目
直接推理
完整方案
MMSI
38.35
42.89
SAT
88.33
89.67
Spin
82.24
83.76
SpatiaLab选择题
56.64
57.36
SpatiaLab开放题
36.21
37.64
ERQA
51.75
58.50
CausalSpatial
60.72
60.79
PerceptionBench
50.84
51.35
加权平均
58.29
59.69

MMSI增加4.54个百分点,ERQA增加6.75个百分点;摘要中的11.8%和13.0%是相对提升。总体增加1.40个百分点,CausalSpatial仅增加0.07个百分点,不能概括成全面大幅增强。

平均值按评估项数量加权。SAT的300项来自150题的两种选项排列;SpatiaLab两种格式共用1400道问题,不能都视为独立问题。部分开放答案由GPT-5.6评分,也不等于人工复核。

完整方案在五项基准上胜过全部五个同骨干演化基线,但这些基线没有视频工具。主表因此不能单独证明“共同演化”环节的独立优势。

04

PART

去掉视频后,哪些收益还在?

SECTION

作者关闭视频工具和核验器,保留演化后的技能与四阶段流程。这个对照衡量的是视频工具加核验器的增量,不是视频单独的贡献。

子任务
完整方案相对无视频方案的变化
CausalSpatial遮挡
+5.36个百分点
CausalSpatial碰撞
+2.55个百分点
SAT视角判断
0.00个百分点
文字识别
−1.18个百分点

我认为,对比消融结果,这更支持“按需补过程”,而非给所有视觉问答默认加视频:遮挡和碰撞获益,SAT视角判断不靠视频也能改善,文字识别加视频反而下降。

生成器也影响结果。换成LTX-2.3后总体仍有改善,但CausalSpatial低于直接推理。迁移到Grok-4.5时,作者又做了一轮演化,加权准确率从32.86%升至39.78%,SAT仍略降。这说明流程可以继续适配,不代表换模型即可直接使用。

本文未核验完整成本、延迟和统计显著性信息,不能据此断言论文没有提供。

05

PART

开发者怎么判断,值不值得加这一步?

SECTION

对空间、运动和干预推理任务,可以固定模型、输入和评分标准,对比三组:

1.直接回答。

2.保留技能和分阶段流程,关闭视频与核验。

3.启用完整方案。

前两组看流程收益,后两组看视频与核验的增量。开发题和测试题分开;生成请求只描述变化,不预先指定答案。逐题记录生成异常、修复的旧错误、新增错误,以及延迟、调用次数和费用。

这是千哥AI依据论文提出的验证路径,不是已执行实验,也不是论文成本结果。

这篇论文值得带走的,不是“视频能让AI更聪明”,而是一个有边界的解法:原图缺少过程时,先明确缺什么,再选择生成操作,最后用对照决定是否保留。它满足的是补充推理线索的需求,而不是多生成一段看起来可信的视频。

论文:CoWorld Reasoner

项目页:https://modalitydance.github.io/CoWorld-Reasoner

建议把「千哥AI」设为星标(⭐️)。

我是千哥,持续分享 AI 工程化观察与干货,这里记录从论文、开源项目到工程系统的拆解。

如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。

随机文章