PAPER NOTES · 论文深读 · 2026.10.18
不训练新模型,视频补线索让七项评测均提升 · 从论文到工程系统的拆解笔记
做多图问答的开发者,常遇到一个难题:图片拍到了起点和终点,却没拍到中间怎么动;看得到眼前场景,却不知道机器人站到另一边会看到什么。CoWorld Reasoner 的办法,是按问题生成视频,补充推理线索,再结合原图回答。
不想通读全文的话,结论和判断都在文末,拉到最下面就行。
作者报告,最强配置在七项基准上都超过同一模型直接作答。但先记住边界:生成视频是待检验的假设,不是真实观测。
本文依据论文 v1,标注日期为2026年10月15日,PDF页眉另标10月14日。下文是作者公布结果,不是千哥AI实测;论文转引的第三方成绩,也不是对本方法的独立验证。
CoWorld Reasoner: Agentic Multimodal Reasoning with the Evolving Video World Model-Driven Harness 首页截图|来源:https://arxiv.org/abs/2610.21910|截图日期:2026-10-18视觉语言模型,就是能看图回答问题的模型;视频世界模型,则根据图像和要求生成变化过程。作者让两者协作,不训练新模型,而是改进“什么时候生成、生成什么、怎么看结果”。
论文用四类操作解释这种分工:
•换视角:从机器人位置看,红锥在蓝方块哪边?
•补中间过程:已知转动前后,红色尖端途中是否经过黄色物体?
•延续运动:继续直行,会先碰到哪个物体?
•改变条件再推演:移走支撑物后,另一个物体会不会倒?
这些是论文示意,不是试用记录。关键不在于“多生成一段视频”,而在于先找信息缺口:另一侧视角和干预后的结果,需要不同请求。
不只调用视频模型,还要约束它怎么生成
SECTION
作者搭了一套运行框架,连接工具、技能、核验器和执行代码。
工具调用视频模型;技能是可复用的操作指引,教答题模型选择操作、组织请求、解释结果。请求要说明源图及顺序、希望发生的变化,以及必须保留的条件。例如切换视角时,物体不能顺便换位置,还要按题目指定的参照判断左右。
核验器描述生成视频中的事件、异常和不确定性;执行代码协调调用、保存历史。能直接回答时,可以跳过生成。核验器只看生成视频,不等于核实了真实物理过程。
这套框架分四步运行:判断生成能否帮忙;构造请求或跳过;解释视频;整合原图与生成线索回答。
开发期间,监督者根据执行记录、阶段指标和可获得的答案评分,修改工具、技能、核验指令及代码。每阶段的候选方案从相同传入历史重跑,再选择方案交给下一阶段。
作者运行3轮演化,每阶段最多修改5次,允许提前停止;测试时固定最终框架。两个模型权重始终不变,但仍需反复调用和评审,不训练不等于零成本。
评估效果对比:七项都涨,收益并不平均
EVALUATION
开发集共120题,来自MMSI、Spin、CausalSpatial、PerceptionBench,各30题,测试排除这些题。
主配置使用gpt-5.6-luna和FAL上的MiniMax H3 Max Turbo图生视频接口。答题、监督和外部评分使用同一GPT-5.6部署,但上下文独立。生成视频为5秒、480P,答题模型取9帧辅助推理。
以下为论文表1准确率,单位为%。SpatiaLab分两种答题格式,因此七项基准对应八行结果。
MMSI增加4.54个百分点,ERQA增加6.75个百分点;摘要中的11.8%和13.0%是相对提升。总体增加1.40个百分点,CausalSpatial仅增加0.07个百分点,不能概括成全面大幅增强。
平均值按评估项数量加权。SAT的300项来自150题的两种选项排列;SpatiaLab两种格式共用1400道问题,不能都视为独立问题。部分开放答案由GPT-5.6评分,也不等于人工复核。
完整方案在五项基准上胜过全部五个同骨干演化基线,但这些基线没有视频工具。主表因此不能单独证明“共同演化”环节的独立优势。
作者关闭视频工具和核验器,保留演化后的技能与四阶段流程。这个对照衡量的是视频工具加核验器的增量,不是视频单独的贡献。
我认为,对比消融结果,这更支持“按需补过程”,而非给所有视觉问答默认加视频:遮挡和碰撞获益,SAT视角判断不靠视频也能改善,文字识别加视频反而下降。
生成器也影响结果。换成LTX-2.3后总体仍有改善,但CausalSpatial低于直接推理。迁移到Grok-4.5时,作者又做了一轮演化,加权准确率从32.86%升至39.78%,SAT仍略降。这说明流程可以继续适配,不代表换模型即可直接使用。
本文未核验完整成本、延迟和统计显著性信息,不能据此断言论文没有提供。
对空间、运动和干预推理任务,可以固定模型、输入和评分标准,对比三组:
1.直接回答。
2.保留技能和分阶段流程,关闭视频与核验。
3.启用完整方案。
前两组看流程收益,后两组看视频与核验的增量。开发题和测试题分开;生成请求只描述变化,不预先指定答案。逐题记录生成异常、修复的旧错误、新增错误,以及延迟、调用次数和费用。
这是千哥AI依据论文提出的验证路径,不是已执行实验,也不是论文成本结果。
这篇论文值得带走的,不是“视频能让AI更聪明”,而是一个有边界的解法:原图缺少过程时,先明确缺什么,再选择生成操作,最后用对照决定是否保留。它满足的是补充推理线索的需求,而不是多生成一段看起来可信的视频。
论文:CoWorld Reasoner
项目页:https://modalitydance.github.io/CoWorld-Reasoner
建议把「千哥AI」设为星标(⭐️)。
我是千哥,持续分享 AI 工程化观察与干货,这里记录从论文、开源项目到工程系统的拆解。
如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。