当前位置:首页>排行榜>Agent 评测、世界模型与扩散语言模型的最新研究进展

Agent 评测、世界模型与扩散语言模型的最新研究进展

  • 更新时间 2026-10-24 13:19:28
Agent 评测、世界模型与扩散语言模型的最新研究进展

涵盖 GUI Agent 安全验证、自主科研系统、LLM Agent benchmark、diffusion 语言模型效率、RAG 流水线评估与开源 MoE 模型

本期内容
  1. LGWM 在表征空间验证 GUI 转移
  2. GAFU 利用生成侧表征提升视觉理解
  3. SplatLab 实现 3DGS 自主科研
  4. SCOPE 将自然语言策略编译为谓词程序
  5. FRED 自蒸馏未来视频表征
  6. 学习式 unmasking policy 的对照研究
  7. ToM2Vec 用连续 token 建模伙伴心智
  8. Quant-Arena 评测 Agent 量化研究
  9. FrontierCS 2 评测 CS 研发 Agent
  10. Looped UDLM 降低训练 FLOPs
  11. RAG 技术组合增益不能简单叠加
  12. LM2LM 用 RL 训练 LLM 改进 LLM
  13. 研究显示 wait 标记主要来自训练数据
  14. Design Anything 外置设计意图提升可靠性
  15. IQuest-Q1 发布 320B 开源 MoE 模型
要闻
01

LGWM 在表征空间验证 GUI 转移

arXiv 论文 2610.11942 将 GUI Agent 的安全性定义为动作转移的属性,而非单个屏幕的属性:点击“Sign in”后出现登录页是正常的,点击“View order”后出现同一页面则说明转移被劫持,因此只看屏幕的监控器可被重放的合法屏幕绕过。作者提出 LGWM,一种无解码器、以动作为条件的世界模型,直接在观测编码空间预测下一屏幕的表征,在 185 万条真实 GUI 转移上无需语义标注训练,验证简化为预测表征与实际表征的向量比较。在 RSWT-BENCH 上(同一凭证屏幕同时出现在合法与被劫持转移中,仅看屏幕的检测器按构造等同随机),免训练评分达到 0.987 AUC,单次判断 17 ms,与最强闭源 VLM 相当,比生成式 GUI 世界模型高约 10 个 AUC 点,延迟低三个数量级以上。残差方向区分有害与无害违例的 AUC 为 0.953,而 prompt 驱动的 VLM 接近随机。论文由此提出世界模型除模拟与规划外的第三种角色:验证。

arxiv.org/abs/2610.11942

02

GAFU 利用生成侧表征提升视觉理解

该论文研究统一多模态模型(UMM)中生成通路的原生表征能否改善细粒度视觉理解。系统分析显示,生成侧表征对细粒度语义变化更敏感,能捕捉理解侧表征遗漏的任务相关变化,且这一优势依赖正确的空间组织。据此提出后训练框架 GAFU:把生成侧视觉表征压缩为紧凑的 G tokens 以保留细粒度细节,理解通路可按任务条件检索这些信息。与依赖生成式监督或显式生成图像的方法不同,GAFU 直接复用模型原生的生成侧表征,无需额外生成过程。在相同数据下,GAFU 在多种视觉理解任务和不同 UMM 架构上稳定优于 SFT 基线,在 VStar-Bench、OmniSpatial 和 VSR-Bench 上最大相对提升分别为 20.00%、17.94% 和 8.62%。这为 UMM 中生成与理解的协同提供了一条可落地的后训练路径。

↗ github.com/LRuca/GAFU

arxiv.org/abs/2610.23987

03

SplatLab 实现 3DGS 自主科研

SplatLab 是面向 3D Gaussian Splatting 的端到端自主科研系统,已被 NeurIPS 2026 接收。它可复现已发表基线、提出扩展、在 Mip-NeRF 360 和 LLFF 上训练与消融,并撰写论文,且每个报告数值都绑定到已记录的训练运行。设计包含五点:在经验证的复现骨干上以插件方式变异候选;在八个岛屿上用按级联加权的 Elo 锦标赛,依据实测 GPU PSNR 与文字梯度反馈排序;常驻证伪器在失败时扣减 Elo,使压力测试存活率进入选择;存在无依据结论时运行不得终止;七类 3DGS 分类法为 EVOLVE-BLOCK 提供可跨代码库迁移的脚手架。在以 PSNR 为目标的运行中,生成论文相对复现目标提升 +0.18 至 +3.78 dB,最大增益出现在尚无既有 3DGS 方法的天文星云渲染上。作者称研究周期从数月研究生工时缩短到数天、主要由算力自主完成。进化搜索加对抗证伪与强制可追溯的设计,针对的是研究 Agent 的可复现性与虚构结果问题。

arxiv.org/abs/2610.30468

04

SCOPE 将自然语言策略编译为谓词程序

SCOPE 面向 LLM Agent 的策略执行问题,即在多轮对话和工具调用轨迹上评估应用特定的复合策略。微调的 guardrail 模型效率高但在复合策略上退化,LLM-as-a-judge 更准确但成本高且预测不稳定。SCOPE 把自然语言策略编译为可执行程序,由小模型执行的神经谓词、确定性提取器和组合输出的代码构成;程序与训练数据联合优化,通过对抗式生成针对程序偏离策略之处的反例,使优化目标是策略本身而非固定数据集。在真实策略任务 benchmark 上,SCOPE 的平均准确率高于 prompt 优化、任务分解和 workflow 生成等基线。用最弱执行器优化的程序无需再优化即可迁移到其他模型,在廉价模型上达到与前沿推理模型相当的准确率。其预测比单体模型更稳定,每个判定都可追溯到产生它的谓词输出。该方法为生产级 Agent guardrail 提供了低成本、可解释的替代方案。

arxiv.org/abs/2610.31062

05

FRED 自蒸馏未来视频表征

FRED 是面向 World Action Models(WAM)的训练框架。WAM 基于预训练 video diffusion 模型的时空先验构建通用机器人策略,其中一类方法只取单步去噪得到的中间未来视频表征来条件化动作解码器,跳过完整视频生成的迭代去噪以提升 inference 效率,因此动作质量直接取决于这些单步表征的质量。FRED 通过自蒸馏改进它们:模型从噪声预测未来表征,目标为从真实未来观测中提取的表征;同时以历史观测作为时间上下文。在多种真实操作场景中,FRED 持续优于其他 WAM,在长时程任务和零样本环境泛化的域外任务上增益尤其明显。在人类到机器人的技能迁移上,对仅出现在人类视频、不在机器人训练数据中的任务,FRED 成功率达 50.0%,最佳对比 WAM 为 19.4%。该方法保留单步 WAM 的效率并提高表征质量,为利用大量人类视频扩展机器人学习提供了可行路径。

↗ github.com/suhyeok-jang/FRED/↗ huggingface.co/FRED-AGI-LAB/models

arxiv.org/abs/2610.30320

06

学习式 unmasking policy 的对照研究

该论文对 masked diffusion 语言模型中的学习式 unmasking policy 做了对照研究。这类模型并行解码 token,效率取决于每步提交哪些预测,而现有策略在监督信号、输入和容量上各不相同,难以判断哪些设计有效。作者把监督式策略视为通过教师蒸馏解码过程,分别消融教师标签、模仿状态、策略输入以及抵消策略开销所需的 NFE 降幅。主要发现:把“与最终输出一致”的预测标为可提交,在低 NFE 下过于宽松;hidden states 单独作用较弱,但可补充置信度信号;NFE 降低约 10% 即可抵消至 7.5M 参数策略的开销。据此,作者用只接受仍在参考轨迹上的提交的 trajectory-contraction 目标,结合置信度与 hidden states 训练出仅 856K 参数的策略。在 LLaDA-8B-Instruct 上,该策略在 GSM8K 取得最佳精度-NFE 前沿和最高吞吐,在 MATH-500 与 HumanEval 的中等目标下具竞争力,并可较好迁移到 Dream-7B-Instruct。

arxiv.org/abs/2610.31576

07

ToM2Vec 用连续 token 建模伙伴心智

ToM2Vec 让 LLM Agent 在连续潜空间中用固定数量的推理 token 形成对合作伙伴的抽象 theory-of-mind(ToM)表征,而不是用文本描述伙伴状态;文本表示通常只能描述单一状态,潜表征则可同时表达对伙伴多种可能状态的不确定性。训练时以伙伴的真实思考内容监督 ToM token,使其抽象并匹配这些内容;测试时各 Agent 自行生成 ToM token,并以此作为条件指导自身的思考与动作。在 Overcooked-AI、多方谈判、Decrypto、Hanabi、Collab Escape/Capture 等协作、竞争和混合动机环境中,ToM2Vec 持续优于基础模型及各类训练式、prompt 式基线。改用文本表达推理会使性能下降,说明潜空间推理是关键。训练可泛化到未见过的伙伴模型家族,包括专有模型 GPT-5.4。分析表明这些 token 编码的是通用 ToM 而非任务特定信息,并提升了 Agent 回答伙伴信念、意图和下一步动作的表现。

↗ github.com/nsivaku/tom2vec

arxiv.org/abs/2610.29934

08

Quant-Arena 评测 Agent 量化研究

Quant-Arena 是基于 A 股真实数据的 benchmark 与公开 leaderboard,评估 LLM Agent 能否完成量化研究的完整迭代闭环。模型从原始订单与逐笔成交记录构造特征和打分代码,仅在 2022–2023 年数据上获得反馈,随后冻结单一策略,在封存的 2024 年样本外数据上评估。现金账户评估器施加交易约束与成本,并用模拟订单簿估计市场冲击;得分以实现的超额收益为主,辅以信号质量和特征多样性。与只评测公式、代码正确性或单步交易决策的既有 benchmark 相比,它检验的是策略在研究期之外是否有效。九个前沿模型中 GPT-6 Astra 得分最高,但没有任何模型在 2024 年跑赢等权市场基准,显示 LLM 能力与稳健的样本外量化策略之间仍有明显差距。该 benchmark 接受任意模型或 Agent harness 提交。

arxiv.org/abs/2610.30113

09

FrontierCS 2 评测 CS 研发 Agent

FrontierCS 2 包含 48 个开放式任务,评估 LLM Agent 能否参与前沿计算机科学研发,覆盖机器学习系统、高性能计算、数据库、安全、机器人等 13 个领域,另有超过 100 个任务的私有集合待公布。每个任务取自一篇论文及其公开代码,删除论文的核心贡献部分,被删代码作为人类参考基线。与只给题面、运行结束后评测单个程序的 benchmark 不同,Agent 置身于带可运行仓库的研究环境,可随时提交补丁,评测器返回开发集分数,同时将评测器、留出的最终测试集和参考实现保密,最终提交在留出集上与参考比较。对 12 个 Agent 的评测中,最佳者 Claude Opus 5.5 通过 58% 的运行,16 个任务没有任何运行通过。分数更高并不等于通过:多数在综合最终分上超过参考的运行,仍在某些指标或负载上不达标。在统一能力尺度上,中位任务的难度大致相当于最强 Agent 的能力上限。

arxiv.org/abs/2610.29932

10

Looped UDLM 降低训练 FLOPs

该 arXiv 论文(cs.CL/cs.LG)研究在 Uniform Diffusion Language Models(UDLM)中引入选择性循环:在每个去噪步骤内递归复用少数早期 Transformer 层,训练目标和采样器保持不变。UDLM 需从可能已被破坏的上下文中去噪,训练 FLOPs 高于 masked diffusion 语言模型,但下游推理表现更强。循环显著提升训练效率:达到非循环模型在约 0.5 万亿 token 上训练的验证 NLL,所需训练 FLOPs 在 OpenWebText 上最多减少 2.8 倍,在 FineWeb-Edu 上减少 3.3 倍。在相同 NFE 预算下,生成困惑度最多降低 9.8%,大部分收益出现在中等循环次数。训练时更频繁地采样较小的循环次数,可在下游任务精度不下降的前提下比均匀采样少用 12% 的循环,从而提升 inference 效率。该工作为 diffusion 文本生成提供了计算高效的改进路径。

arxiv.org/abs/2610.30066

11

RAG 技术组合增益不能简单叠加

该论文检验单独有效的 RAG 技术在完整 pipeline 中组合后是否仍然有效。作者预先声明三个假设,并发布开源受控评估框架 LASAGNA,覆盖 embedding、分块、索引增强、检索、查询增强、重排序、上下文压缩和 agentic 质量门控等阶段,在八个 benchmark、5K 至 200K 文档规模的语料上测试了 450 种配置。结果显示:不同阶段的强技术不一定叠加,三种检索技术的预测合并增益为 +47%,实际仅 +17%;检索质量(NDCG@10)与回答忠实度(RAGAS)的增益叠加方式不同,优化一方可能损害另一方;最佳配置随语料规模变化,小规模下最优的组合在大规模下未必最优。作者认为孤立组件的增益不能可靠预测真实性能,建议在完整技术栈中验证新的 RAG 技术,LASAGNA 可作为可复用的评估 harness。

arxiv.org/abs/2610.29722

12

LM2LM 用 RL 训练 LLM 改进 LLM

LM2LM 是一个强化学习框架,训练 LLM 生成改进其他语言模型的有效方案,指向 AI 研究的递归自我改进。作者指出两个障碍:真实反馈成本极高(数万个方案,每个可能需约 10 GPU 小时的完整训练,总计数十万 GPU 小时);代理反馈在策略优化利用被高估方案、方案分布偏移时变得不可靠。LM2LM 以冻结的 LLM“研究世界模型”(RWM)作为 RL 奖励模型,RWM 以真实实验记录为上下文预测方案收益;框架还定期执行当前策略下排名靠前的方案,并将实测结果加入 RWM 上下文以校准奖励。在八个自回归与 diffusion 语言模型开发环境中,留出任务的真实执行评估显示,经 LM2LM 训练的 Qwen3.8-27B 优于 GPT-6-sol,即使后者上下文中含 300 条真实实验记录,同时数据生成成本降低 33%,并可泛化到训练中未见的模型家族。

arxiv.org/abs/2610.23344

13

研究显示 wait 标记主要来自训练数据

论文质疑“RL 教会推理模型在重新审视步骤前说 wait”这一常见说法,认为该标记主要继承自训练数据。作者基于采样输出,使用频率、位置、形式、用法等无标签指标和注入错误测试,追踪开源模型训练历史中该词的来源。结果显示 zero-RL 几乎不会自行产生该标记:在基座缺失该词时,RL 显著提升 MATH-500 准确率,wait 仍几乎不出现,说明大幅提升并不依赖它。该标记随训练数据进入模型,途径包括 OLMo-3 的 mid-training 和对推理轨迹的 fine-tuning。若基座已使用该词,OLMo-3、MiMo 两种已发布 RL-Zero 配方会使其倍增,同基座上无 KL 的 GRPO 则不会;OLMo-3 配方还会磨损其形式,使其成为更敏感但更宽松的错误警报;SFT 后再做 RL 变化很小。论文还指出标记频率不能证明 RL 诱发了推理,并提醒自动 LLM 裁判可能得出与人工标注相反的修正趋势。

arxiv.org/abs/2610.30882

14

Design Anything 外置设计意图提升可靠性

该 arXiv 论文(cs.CV)关注 agentic AI 在长周期设计项目中如何保持与设计意图一致,后期工作需跨领域建立在前期决策之上。Design Anything 是基于图的 harness,通过 intent-execution graph 把设计意图保存在模型之外,将交付物绑定到产生它们的 workflow 步骤;任务契约保留目标、约束和决策,选定的设计成为后续生成的显式输入,确定性控制器利用绑定和执行记录检查输出类型与数量、标出未完成交付物并引导后续轮次。作者同时发布 DesignAnything-Bench,含 19 个设计领域的 228 个任务,其中 38 个项目族规模为 6、14、24 个 artifact。固定 LLM 时,Design Anything 在 DeepSeek V4.1 Flash High 和 GPT-5.6 Sol High 上分别满足 85.0% 和 92.5% 的事实性约束,比最强同模型基线高 15.4% 和 14.4%,24-artifact 任务上增至 25.1% 和 23.0%。它在 19 个领域中的 18 个领先或持平,专业设计师盲评也更偏好其完整交付集。

arxiv.org/abs/2610.24771

15

IQuest-Q1 发布 320B 开源 MoE 模型

IQuest-Q1 是开源稀疏 MoE Agent 基础模型,总参数 320B、激活参数 15B,面向 agentic CLI 与编码系统。训练分三阶段:pre-training 结合 Stable SplitNorm、Muon 优化器与 μP,并采用两阶段课程,后期提高代码数据占比,作者称这使安全与最优学习率之间保持较宽的稳定裕度;mid-training 扩展跨领域、多格式数据并逐步延长 context window;后训练在多种 Agent scaffold 和多版本上结合 SFT、领域专用 RL 与 MOPD,以整合互补训练信号、增强 agentic 编码能力。随后通过模型合并整合不同专家和不同阶段的 checkpoint,并缓解参数更新之间的冲突。摘要称模型在编码与通用任务上表现良好,但未给出具体 benchmark 数值,其实际价值有待完整技术报告中的结果验证。该发布提供了涵盖稳定训练、多 scaffold 后训练与模型合并的较完整配方,对构建编码 Agent 的工程团队有参考意义。

arxiv.org/abs/2610.30949

社媒声音

MemT-1.0:记忆内建于模型架构@MemOS (经 Santiago 转发)

MemOS 发布 MemT-1.0,采用 Mixture-of-Storage 架构:多个记忆专家各自维护记忆,由两个路由器控制写入与检索。与 MoE 不同,所有专家每次都参与,仅权重不同。模型无需访问原始对话即可复用历史交互,推出 Nano 与 Flash 两个版本。

x.com/svpino/status/2113374845522395618

机器人50Hz控制与60Hz视频的相位错配@ID_AA_Carmack

Carmack 指出机器人普遍用 50Hz 关节目标频率,而视频数据多为 60Hz,存在相位偏差。目前尚非主要难题,但未来会变重要。相比调整海量视频数据,直接修改机器人控制频率更容易,还可增加类似 gen-lock 的触发信号锁定相位。

x.com/ID_AA_Carmack/status/2113328537319166349

开放权重智能体训练转向多步环境RL@huggingface

Hugging Face 在旧金山教学员训练开放权重智能体,并预告直播讨论如何扩展强化学习与评测。内容超越单轮 RL,转向多步、环境驱动的训练,涵盖奖励设计、rollouts、基准测试及实践中的差距,录像将于次日发布。

x.com/huggingface/status/2113444615953268846

Canva Craft:专用模型加可编辑图层@svpino

Canva 发布首个自研前沿图像模型 Craft,称在 DesignArena 排名第二(自述)。流程为规划器生成可修改的构图方案,渲染器出图,再转换为可编辑图层。Santiago 认为专用模型在特定任务上总能胜过通用模型。

x.com/svpino/status/2113351794302832824

MOSS图像模型Turbo:4步生成的取舍@_akhaliq (转发 Ting Chen Liang)

MOSS 图像模型 Turbo 版将生成步数从 50 步降至 4 步,适合快速批量出图。常规文字海报效果不错,但细小字体略显模糊,文字密集的设计仍建议使用原始 SFT 版本。帖子附有 Base、SFT 与 4 步版本的对比图。

x.com/_akhaliq/status/2113599629795410276

Scenario开源1300+个3D生成模型样例@huggingface

Scenario 在 Hugging Face 开源 39GB 3D 数据集,含 1300 多个模型,来自 Meshy、Rodin、Tripo 等多种生成模型。每个样例附输入图、提示词和生成参数,GLB 格式、最高 8K 纹理,CC BY 4.0 许可,便于横向对比与研究。

x.com/huggingface/status/2113651495304319459

创业软件界面从UI转向Agent控制层@ylecun (转发 Jude Gomila)

Ultrametric AI 推出 Open Startup Repo,设想未来公司的运营、代码、增长与供应商选择大多自动运转。团队按 API、MCP、CLI 及计算机使用兼容性,对 100 个领域供应商的 Agent 可控程度做了公开排名,并构建适配各国政务流程的开源组件库。

x.com/ylecun/status/2113455992885182703

置信度阈值驱动的个性化垃圾邮件过滤@svpino

Santiago 用 Jev 在邮箱服务商过滤之上加了一层个性化分类:新邮件触发脚本,置信度超 90% 即自动删除。运行 3 至 4 周已删除数百封,首周人工复查未发现误删重要邮件,是轻量级 AI 个人自动化的可行范例。

x.com/svpino/status/2113622504191218009

如果这期内容对你有帮助,点个赞是最好的鼓励 ✦

随机文章