多模态、Agent 与评测方法的最新研究进展

SpatialScout 测试主动建图

SpatialScout 是评测 VLM Agent 能否主动探索室内环境并构建物体级度量 3D 地图的 benchmark，含 80 个室内场景、3,140 个目标物体。Agent 获得物体清单、RGB 观测、相机标定与位姿，在有限交互预算内控制相机，并在统一坐标系中估计各物体中心，涉及视角选择、跨视角关联、几何估计与地图修正。评分采用物体尺度的重叠分数，同时衡量定位精度与覆盖率并惩罚漏检，避免选择题式评测中的猜测。最强模型 Claude Opus 5.5 平均重叠分数为 41.71%，47.23% 的目标 IoU 超过 0.5，仅 3.25% 超过 0.9，说明粗略布局恢复与精确完整建图之间仍有明显差距。

arxiv.org/abs/2610.26659

FocusVLA 动态路由多视角输入

FocusVLA 针对 VLA 模型在全局与腕部多视角输入下始终偏重腕部视角、无法随操作阶段调整依赖的问题，提出阶段感知的动态路由框架。方法根据历史动作与多模态观测预测未来 30 步的交互意图概率（Future Intent Bridge），并据此在动作生成时对全局与局部视角的交叉 Attention 动态加权。在 RoboTwin 2.0 上，平均成功率较最强基线 π0.5 提升 10.10 个百分点；真实机器人成功率由 71.7% 升至 85.0%。意图预测与路由模块可作为插件接入现有 VLA 框架，无需修改核心架构。论文已被 CoRL 2026 接收。

arxiv.org/abs/2610.31423

CycleGRPO 统一区域理解与定位

Generalized CycleGRPO 是将区域理解（captioning）与语言定位（grounding）耦合的统一 RL 框架。给定区域，multimodal LLM 先生成多个候选描述，再将各描述定位回去重建输入区域；重建重叠度作为可验证的 captioning 奖励，单条定位结果的奖励则提升 grounding。通过统一的区域空间表示，同一机制覆盖图像掩码/框、视频时间区间与时空证据，训练无需参考描述或外部 LLM 评判。论文同时提出 DOVE benchmark 评估视频描述的区分性。GroundingSuite 上 SAMTok 的 gIoU 由 57.5% 升至 68.2%，Charades 的 tIoU 达 51.9%（Qwen3-VL 初始化为 45.6%）。模型、代码与 DOVE 已发布。

arxiv.org/abs/2610.29552

MMVistaReason 开放数据方案

MMVistaReason（MVR）是面向 multimodal reasoning 的开放数据后训练方案。数据侧将能力分为分析型与现实世界型两类，经分阶段清洗标注统一异构开源数据，结合难度感知的级联教师蒸馏与基于答案似然的轨迹筛选得到 MVR-SFT-528K，并构建 MVR-RL-63K。训练侧采用先专精后整合：分别训练两类 RL 专家，再通过多教师 on-policy distillation（MOPD）合并，缓解混合领域 RL 的负迁移。在 15 个 benchmark 上，MVR-4B 平均 72.8，样本量比 MMFineReason 少约 70%；9B 版本平均 74.4，超过 Qwen3.5-35B-A3B (Instruct)。

arxiv.org/abs/2610.01352

DirCast 同时完成导播与解说

DirCast 是单一 streaming VLM，用于电竞直播制作，仅依据过去信息同时完成导播（选择上镜机位）与解说。模型每秒以低分辨率扫描所有机位，由 hold-or-switch 导播决定是否切换及切向何处，再以高分辨率读取选定机位后生成解说。其上下文只保留已播出画面与已说内容，其他视角过期，使任意长度视频流的计算与内存有界。作者构建含 27 场职业 Dota 2 比赛的数据集，每个英雄一路机位，并附人类导播选择与解说。DirCast 的导播优于规则方法和包括 GPT-5 在内的 zero-shot 导播；解说与 GPT-4o 对比的胜率为 29.2%，高于观看人类制作直播的最强流式解说模型的 19.4%。

arxiv.org/abs/2610.31734

RoboJudge 评估具身视频生成

RoboJudge-Bench 从物理遵循（Physical Adherence）与指令对齐（Instruction Alignment）两个维度，评估 MLLM 对具身视频生成结果的评判与人类的一致性，含 8 个来源语料、10 个视频生成器的 800 个人工标注视频，涵盖夹爪、人手与灵巧手。结果显示通用 MLLM 在物理遵循上一致性较低，通用领域视频评判模型难以迁移到具身场景。作者构建 RoboJudge-Train（1.2 万视频、2.5 万条人工验证评分），对 9B MLLM 先 SFT 再 RL，得到 RoboJudge-9B，Pearson 相关达 0.719，较最强闭源基线 Gemini-3.7-Flash 高 0.089，并提升 VideoPhy2 与 Physion-Eval 上的表现。

arxiv.org/abs/2610.27782

Rubric Dropout 防奖励黑客

Rubric-based RL 用 LLM judge 按评分细则打分，但 rubric 只是质量代理，长时间训练后 policy 会利用其漏洞。作者用 GRPO 在医学与科学 rubric 上训练，发现训练 judge 与更强的 OOD judge 的分数先同升后分化，表明出现 reward hacking。提出 Rubric Dropout：每个训练步随机丢弃每条 rubric 的部分条目，同一 prompt 的所有响应使用同一子集以保持 GRPO 组内可比，评估时使用完整 rubric；Block Dropout 则成组丢弃语义相近的条目。在 1.7B 至 8B 模型上，OOD 分数在 HealthBench-Hard 最高提升 3%、ResearchQA 最高提升 7%，丢弃率 30–50% 效果最佳。

arxiv.org/abs/2608.11669

OPSD 重构为无数据自训练

该论文将 on-policy self-distillation 重构为无需外部数据的自训练框架。仅依据粗粒度的高层主题描述，模型自行合成问题与作为特权信息的推理示范，不依赖人工题库、标准答案或更强的外部教师。同一模型在带与不带特权上下文两种条件下分别担任教师与学生，在自身采样轨迹上获得逐 token 的稠密监督。作者报告该方法可提升多个领域的表现，同时保持未训练领域的能力，并可推广至文本与 multimodal 场景，在语言 benchmark 和 Visual Question Answering 上均有增益。摘要未给出具体 benchmark 名称与数值，提升幅度需参考全文。值得关注的是，该方法降低了后训练的数据成本。

arxiv.org/abs/2610.32770

GraphForge 合成工作区训练数据

GraphForge 是面向 working agents（读取真实文件、协调工具并产出交付物的 Agent）的训练数据合成框架。针对模型生成文件缺乏真实性、真实文件任务缺少专属验证器的问题，它以职业种子组装真实文件工作区，在文件关系上构建 evidence graph，任务描述与 rubric 均由该图导出，每条标准锚定到可验证它的文件；随后经初次 rollout 检验可执行性，并由修订 Agent 对照原始文件修复任务与 rubric。用 2,169 条轨迹 fine-tuning Qwen3.6-27B，GDPVal 在 OpenHands 下达 1445.7（+65.7），SpreadsheetBench II 在 Claude Code 下达 24.0（+13.7）。以 rubric 筛选自身 rollout 做 rejection fine-tuning 可进一步提升。

arxiv.org/abs/2609.38923

MLEvolve 自进化算法发现框架

MLEvolve 是基于 LLM 的自进化多 Agent 框架，用于端到端机器学习算法发现，针对现有 MLE Agent 分支孤立探索、经验复用低效、缺乏长程分层控制的问题。Progressive MCGS 将树搜索扩展为图，通过引用边实现跨分支信息流动，并以受熵启发的调度从广泛探索逐步转向集中利用；Retrospective Memory 结合冷启动领域知识库与动态全局记忆；自适应编码模式把策略规划与代码生成解耦。在 MLE-Bench 上以 12 小时预算（标准运行时间的一半）取得领先的平均奖牌率与有效提交率，并在数学算法优化任务上超过 AlphaEvolve。代码与项目页已发布。

arxiv.org/abs/2606.06473

diffusion LM 解码成本随任务变

论文分析 DiffusionGemma 与 DreamReasoner 两个 diffusion 语言模型在 10 个任务上的解码开销，发现每个 token 所需前向传播次数随任务显著变化：复制或轻度编辑输入的任务成本低，开放式写作成本高，DiffusionGemma 中故事写作是语法纠错的三倍以上。输出相对输入的新颖程度与用词稀有度可解释大部分差异。多语言场景下，分词越碎的语言，每个 token 所需前向传播也越多。错误答案的每 token 前向传播多于正确答案，据此按解码速度加权候选答案，比多数投票最多高 4.2 个点且无额外成本，可作为 inference 效率与可靠性的信号。

arxiv.org/abs/2610.25835

gen-PPL 无法可靠衡量文本质量

论文指出 diffusion 语言模型（DLM）常用的 generative perplexity（gen-PPL）并不可靠：跨样本时，始终输出打分模型最可能的序列即可使其最小化，而单样本 unigram 熵无法反映这种多样性损失；样本内它只奖励可预测性，不等于文本质量。作者构造四种无需训练的采样器，在 LM1B 与 OpenWebText 上以非退化熵达到或超过训练模型的 gen-PPL，文本却不连贯。随后用分布差异与多样性指标重新评测近期 DLM，并与 LLM 评判对比，还提出基于压缩的差异度量，对应真实与生成文本间 KL 散度两个方向的覆盖度与保真度。基于 gen-PPL 的 leaderboard 可能被操纵并导致误排。

arxiv.org/abs/2606.08417

soft-prompt 调优适配评测格式

benchmark 分数常因依赖模型遵循特定输出格式而低估 LLM 的真实知识，未经后训练的基座模型尤其受影响。该论文提出自动化、与架构无关的评估协议：冻结模型，仅优化约 10 个 soft-prompt 向量（7B 模型中约占 0.0006% 参数），用约 150 步（约 1200 个样本）使模型适配基准输出格式，同时保持知识准确率。实验覆盖 7 个模型、11 个数据集：在成熟基准上与强 evaluation harness 基线高度一致，无需人工设计 prompt 或解析器；在长上下文数据集和输出风格各异的指令对齐变体上评估信号更好，并提高 exact match 与独立 LLM judge 的一致性。

arxiv.org/abs/2606.12117

TenetBench 评测职业守则合规

TenetBench 是俄语 benchmark，检验 LLM 助手是否违反或协助用户违反职业道德规范，包含与 15 部俄语职业守则具体条款冲突的 3,433 条请求，每条配有仅合法性不同的良性孪生请求，以区分过度拒答与真实合规。自动化 pipeline 直接从守则文本生成任务，已迁移到两部英文守则。人工验证中专家认为 0.995 的冲突任务合理，LLM judge 与裁定标签的 Gwet AC1 不低于 0.894。评测 14 种模型与 reasoning 模式组合，其中 11 种对多数冲突请求生成违规内容且多不带警告，开启 reasoning 使两个模型的拒答减半。该工作将 safety 评测从宽泛危害类别推进到条款级诊断。

arxiv.org/abs/2610.29477

ERB 测试 Agent 自建评估器

EvalResearchBench（ERB）测试 AI Agent 能否自动设计低成本评测反馈，服务于递归自我改进（RSI）。在给定目标材料、开发参考、候选 API 及固定时间与 API 预算下，researcher Agent 选择或合成任务、实现 grader，经试跑修订后冻结覆盖 coding、co-work 与 reasoning 的评估器。作者研究 9 个 researcher、13 个候选模型，并与 14 个目标 benchmark 比较分数一致性和两两排序一致性。最佳评估器的两两排序与目标一致约 75%，低于目标间分歧所设的 91% 上限；开发集最优者在封闭目标上未必最优，人工设计的公开任务抽样仍是强基线，评估器还存在答案截断、预算耗尽等缺陷。

arxiv.org/abs/2610.04184

用Claude Code定期做全面安全审计@levelsio

levelsio让Claude Code对每台VPS和网站做完整安全审计：启用Ubuntu自动重启的无人值守安全更新，生成Tailscale策略隔离各VPS，并用www-data等权限隔离避免Web服务获得root。他认为AI攻防能力大致相当，建议每月设一周“安全周”。

x.com/levelsio/status/2114317753985188201

Tailscale SSH缺陷可致横向移动@levelsio

转发的安全报告称，Tailscale SSH存在缺陷，攻击者可借一台已失陷设备获取其他服务器root权限，实现横向移动。使用其管理服务器的团队应自查访问控制与SSH配置。帖子未给出漏洞编号、技术细节或官方修复方案。

x.com/levelsio/status/2114429379527004590

智能电视低价靠ACR数据变现补贴@karpathy

转发内容称，对三星电视获取root后发现常开麦克风、ACR、地理定位与广告画像，并与约400个合作伙伴共享；ACR按固定间隔截屏生成指纹，HDMI外接设备也会被识别。建议关闭ACR、IoT网络隔离、用NextDNS或Pi-hole做DNS过滤。Vizio财务数据印证数据补贴硬件。

x.com/karpathy/status/2114384346815820050

Hi3D：图像加粗糙网格生成精细3D@svpino

Hi3D以一张图像和一个粗糙3D网格为输入，生成更精细的3D形状，据称在200万个3D资产上训练，生成可直接3D打印模型的成功率达90%。该数据转述自报告，评测方法与对比基准未说明，仍需验证。

x.com/svpino/status/2114193073546920145

EdgeRock-4B：固定大小历史的长推理模型@svpino

EdgeRock-4B是支持文本与图像的开源权重模型，面向长推理。它保持固定大小的历史上下文，保留近期信息并维护学习得到的压缩摘要，使内存占用可预测、同硬件可服务更多请求。代价是可能丢失重要信息、不同任务准确率有差异，且需兼容软件部署。

x.com/svpino/status/2113690674742849836

OpenResearch内置Trackio，智能体闭环做实验@huggingface

alphaXiv的OpenResearch集成了开源、本地优先的Trackio：AI智能体写入实验记录，在每次运行旁查看图表并读取训练曲线，据此决定下一步实验。在HF Jobs、Modal、k8s或Slurm上运行时，结果可存入Hugging Face Space，降低自动化科研的人工迭代成本。

x.com/huggingface/status/2113675645607706981

预留巨型栈加bump分配的编译期安全语言@ID_AA_Carmack

Carmack转发Wouter van Oortmerssen：其新语言按程序静态所需预留大型地址空间栈，采用bump分配，指针稳定，并在编译期保证安全，自称比C++或Rust的实现更快。该性能结论为作者自述，缺乏具体数据，需查看goose项目自行验证。

x.com/ID_AA_Carmack/status/2113704442730254704