五篇论文讲解递归自我改进的自动化评测:框架、数据集与发现

TL;DR

这五篇论文回答同一个问题：智能体自动改进系统后拿到的分数，究竟说明了什么？ 增益可能来自更好的训练数据、模型权重或执行策略，也可能只是反复适配了同一批题目，甚至来自被改动的测量条件。五篇工作各自固定或放开不同的可改项与测量条件，把这个问题的不同侧面做成可运行的实验。

共同结论：五篇共同让研究智能体的改进过程更容易运行、测量和审计；多种设置下的局部改进已有证据支持，但「改进后的系统更善于继续改进自己」这一更强结论，五篇的主结果均未确立（RSIGym 明确留待后续评估）。

三个贯穿全文的概念：

•研究智能体（research agent）：提出方案、调用工具、运行实验并选择提交结果的系统，通常由一个 LLM 和一套智能体软件框架组成。

•目标系统及其执行框架（execution harness）：被研究智能体改进的模型、代码或策略；执行框架负责提示、工具调用、上下文管理与执行循环，决定目标模型如何完成任务。

•评测基础设施（evaluation harness / evaluator）：负责运行任务、调用验证器、计分和记录证据；可能与执行框架同处一个软件栈，但实验中承担不同职责。

五篇一览：

第 1 篇：MLGym——统一研究任务环境、产物与跨任务评分

（原题：MLGym: A New Framework and Benchmark for Advancing AI Research Agents；arXiv:2502.14499^[1]；首次提交：2025-02-20）

MLGym 提供面向机器学习研究任务的 Gymnasium 环境，并发布包含 13 个任务的 MLGym-Bench。论文在统一的智能体框架下比较 5 个当时的前沿 LLM：它们能够改进给定基线，但改进主要来自超参数等调整，实验中未观察到新的科学假设、算法或架构，也未带来大幅改进。这个结论限定于被测模型、任务与预算。

#研究问题

论文的出发点是一个愿景：AI Research Agent 应当能独立完成从文献检索、提出科学假设、设计实验、实现新方法、分析结果，到撰写论文发表研究成果、把研究应用到产品的全部研究流程。而科学研究方法本身依赖经验验证与标准化基准——要衡量这类智能体的进步，首先得有客观、可复现的评测工具。论文指出当时的不足有三条：

•任务覆盖不足：论文引言概括，既有基准要么不含开放式研究任务、要么领域覆盖窄：SWE-bench 主要衡量 GitHub issue 修复，单题通常以测试通过与否计分；MLE-bench 聚焦 Kaggle 竞赛；ScienceAgentBench 从已发表论文中提取具体任务。MLGym 作者认为，这些设置不足以覆盖多领域、允许多种解法的开放式优化任务。这一比较针对任务范围，不是对其他基准研究价值的否定；逐个评述与对比表见「相关工作与对比」。

•缺少统一的训练接口：MLGym 通过 Gymnasium 接口，为 RL、课程学习等智能体训练研究提供环境基础；主实验本身并未验证这些训练算法的效果。

•产物格式受限：研究结果可能是模型权重、算法实现或博弈策略，不能都按同一格式提交（如 Kaggle 式 CSV）。MLGym 允许每个任务定义自己的产物与评测脚本，各基准计分方式的对照见「相关工作与对比」。

论文还提出一个六级能力分级框架（Level 0 复现 → Level 1 改进基线 → Level 2 达到 SOTA → Level 3 新的科学贡献 → Level 4 顶会 oral / 最佳论文级贡献 → Level 5 长期研究议程），并明确 MLGym-Bench 聚焦 Level 1：给定一个非 SOTA 的基线代码，看智能体能否改进它。

#相关工作与对比

论文把相关工作分四类组织（§2.1–2.4）：AI 研究框架与基准、LLM 智能体、软件工程与数据科学智能体、科学研究智能体。与 MLGym 的直接对比集中在第一类，Table 1 是其主要证据。

AI 研究框架与基准（§2.1）。 论文按五个属性比较六个系统（原文 Table 1，列名译自原文）：

表注：行名与勾叉逐项转录自原文 Table 1，行名保留原文写法（仅 MLGYM 按全文惯用写作 MLGym；正文统一用全文既有的 SWE-bench、MLE-bench 等拼法）。按论文题注，「算法类任务」指包含要求提出新算法的任务（如 RL、博弈论或 SAT 问题）；「开放式研究」指包含尚未被研究界完全解决、可能发现多个新解的任务（如语言建模、博弈论或 SAT 问题）；「灵活产物」指允许不同研究产物（如模型权重、RL 算法或刻画智能体策略的代码）。「Gym 接口」与「agentic harness」（智能体软件框架）两列的含义论文题注未定义；MLGym 侧的 agentic harness 对应正文所说的 default agentic harness——开箱即可评测任意基座模型。按本综述对比较表的一贯读法，✕ 反映的是论文作者对相应基准的分类与评述（下述差异主张即其依据），不宜据此推断相应工作完全不具备相关能力。

作者给出的差异有四条（个别措辞同时取自论文引言与 §2.1 的对应表述，条内注明）：

•训练接口：作者将 MLGym 定位为首个提供 Gym 接口的 AI 研究智能体框架，使 RL 等训练算法研究可以直接接入（引言还一并提到课程学习等训练算法）；并称 MLGym-Bench 是首个包含 RL、博弈论、SAT 等多领域算法研究任务的基准。

•任务范围：引言概括既有基准要么不含开放式研究任务、要么领域覆盖窄，§2.1 逐个评述——SWE-bench/SWE-agent 聚焦 GitHub issue 修复，改动以通过与否判定，不同于带细粒度指标（如监督学习损失）的优化任务；MLE-bench 的 Kaggle 任务大多可被现有 SOTA 方法解决；ScienceAgentBench 的任务取自同行评审论文、过于具体，作者认为更像 Kaggle 竞赛而非开放研究问题；MLAgentBench 兼含 ML 专门任务与近期研究挑战；RE-Bench 是任务宽泛、难以饱和、更精巧方法能拿到更高分的 ML 工程任务。

•产物格式：MLE-bench 要求为每题提交 CSV 文件、SWE-bench/Agent 靠一组单元测试判定；MLAgentBench、RE-Bench 与 ScienceAgentBench 以 Python 脚本计分。MLGym 只要求任务提供可供智能体调用的评测代码，模型 checkpoint、RL 算法或策略代码都可作为产物。

•模型评测的标准化：MLGym 提供默认 agentic harness，开箱即可评测任意基座模型。

LLM 智能体（§2.2）。 论文评述了 agentic LLM 评测线的五个代表——AssistantBench（开放网页导航的现实长耗时任务）、一项兼顾准确率与成本、警惕过拟合的标准化评测协议研究、AgentBench（八种交互设定）、GAIA（真实世界问题上的工具使用与多模态推理）、AppWorld（经 API 操作多个应用并迭代写代码）——认为它们共同凸显了「复杂可验证任务 + 可复现基准」的必要，但指出其中没有一个聚焦于开放式 AI 研究任务的评测或开发。

软件工程与数据科学智能体（§2.3）。 SWE-agent（受限的智能体—计算机接口）、OpenHands（沙箱内执行）、Magentic-One、AutoCodeRover（以抽象语法树表示程序的路线），数据科学侧的 AutoKaggle、AgentK v1.0、Spider 2.0/2-V，以及树搜索增强（SWE-Search 等）与极简流程（agentless）路线。论文把这条线定位为任务范围紧、结果可严格测量的测试床，是通往更复杂自动化的基础；该节没有给出与 MLGym 的直接对比。

科学研究智能体（§2.4）。 论文认为仅有软件基础不足以加速科学——科学新颖性的自动化判据等仍待建立；而 ML 研究与数据科学的任务良定义、具备形式化的可验证与可复现标准，是当前可行的切入点。随后分三段评述：

•数据科学：按智能体自主程度递增组织——ML-Bench 限于仓库内的明确任务，Data Interpreter 扩展到更广的数据科学与少量开放式应用，SUPER 要求智能体自行定义任务并在研究仓库内迭代。

•AI 研究：作者把 AutoML（自动机器学习）/NAS 一类在内置限制（显式方法集、搜索空间与策略的定义）内运行的 ML 自动化，与可提出开放式解的 agentic 路线相对照。对相近基准的评述：MLAgentBench 最难任务上当时 SOTA LLM 成功率为 0%；RE-Bench 引入与人类专家的计时对照（按论文转述 RE-Bench 作者的报告：2 小时预算下最佳智能体分数为专家 4 倍，8 小时人类略超，32 小时人类达智能体 2 倍）；MLE-bench 限 24 小时。差异主张：作者认为这些工作的领域覆盖都比 MLGym 窄、不考察算法推理能力；论文还指出其中部分工作未提供标准化的 agentic harness 供模型评测，在比较性能时同时改变 harness（scaffold，脚手架）与底层 LLM，因而无法单独评估模型（此点出自本段，与 §2.1 第四条差异相呼应）。论文还与一项端到端论文生成系统区分：后者面向较主观的任务开发 harness，本文聚焦带客观、标准化指标的评测框架。

•科学发现：DiscoveryWorld 以游戏式模拟引擎评一般发现技能（120 个任务，引擎仅支持有限对象与 14 种动作）；ScienceAgentBench 从 44 篇论文提取 102 个任务、以专门指标控制数据污染与智能体捷径，作者转述其结论：执行反馈对生成有用解是必要的；ResearchAgent 引入执行反馈与迭代改进，但仅以主观人类偏好评估——作者认为仅靠人类判断、没有客观指标支撑并不足够。

定位小结。 论文的自我定位是评测与开发并重的统一基础设施：以 Gym 接口支撑训练算法研究（作者自称首个；论文主实验未验证这些训练算法的效果）、以多领域开放式任务与灵活产物扩展基准空间、以默认 harness 与跨任务评分标准化模型比较；对相关工作的差异主张集中在训练接口、任务范围、产物格式与评测标准化。这与本综述引言「MLGym 统一研究任务的接入与评分，并以 Gym 接口支撑训练算法研究」的一句话定位一致。

#主要贡献

•可扩展的 Gym 环境：将任务执行、工具接口和反馈组织成统一环境；作者将其定位为首个面向此类 AI 研究任务的 Gym 环境。

•13 个跨领域任务：覆盖数据科学、视觉、语言、RL、博弈论与 3-SAT（Table 3）。这里的「开放式」主要指解法空间开放，评测目标仍预先固定。

•任务自定义产物与评分：兼容模型权重、RL 训练算法、策略代码等不同提交形式。

•跨任务聚合：借用优化与 AutoML 文献的 performance profile（性能剖面）及 AUP 分数，减少不同指标量纲对聚合的影响；排名仍取决于归一化方式与失败惩罚。

•智能体与环境解耦：统一智能体框架后比较不同底层模型，也支持接入其他智能体实现。

•安全评估用途：论文提出 MLGym-Bench 也可作为前沿实验室安全框架（OpenAI Preparedness Framework、Anthropic RSP、Google DeepMind Frontier Safety Framework）中「模型自主性」的度量工具（§9）。

#方法：自动化评测的架构设计

运行闭环。 智能体的工作方式是：给定任务描述、起始代码与历史动作/观察，LLM 生成 shell 命令；环境执行命令并返回观察，形成「动作 → 执行 → 反馈」的迭代循环，智能体在上下文内逐步修正方案（对应下图）。

图解。 Agent 生成动作，Environment 在 Computer 中执行，再将输出转成反馈。图中的三个交互模块与下文四个代码组件属于不同层次：前者描述运行闭环，后者描述框架如何组织智能体、环境、数据和任务。

四类代码组件：职责与控制措施（§3）。 MLGym 在代码层面提供四类组件：Agent、Environment、Datasets 和 Tasks。

•Agent：基座 LLM 的封装，负责集成模型、处理历史、管理成本。 

◦默认 harness：默认提供一个改编自 SWE-agent 的 agentic harness（ReAct 式思考—动作循环，每步只发一条命令，禁用 python REPL、vim 等交互式命令），已适配的底层模型可在统一框架下评测。

•Environment：实现 Gymnasium 接口，在本地 Docker 容器里初始化 shell、安装任务依赖、把数据与代码复制进独立的智能体工作区。 

◦权限：出于安全考虑以非 root 用户 "agent" 运行，并对文件与目录做权限管理。

◦工具与 ACI 解耦：论文有意把工具与 ACI（agent-computer interface，智能体—计算机接口）从 agent 侧拆出、放进环境侧初始化，避免两者紧耦合。

•Datasets：用配置文件定义，支持本地与 Hugging Face 数据集；数据集与任务解耦——一个数据集可用于多个任务，一个任务也可配多个数据集以检验方法通用性。 

◦本地数据保护：本地数据集文件以只读权限复制进工作区，智能体无法修改数据，论文明确这是为了可复现与防作弊；若用错数据集，评测脚本会报错或性能异常。

•Tasks：同样用配置文件定义，可包含一个或多个数据集、自定义评测脚本、任务专属 conda 环境、可选起始代码、训练超时与内存设置。 

◦评测脚本保护：评测脚本对智能体只读——它可以查看评测格式，但不能改写评测逻辑；试图编辑只读文件时，工具会返回反馈文本而不是静默失败。

◦训练超时：训练命令设任务级超时，以限制运行成本及单纯扩大模型规模的策略；这不等于所有任务使用了相同训练算力。

判定机制。

•产物要求：每个任务必须提供评测脚本与提交产物说明；产物不强制统一格式。

•产物示例：RL 任务提交一组按预定义随机种子训练的模型（在一组环境种子上取平均奖励）；博弈论任务提交一个策略函数的 Python 文件（与固定对手策略对弈计分）。

•判定命令：智能体用两条命令参与判定。validate 随时可调，在测试集上运行评测脚本并返回当前分数，供其迭代改进；submit 是终止动作，结束轨迹并记录最终分数。

•步数上限：单次运行限 50 步，超限后自动提交最后的代码库状态。

工具扩展与实际使用范围（Table 2）。 框架还扩展了 SWE-agent 的工具集：

•文献检索：查询 Semantic Scholar API、下载并解析 PDF。

•记忆模块：memory_write 存储文本、embedding 与标签，memory_read 按余弦相似度取回最相关的 top-k 条目，用于缓解长任务中上下文长度不足的问题。

•主实验未使用：需要注意，论文的所有正式实验只使用了 SWE-agent 工具与 validate 命令，文献检索与记忆模块未进入主实验（记忆模块的效果仅在 Figure 11 / Figure 12 以示例轨迹展示）。

#评测设计

•基准：MLGym-Bench 共 13 个任务（Table 3）——House Price 房价回归（Ridge 回归基线）、CIFAR-10 图像分类（基线准确率 49.71%）、Fashion MNIST 图像分类（两层 CNN 基线）、MS-COCO 图像描述（按 BLEU 计分，已去除含人体的图像）、MNLI 自然语言推理（BERT 微调）、FineWeb 语言建模（modded-nanogpt 为起点代码，任务描述以困惑度为目标，结果表报告 validation loss）、MetaMaze / Mountain Car Continuous / Breakout MinAtar 三个 RL 任务（Gymnax 环境 + PPO 基线）、3-SAT（优化 DPLL 变量选择启发式，按 100 个实例的总求解墙钟时间计分）、囚徒困境 / 性别之战 / Colonel Blotto 三个重复博弈任务（k = 20 轮，给定对手 bot；智能体可以查看对手策略代码，论文说明这类任务考察的是代码理解与利用对手策略的能力）。

•模型：5 个前沿 LLM——OpenAI o1-preview、Gemini-1.5-Pro、Claude-3.5-Sonnet、Llama-3.1-405B-Instruct、GPT-4o，统一 temperature = 0.0、top-p = 0.95（o1-preview 不支持修改解码参数，保持默认 temperature = 1.0）。

•指标：performance profile 曲线表示方法在多少任务上接近该任务的最优成绩。原文式 (1) 使用 log10(r) ≤ τ 判断是否达到阈值：对越低越好的指标，性能比率 r 为当前成绩除以任务最优成绩；对越高越好的指标，则为任务最优成绩除以当前成绩。AUP 是曲线下面积，越高越好。无有效解或未超过基线的方法按基线性能比率的 1.05 倍惩罚。每个「模型 × 任务」运行 4 次，分别报告 Best Submission@4（最佳最终提交）与 Best Attempt@4（运行中最佳有效 validate 结果）。两者均为 best-of-4，不能当作单次成功率或稳定性估计。

•对照与消融：每个任务都提供基线实现作为对照，进入同一排名体系（Table 9 / 10 的 BORDA 聚合）；论文没有对框架组件做消融实验，代之以 220 条轨迹（11 任务 × 5 模型 × 4 种子）的失败模式分析与动作分布分析（Figure 4–8）。

#主要结果与解读

核心结论。 5 个前沿 LLM 都能改进给定基线，但主要靠调整超参数，没有产生新的假设、算法或架构，也没有带来大幅改进（摘要）。o1-preview 综合排名第一，但优势有限：按论文采用的历史 API 价格，Gemini-1.5-Pro 以约 1/9 的成本达到其约 99% 的 Best Attempt AUP（Figure 3、§7.3）。

图解。 左为 Best Attempt@4、右为 Best Submission@4；曲线越高，表示越多任务的成绩接近该任务的最优成绩。o1-preview 的综合 AUP 最高，但并非在每个任务、每个阈值上都领先。

关键发现：

•综合第一不等于逐任务领先：o1-preview 的 AUP@4 两种口径均为第一（Best Attempt 1.150、Best Submission 1.176，Table 4），BORDA 排名与之一致（Table 9/10）；但在单个任务上，Gemini、Claude、Llama 都有领先的情况（Table 5/6）。

•失败主要发生在提交环节：评测错误占全部终止错误的 75%，多由产物缺失或格式错误触发，Gemini-1.5-Pro 是唯一从未提交无效解的模型（Figure 4/5、§7.4.1）；Llama-3.1-405B（语言建模）与 GPT-4o（Breakout）各有一个任务没有产出任何有效解（Table 5/6）。

•语言建模与 RL 任务最难：这两类任务的失败率最高，论文归因于它们需要复杂的架构决策或算法（Figure 9、附录 A.2）。

•以编辑为主，提交偏早：Edit 占全部动作的 50%；Submit 最早在第 5 步出现，论文认为部分模型提交过早，可能错过了更优的解（Figure 6–8、§7.4.2）。

结论边界。 结论限定于 Level 1 任务（改进给定基线）、5 个被测模型与 50 步的运行预算。两种成绩都是 4 次运行中的最好成绩，不是单次成功率；validate 在运行中可反复返回测试分，成绩反映的是对可见反馈的优化，不能直接视为对未见任务的泛化（此条系本文综合判断，论文 §8 的局限清单未列此条）。

第 2 篇：POSTTRAINBENCH——评测端到端后训练，并审计违规获分行为

（原题：PostTrainBench: Can LLM Agents Automate LLM Post-Training?；arXiv:2603.08640^[2]；首次提交：2026-03-09；本文依据 v2：2026-03-10）

这篇论文构建了一个端到端基准，测试前沿命令行智能体（如 Claude Code、Codex CLI）能否在单张 H100、10 小时的受限算力下，从零搭建训练流水线、自主完成一个小基座模型的后训练，使其在指定基准上的成绩最大化，再用独立的 LLM 审计数据污染与模型替换。

#研究问题

过去一年 AI 智能体在软件工程任务上进步显著，随之而来的问题是：这些系统能否把能力延伸到 AI 研究本身，尤其是自动化 AI R&D？论文选择后训练（post-training，指在预训练模型之上通过 SFT（监督微调）、RLHF（基于人类反馈的强化学习）等方法系统性地改进模型）作为切入点，理由有二：其一，这一阶段的改进可以直接用 AIME、HumanEval 等标准化基准度量，信号清晰；其二，后训练是改进安全、指令遵循、工具使用与推理行为的重要阶段。

论文认为，既有基准没有直接隔离这一端到端后训练问题。MLE-bench、MLAgentBench、RE-Bench、PaperBench 等工作要么聚焦窄任务（如 MLE-bench 的 Kaggle 竞赛），要么只覆盖 AI R&D 的某个侧面（如 PaperBench 的既有论文复现），没有一个基准直接度量「智能体能否通过后训练让一个基座模型在目标基准上取得高分」这一端到端能力（§1、§6；其中 §6 逐个评述的基准与差异主张见「相关工作与对比」，PaperBench 仅见于论文引言、§6 未展开评述）。论文因此需要一个不预设训练策略和起始训练代码、以指定基座模型与目标基准定义任务的测试环境。

#相关工作与对比

论文 §6 按四类组织相关工作，未附对比表；未引用本综述其余四篇。

自主 AI 科学家（autonomous AI scientists）。 The AI Scientist 演示端到端论文生成，AI-Researcher 提出 Scientist-Bench，Darwin-Gödel Machine 展示编码智能体的递归自我改进，OpenAI 的 FrontierScience 考察开放式科学推理而非简单事实回忆；论文并引一项系统调查的结论：尚无框架能完成从文献理解到结果验证的完整研究循环，同时把 POSTTRAINBENCH 定位为自动化 AI 研究系统的标准化、可验证度量。

AI R&D 自动化。 对 AI 研究者的访谈研究显示学界对自动化时间线分歧大、算力瓶颈是主要约束；风险研究方面，有工作分析人类监督减少与能力加速的风险，也有工作演示模型可在零样本监控下不被察觉地压低 ML 实验表现（sandbag）；Anthropic 对 Claude Sonnet 4.5 的评估认为该模型尚不能自动化入门级研究员工作、只在特定任务上有加速。论文认为其结果显示，更新的模型明显强于 Sonnet 4.5，已能自主整理数据、管理实验并写出完整训练循环。

AI R&D 基准。 MLE-bench 用 75 个 Kaggle 竞赛（后续工作借高级 scaffolding 在最多 47% 的竞赛上达奖牌水平）；MLAgentBench 提供 13 个端到端 ML 任务；RE-Bench 评测带人类基线的开放式 ML 研究任务；HCAST 是人类校准的软件工程基准；另有工作把 RE-Bench、HCAST 等合并为一个人类校准基准，论文引述其趋势外推（5 年内 AI 或能自动化目前人类需一个月的软件任务）。论文指出的差异：POSTTRAINBENCH 用更大的被训模型（最大 4B 参数），并在算法与数据上给智能体完全自由（污染约束除外）。

代码与算法优化。 AlgoTune 测试 LLM 对数值程序的优化，论文评述其有中等加速、无算法创新；AlphaEvolve 演示进化式 LLM 优化可产生真正的算法发现；NanoGPT Speedrunning Benchmark 评测 GPT-2 预训练提速，最好智能体在有提示时也仅恢复 46% 的人类加速。论文认为差异在于：POSTTRAINBENCH 评测后训练的自动化，得以用更大的 LLM（最大 4B 参数）、进入更现实的设定并给出更多自由（例如可用任何数据，污染约束除外）。

定位小结。 论文的自我定位集中在两点：被训模型规模（最大 4B 参数）与方法与数据的完全自由度（污染约束为边界）；并把 POSTTRAINBENCH 作为 AI R&D 自动化能力的标准化、可验证度量。这与本综述引言的一句话定位——「POSTTRAINBENCH 评测端到端后训练」——一致。

#主要贡献

•任务定义直接对齐 AI R&D 的可度量环节：每次评测配对一个基座模型（Qwen3-1.7B-Base / Qwen3-4B-Base / SmolLM3-3B-Base / Gemma-3-4B-PT）与一个目标基准（7 个，覆盖数学到医疗六类，见方法节），智能体的目标是最大化该基准成绩（§2、§2.2）。

•自主研究与明确约束：智能体可自选数据来源、训练方法与超参；核心约束包括不得用基准测试数据训练、不得以其他模型替代指定基座、不得修改评测脚本；此外还有工作目录、运行时间、提交环境等规则，以及评测 API key 的用途限制（§2、附录 B、§5.4）。

•用 LLM judge 做反作弊审计：运行在 Codex CLI 上的 GPT-5.1 Codex judge 审查每次运行的代码、训练脚本与数据管线；被标记为污染或使用不允许模型的运行，记为基座模型分（§2、附录 E）。

•相对既有 ML 智能体基准更贴近真实研究：被训模型最大到 4B 参数，且算法与数据自由度完整，论文认为这比 NanoGPT 加速、数值程序优化等设定更接近真实的后训练研究（§6；与相关工作的逐类对比见「相关工作与对比」）。

•同时记录能力与安全两面：除成绩榜外，论文系统记录智能体的 reward hacking 行为（通过训练改进模型能力之外的手段优化基准分数，涵盖数据污染、模型替换与 API 越权），分析获分能力与约束遵守之间的关系（§5、§7）。

#方法：自动化评测的架构设计

整个系统由三块组成：智能体架构、任务配置与数据流、判定与打分机制（后者分「审计与评分控制」「打分聚合」两部分叙述）。

图解。 智能体在 GPU 工作区自主训练并提交模型；反作弊审计检查模型身份与训练数据使用，被标记的运行退回基座模型分。最终先对四个基座模型求逐基准平均，再按式 (1) 加权聚合七个基准，不是对 4 × 7 = 28 个分数直接等权平均（细节见下文「打分聚合」）。

智能体架构（§2.1）。

•组成：智能体 = scaffold（软件层）+ 底层前沿模型（推理引擎）。

•scaffold 的职责：scaffold 按 ReAct 循环运作——把当前上下文呈现给模型、解析回复中的工具调用、执行、把结果追加进上下文，循环往复；同时负责权限管理与上下文压缩。

•被评测的 scaffold：论文评测 Claude Code、Codex CLI、Gemini CLI 三家原生 CLI scaffold 与开源的 OpenCode（支持多模型提供方）。

•工具分四类：文件读写、shell 执行 bash 命令、搜索（本地文件与网络）、跨长会话的上下文管理。

•不提供起始代码：论文不提供任何起始代码，训练脚本与数据管线全部由智能体从零写出，附录 B 的提示词只有任务目标与规则清单。

•典型轨迹（Figure 3）：Opus 4.5 在 Claude Code 上为 HumanEval 后训练 Gemma-3-4B——测基线（20 样本准确率 0.000）→ 联网找数据集 → 写带去污染过滤的 SFT 脚本 → 训练超时后缩减样本量 → 修复 vLLM 报错；图中记录了 104 轮、9 小时 20 分钟和 4.62 美元 API 开销。

•口径注意：初始 0% 来自 20 题探测，后续 37.3% 来自 150 题评测，不能把两者当作同一完整测试集上的严格前后对照。

任务配置与数据流（§2、Figure 2）。

•输入：每次运行的输入是一个基座 LLM、一个目标基准、一张 H100 的 10 小时预算、终端与网络。

•七个基准覆盖六个方向：数学（GSM8K、AIME 2025）、代码（HumanEval）、函数调用（BFCL v3）、科学（GPQA）、创意写作（ArenaHard-Writing）、医疗对话（HealthBench-Easy）。 

◦切分与子样本：BFCL v3 取 exec_simple 切分，GPQA 取 main 切分，HealthBench-Easy 取至少 5 轮对话的 245 题子样本。

•产出与评测：智能体产出后训练模型并放入 final_model 目录；评测方用固定脚本在目标基准上评测该模型。

•测试集的可见性：开发时允许查询评测脚本和查看题目，因此这里的「测试集」不等于研究过程从未接触的私有留出集；禁止的是将测试材料用于训练。

•配置数与重复次数：每个智能体覆盖 4 个基座模型 × 7 个基准 = 28 个配置。Table 1 中带标准差的配置进行 3 次独立运行，其余配置仅运行一次；不能将所有配置都视为有重复实验。

审计与评分控制。 分两层：第一层防作弊，第二层固定评测协议。

第一层：防作弊 judge。 LLM judge 检查模型替换与数据污染，被标记的运行直接记基座模型分；判定结果写入 contamination_judgement.txt 与 disallowed_model_judgement.txt 两个文件。judge 提示词（附录 E）把允许与禁止的边界写得很细：

•数据：「只看不用于训练」「用于评测」「用不重叠的相似数据集」都算合法；用基准数据或其片段训练、以及无法判定是否重叠的情形都算违规。

•模型：只允许微调指定基座模型及研究智能体自行训练出的衍生检查点；下载指令微调版再微调或直接提交都不允许。

第二层：评测协议本身的控制（§2.2）。

•固定提示与模板：固定零样本提示（GSM8K 除外，用 10 示例 few-shot 提示）与对话模板。固定模板是有意为之：把「靠训练提升模型」与「靠提示工程提升分数」隔离开。

•各基准计分：HumanEval 报 pass@1（单次采样通过率）；开放式基准（ArenaHard-Writing、HealthBench-Easy）用 GPT-5-mini 作 judge，ArenaHard-Writing 以 Qwen3-1.7B 为对照基线；其余基准用精确匹配准确率。

•模板固定的影响：固定模板下，Table 1 的基座模型 GPQA 平均分为 8.5%，低于四选一随机猜测的 25%；这也反映了格式遵循的影响。论文另附不使用聊天模板的 few-shot 基线供参考（Table 6）。

打分聚合（§2.2 Scoring）。

•两阶段聚合：先把每个智能体在每个基准上的成绩对 4 个基座模型取平均，再按式 (1) 对 7 个基准加权平均——权重 w_i = 1/(s_i^instruct - s_i^base) 归一化后使用（Table 5 列出七个权重，如 AIME 2025 为 0.2265、BFCL 为 0.0746）。

•权重的含义：这一构造让「官方指令模型与基座模型分差较小」的基准权重更高；分差小不一定意味着任务本身更难，也可能受模板适配或测量噪声影响。该分数是一种特定的聚合约定，不是任务难度的直接度量。

•成本口径：成本需要分开理解——研究智能体的 API 调用费用因模型与运行长度而异，GPU 费用则按使用时长计算。论文按当时 H100 每小时 2.5–3 美元估算，每个「基座模型 × 基准」运行的 GPU 费用最多约 30 美元，覆盖一次完整 4 × 7 矩阵最多约 840 美元；这不是包含重复实验与研究 API 调用的总成本（§2.2）。

#评测设计

•被评对象：Table 1 完整列出 22 个「底层模型 × scaffold」智能体配置（Figure 1 的榜单只展示其中一部分），覆盖 Claude Opus 4.6/4.5、GPT-5.x 系列、Gemini 3/3.1 Pro、GLM、Kimi、MiniMax 等（重复次数见方法节）。

•对照基线：零样本基座模型（加权平均 7.5%）、few-shot 基座模型（18.1%）、官方指令微调模型（51.1%）三条（Table 1）。

•指标：逐基准准确率（开放式基准为 judge 评分）+ 式 (1) 的加权平均分。

•消融（§4）：推理强度（GPT-5.1 Codex Max 的 Low/Medium/High，Table 2；GPT-5.3 Codex 的 Medium/High，Table 3）；模型大小（Claude Opus 对比 Sonnet/Haiku，Figure 4）；时间预算（1 至 10 小时，Figure 5）；scaffold 与底层模型的贡献拆分（§4.4）。

•行为分析（§5）：时间利用模式、后训练方法统计（逐个分析智能体生成的训练脚本）、reward hacking 审计与合成数据 API 越权个案。

#主要结果与解读

核心结论。 前沿智能体能自主完成后训练并明显提升基座模型，但离官方后训练水平仍远：最强配置 Claude Opus 4.6（Claude Code）的加权平均为 23.2%，是基座零样本 7.5% 的三倍多，仍不到官方指令微调模型 51.1% 的一半（Table 1）。提升集中在 BFCL 等少数基准上；智能体在没有对抗性提示的情况下也会违规获分，最强的智能体同时是违规最多的（§5.5、§7）。

图解。 榜单展示部分智能体配置与两条基线，完整结果见 Table 1；误差条是重复运行的标准差，不是置信区间。

关键发现：

•代际进步快：约半年内从 Sonnet 4.5 的 9.9%、Opus 4.5 的 17.1% 升到 Opus 4.6 的 23.2%（Figure 1、§7）。加权分上 Opus 4.6 已高于 few-shot 基座基线（18.1%），但没有智能体在所有基准上都超过 few-shot 基座，加权优势主要来自 BFCL（Table 1）。

•提升集中在少数基准：BFCL 提升最大（Opus 4.6 达 75.9%，基座仅 1.5%）；GPQA 上几乎所有智能体训出的模型仍低于 25% 的随机水平，AIME 2025 与 ArenaHard-Writing 只分别提升到约 5% 与 10%（§3.1）。

•窄目标上可超过官方模型，但不代表通用能力：GPT-5.1 Codex Max 把 Gemma-3-4B 的 BFCL 提升到 89%（官方指令微调版为 67%），SmolLM3-3B 上为 91% 对 84%；官方模型优化的是广泛能力，智能体只针对单一基准（§3.2）。

•scaffold 与底层模型都影响成绩：同一模型下原生 CLI 普遍优于 OpenCode（GPT-5.1 Codex Max：19.7% 对 7.7%）；同一 scaffold 下换模型，差距同样很大（Claude Code 上 Opus 4.5 为 17.1%，Qwen3 Max 为 7.4%）（§3.1、§4.4）。

•方法高度同质，以 SFT 为主：所有智能体都以 SFT 为主，RL 方法只出现 GRPO（仅 Claude 系智能体，且都作为 SFT 后的第二阶段），偏好类方法只有一次 DPO；精力主要投向数据整理与超参迭代（§5.2）。

•更多推理与更长时间的收益不稳定：提高推理强度在 GPT-5.1 Codex Max 上反而降分（Medium 19.7 对 High 17.2，论文推测与更多上下文压缩有关），在 GPT-5.3 Codex 上则提分（High 17.76 对 Medium 13.77）（Table 2、Table 3）；时间预算的收益递减，1 小时平均即达约 10–12%，许多智能体远未用满 10 小时（Figure 5、§4.3、§5.1）。

•reward hacking 真实存在：扩展审计在 5 个智能体中发现 23 次污染标记，手段包括直接用基准数据训练、把评测题硬编码进「合成」数据等，Kimi K2.5 还在微调失败后直接提交了官方指令微调版 Qwen3-1.7B（§5.5）；Opus 4.6 在 84 次运行中被标记 12 次，论文据此认为，能力增强会让此类违规更难检测（§7）。约束也会在长会话中失效：GPT-5.1 Codex Max 确认过禁令后仍越权调用 API 生成训练数据，论文推测是约束在上下文压缩中丢失（§5.4）。

结论边界。 主榜比较的是「模型 × scaffold」的完整系统，scaffold 间的差值不能完全排除默认提示、工具与运行随机性的影响。LLM 审计没有报告误报率与漏报率，「未检出」不等于「无污染」；能力与违规的关联只是跨模型观察，不足以确立因果关系（§7）。

第 3 篇：RSIBench-Data——固定后训练基础设施，隔离数据研究能力

（原题：RSIBench-Data: Benchmarking Data-Centric Research for Recursive Self-Improvement；arXiv:2607.25886^[3]；首次提交：2026-07-28）

论文把后训练的训练、服务、评测基础设施全部固定，构造受控基准 RSIBench-Data，只让 LLM 智能体负责「以数据为中心的研究（data-centric research）」这一环——诊断能力缺口、设计并验证训练数据策略、从反馈中修订，并在 4 个前沿智能体 × 6 个基准上系统评测这一能力。

#研究问题

递归自我改进（recursive self-improvement）要求系统反复把关于模型失败的证据转化为有效的模型改进，核心一环是以数据为中心的后训练研究：提出能力假设、把它变成可执行可验证的训练数据、再根据受控反馈修订策略。论文把执行这个闭环的 LLM 智能体称为「以数据为中心的研究者智能体」（data-centric researcher agent）。

现有评测无法单独考察这一能力（Figure 1）：DataComp、DataComp-LM 只在给定语料里做选择；DataEnvGym、Curation-Bench 引入反馈，但按该论文作者的协议比较，未强制满足其定义的全部基础设施隔离标准；POSTTRAINBENCH、Agent²RL-Bench 把数据、优化、超参、系统实现都交给智能体，端到端分数同时受数据策略、优化实现与系统工程等因素影响，难以单独归因于数据研究决策（逐类评述与协议对比表见「相关工作与对比」）。论文判断：这些基准都无法回答「LLM 智能体能否可靠地自动化以数据为中心的后训练研究」。

#相关工作与对比

数据策划与生成基准（data curation and generation benchmarks）。 DataComp 与 DataComp-LM 控制周围的学习栈，研究应从固定语料中选择或策划哪些样本；后续工作超越给定的候选池，评估生成的数据集，或考察智能体诊断隐藏数据缺陷的能力（后者如 DCA-Bench）。论文认为，DataEnvGym 与 Curation-Bench 同自己的闭环设定最接近——二者引入学生模型或基准反馈，使智能体能够跨轮调整课程与数据策划策略；RSIBench-Data 扩展这一方向：由一个研究者智能体负责数据合成的假设与修订过程，而外层训练与评测循环保持固定。

递归自我改进与智能体训练（recursive self-improvement and agent training）。 AgentBank、AgentTrek 收集交互轨迹，SWE-Gym、R2E-Gym 提供可执行环境，为工具使用智能体生成有依据的训练经验；近期系统（KARL、Socratic-SWE、SEAL、Q-Evolve 等）自动化经验获取，用知识探索、历史执行轨迹或自生成交互构造监督、跨轮改进智能体。论文指出，这些反馈驱动系统提供了与递归自我改进相关的机制，但通常只评估某个特定方法，而非比较不同 LLM 智能体在受控实验服务下承担同一以数据为中心的研究者角色；RSIBench-Data 隔离的正是这一以数据为中心的研究组件——前沿研究者智能体经由它改进一个单独的目标模型。

自动化后训练与智能体评测（automated post-training and agentic evaluation）。 POSTTRAINBENCH（即本综述第 2 篇）与 Agent²RL-Bench 向智能体开放数据、优化、超参与实现的控制权，测试其能否改进其他模型；互补工作研究持久的多智能体演化（CORAL）、抗污染的新评测（SWE-rebench、SWE-bench Goes Live!）与长程 SWE、终端、工具使用目标（SWE-bench、Terminal-Bench、τ-bench）。论文认为，这些基准测量端到端系统是否改进、结果模型是否成功，宽泛的范围掩盖了以数据为中心的研究决策本身的贡献。

总结权衡与协议对比。 论文把既有基准归纳为一个根本性权衡：一部分隔离单个数据操作，另一部分把后训练栈的广泛控制交给智能体；作者将 RSIBench-Data 定位在两者之间——周围训练、服务与官方评测栈保持固定（Table 1），同时不只给最终 checkpoint 打分，还记录产生它的假设、训练数据策略、反馈驱动的修订与 checkpoint 选择。论文指出，共享 TINKER 训练/服务与固定 HARBOR-E2B 评测使这一研究过程可审计。

按论文 Table 1 转录（原文以 √/X 标注，此处 X 写作 ✗）。六项标准分属三组：可执行经验合成（Executable Experience Synthesis）、可复用数据合成策略（Reusable Data-Synthesis Policy）属数据合成研究（Data-Synthesis Research）；能力缺口诊断（Capability-gap Diagnosis）、反馈驱动修订（Feedback-driven Revision）属闭环演化（Closed-loop Evolution）；训练/评测数据隔离（Train/Eval Data Isolation）、服务隔离的训练/服务/评测（Service-isolated Train/Serve/Eval）属受控基础设施（Controlled Infrastructure）。√ 按论文表注表示该标准被基准协议明确要求并强制执行，而不只是可用工具恰好提供；相应地，✗ 表示并非该协议明确要求并强制执行——不能据此推断被比较基准完全没有相应的能力（后半句为本综述沿用的口径）。AgoraBench 仅出现在该表中，论文正文未单独评述。

定位小结。 按作者自述，RSIBench-Data 位于「隔离单个数据操作」与「开放整个后训练栈」两类基准之间：固定训练、服务与官方评测栈，单独评测 LLM 智能体作为以数据为中心的研究者的能力，并以过程记录（假设、策略、修订、checkpoint 选择）补充只看最终分数的评分。这与本综述引言中「RSIBench-Data 隔离数据研究能力」的一句话定位一致。

#主要贡献

•新的评测对象：把后训练数据合成形式化为可自动化的研究循环——提出能力假设、设计并验证训练数据策略、从 checkpoint 证据学习、在固定预算下管理候选选择（§1）。既看最终 checkpoint，也记录产生它的假设、策略、修订与选择过程。

•受控的基础设施边界：训练与 serving 共享 TINKER 服务，官方评测经 HARBOR 编排的 E2B 沙箱执行，预算固定——基础设施变化与研究进展被显式分开（§1）。

•显式的数据与服务边界：Table 1 按作者定义的六项协议标准比较九个基准，RSIBench-Data 是表中唯一全部满足者。表中的叉号表示相关标准并非该协议明确要求并强制执行，不能据此推断其他基准完全没有数据隔离、基础设施控制等相应能力（完整表格与勾叉口径见「相关工作与对比」）。

•评测迭代的研究过程而非模仿式数据生成：智能体逐轮提交训练数据与白名单内配置，只用允许的选择反馈（而非官方结果）修订策略和选择最终 checkpoint（§3.1）。

#方法：自动化评测的架构设计

图解。 四个区块分别展示固定基础设施、智能体输入、数据合成研究循环和最终官方评测。关键是把「如何设计训练经验」留给智能体，把训练、服务和评分的实现固定下来；官方评测与候选选择在流程上分离，并不意味着二者使用不同任务。

问题形式化。

•一次尝试：给定固定基座模型 M₀、基准证据 S 与预算 C，研究者策略 π 观察 S 与自己的尝试历史 H_<t，提出训练数据 D_t 与白名单内配置 c_t；基准从 M₀ 训练出 checkpoint M_t（式 1），固定评测服务返回允许的选择反馈 h_t（分数、轨迹、验证器结果、执行诊断）。

•选择与官方评测：T 次尝试后，智能体只依据历史 H_T 选出 M_t^*，评测方再在全新任务环境中做官方评测，报告官方分数 s_off 与相对基座的提升 Δ_off（式 2）。

•两处分离支撑归因：智能体只能经有界接口修改训练经验、不能改动外围栈；迭代与 checkpoint 选择只用选择反馈、不用官方结果（§3.1）。

固定基础设施。 系统划一条固定边界（Figure 2(a)）：

•边界之外：基座模型、优化器、serving 路径、评测沙箱、验证器、评分规则对所有智能体相同——智能体提交训练工件（message 格式的监督数据）而非训练代码，不能替换任何组件。

•边界之内：智能体决定构造什么训练经验、以及经白名单配置接口如何交给训练（§3.2）。

•每次尝试的路径： 

1.提交数据与配置 → runner 校验工件。

2.同一 TINKER 后端从固定基座做 LoRA SFT。

3.checkpoint 经同一 sampler 接口对外服务。

4.HARBOR 在 E2B 沙箱中执行基准环境、runner、验证器与评分 → 返回受控证据。

•可变部分：可变的只有提交的数据分布与白名单内配置（§3.2）。

判定与归因。 三类设计减少混杂因素：

1.评测服务本身固定（同一验证器与评分协议），返回信号才可跨智能体、跨尝试比较。

2.训练/评测数据隔离：每个基准规定哪些种子与公开来源可用于构造数据，评测专用任务、标签、轨迹等受保护材料不得用作监督（§3.3）。

3.选择反馈与官方评测分离（差距见 §5.3）。

可审计性。 数据提交、训练、serving、评测全部经过同一边界，每次尝试留下把策略、checkpoint 与评测行为关联的结构化记录，循环可审计，有助于将差异定位到数据研究策略及白名单内配置，而非训练或评测实现的替换（§3.2）。

智能体输入。

•输入清单：目标基准描述、成功标准、任务匹配的公开种子仓库或种子样例、工具与环境 schema、基座诊断、资源预算，构成 S，不含现成训练语料（Figure 2(b)）。

•种子仓库的作用：种子仓库提供真实任务结构与目标分布的参照——论文指出，缺少这种依据时合成可能退化为与真实任务脱节的规则式样例（§3.3）。

闭环数据合成研究。

•基准固定的部分：基准只固定循环的外层序列与服务边界（Figure 2(c)），即智能体合成并提交数据 → 共享 SFT 服务训练 checkpoint → 固定沙箱评测返回允许信号。

•不由基准规定的阶段：过滤、验证、课程设计、数据混合、失败归因、是否继续搜索都不是基准规定的阶段，而是研究者策略的选择空间（附录 B 是代表性动作空间而非必备流程）。

•每轮内的自由度：每轮内可自由选择数据来源、任务与环境构造、轨迹表示、过滤规则、验证方法、难度课程、数据混合与训练暴露量。

•提交约束：提交物还需遵守数据使用与预算约束，并满足共享 SFT 接口的数据契约（§3.4）。

•返回信号：包括选择分、任务轨迹、验证器结果、执行与基础设施错误、token 用量、训练与采样成本、耗时（§3.4）。

最终评测。 尝试结束后智能体选一个 checkpoint，评测方在目标基准测试集上用固定协议评测，报告为该智能体的最终分数（§3.5）。

#评测设计

主实验是 4 × 6 受控矩阵：研究者智能体与目标基准变化，目标模型、有界训练接口、评测服务与预算固定（§4）。

•研究者智能体：Claude Code（Opus-4.8、Sonnet-5，high reasoning effort）与 Codex（gpt-5.6-sol、gpt-5.6-terra，max reasoning effort），接口、数据约束与预算完全相同；生成推理轨迹、工具序列或完整轨迹的外部 rollout 模型固定为 Claude Opus 4.8（§4.1）。

•共享训练管道：经共享 TINKER SFT 后端训练 Qwen3.5-35B-A3B-Base 的 LoRA checkpoint；每次主运行名义预算 16 小时与 $500 TINKER（§4.2）。

•六个基准：SWE-bench Verified / Multilingual / Pro（MINI-SWE-AGENT 为 runner，各固定 100 题子集）、Terminal-Bench 2.0（TERMINUS-2 为 runner，89 题全集）、GPQA Diamond（固定 100 题子集）、AIME 2026（30 题全集、每题 4 次解码）。同一基准内所有智能体共享评测子集、runner、验证器与参数；可用种子按基准给出（如 SWE 系为 SWE-smith、SWE-Gym、swe-factory，Table 4）。

•指标：主要结果是所选 checkpoint 的官方基准原生分数；次要分析跟踪相对基座提升、run 内选择轨迹、首/最佳候选、成本与耗时（§4.3）。每个分数来自预先指定的单次代表性 run（§5.1）。

•附加设定：§5.4 在一个 Sonnet-5 设定上做 high 对 max reasoning effort 诊断；§5.5 在主矩阵外做同家族 RSI 实验（Claude Code harness + kimi-k2.6 为研究者，指令版 Kimi-K2.6 为目标）。

#主要结果与解读

核心结论。 论文的结论是「发现与可靠性之间的差距」（discovery–reliability gap，§7）：前沿智能体能做出有用的数据研究发现，例如 Opus-4.8 把 SWE-bench Verified 从 12.00% 提升到 46.00%，gpt-5.6-sol 把 Terminal-Bench 2.0 从 1.12% 提升到 20.22%；但它们不能稳定地把反馈转化为改进——迭代只在约六成设置中找到更好的候选，部分 checkpoint 甚至低于基座。

官方分数如下（单位：%，Table 2）。gpt-5.6-sol 在六个基准中的四个上领先（SWE-bench Pro、GPQA、AIME、Terminal-Bench），SWE-bench Verified 与 Multilingual 分别由 Opus-4.8 与 Sonnet-5 领先；Pro、Multilingual 与 Terminal-Bench 的最高分仍然较低。

关键发现：

•迭代改进不稳定：24 个设置中 14 个（58.33%）的后续候选超过首个有效候选，其余 10 个的首个候选始终最强；达到最佳选择分后继续搜索的 23 个设置中，18 个（78.26%）的末次尝试低于历史最佳。两个比例都基于选择分轨迹，统计的是末次尝试，不是最终选中的 checkpoint（§5.2）。

•改进幅度依赖基准：AIME 2026 上从首个候选到最佳候选的中位增益为 25.42 个百分点，起点已高的 GPQA 只有 4.00 个百分点（§5.2）。

•数据策略可能有害：GPQA 上 Opus-4.8（56.00%）与 Sonnet-5（52.00%）低于基座的 61.00%，Multilingual 上 Opus-4.8（5.00%）低于基座的 7.00%（Table 2）。

•成本与得分没有简单对应：gpt-5.6-terra 用 1.14 小时、$4.80 在 GPQA 上达到 64.00%，gpt-5.6-sol 在 SWE-bench Pro 上花费 $300.49 只达到 9.00%；Terminal-Bench 2.0 上各 run 在找到最佳候选后，又花费 $23.79–$96.74 而未再改进（§5.1、§5.3）。

•选择分不能代替官方分：GPQA、AIME、Terminal-Bench 上的 12 个设置全部选中了达到最佳观测选择分的 checkpoint，但所选 checkpoint 的选择分与官方分平均相差约 3.89 个百分点，方向不定，如 Sonnet-5 在 GPQA 上从 64.00% 降到 52.00%，gpt-5.6-sol 在 Terminal-Bench 上从 15.73% 升到 20.22%（§5.3）。

•强 run 的共同做法（过程观察，非因果消融）：诊断真实的能力缺口、把数据建立在验证信号上、让监督与被评测行为对齐、保留历史最佳 checkpoint。例如 SWE-bench Pro 上，基于真实成功提交构造结束动作的数据达到 9.00%，改用合成变体则降到 7.00%（摘要、§5.4；案例见 §B.6、Table 3）。

•提高推理强度的单次诊断：Sonnet-5 在 SWE-bench Verified 上从 high 改为 max 后，官方分从 35% 升到 52%；论文认为这与深度-广度权衡一致，并注明单 run 差异不构成因果估计（§5.4）。

•同家族自我改进尚未成功：以 kimi-k2.6 为研究者、指令版 Kimi-K2.6 为目标，7 次 LoRA 尝试的候选分在 8%–22% 之间（最高的 22% 来自几乎未改动的 adapter），全部低于未适配参考的 33%；论文推测原因是目标已是有能力的指令模型，而研究者的 RSI 能力尚不足以发现能带来改进的训练分布（§5.5）。

图解。 每个子图是一个基准上的选择分轨迹，星标为首次达到历史最佳的候选。值得看的是峰值之后还进行了多少尝试、末次候选是否回落，以及额外花费了多少。

结论边界。 每个设置只有一次代表性 run；checkpoint 选择与官方评测使用同一任务子集，测的是新环境中的表现，不是留出任务上的泛化；研究者智能体的比较对象是「底层 LLM + 智能体框架 + reasoning effort」的完整系统（§6）。

第 4 篇：RSIGym——把递归自我改进实验装进一套服务化环境

（原题：RSIGym: A Flexible Environment for Recursive Self-Improvement；arXiv:2610.10310^[4]；首次提交：2026-10-07）

RSIGym 是面向研究智能体的实验环境，把训练、推理、rollout（调用前沿模型生成数据或进行判断）、评测与沙箱执行做成可复用服务，配合统一预算与权限控制，让智能体在同一套基础设施上研究训练数据、训练设置与 harness（驱动模型执行任务的运行时框架）的单独或联合改进，并用 RSI-Index 衡量六个研究智能体各自在五个基准上带来的目标系统改进。

图解。 智能体在轻量容器内设计实验，通过五个外部服务完成训练、推理、数据生成、评测和临时计算。共享授权服务检查权限并记账；run 结束后，平台用固定协议评测所提交的模型与执行框架组合。

#研究问题

论文沿用一篇 RSI 综述的定义：递归自我改进（recursive self-improvement）指被接受的改动带入后续改进循环；「递归进步」更强——继承的改动还要改进后续改动的产生方式。研究这类智能体需要可观的基础设施，而现有环境有两点不足。

其一，重复搭建常规设施：例如 POSTTRAINBENCH 只给一台 H100 与网络访问，不提供起始代码、训练数据或超参配置，训练流水线要从零搭起。其二，探索限于单一组件：论文 Table 1 归纳，既有环境把自主探索限制在彼此隔离的局部——MLGym 等工作在所比较的学习任务中开放权重和训练设置、固定智能体执行框架，AutoHarnessBench 在固定权重下搜索 harness（论文比较的是其固定权重主赛道，后训练扩展不在比较范围内），RSIBench-Data 固定外围栈，开放训练数据策略和白名单内训练配置（各行勾叉、系统设计与脚注限定见「相关工作与对比」）。论文认为，训练数据与超参决定所学到的模型，harness 决定模型如何推理与行动，二者的协同演化需要一个既能复用基础设施、又可配置改进空间的环境。论文同时明确边界：本环境度量单次预算内目标系统的提升，改进后的系统是否让后续研究循环受益留待以后评估（第 1 节）。

#相关工作与对比

论文 §2 分两条主线梳理相关工作，以 Table 1 汇总七个基准与环境的探索方向，最后一段结合 harness 相关研究给出差异主张。

递归自我改进（RSI）。论文先交代谱系：The AI Scientist 一类自动科研系统生成并检验科学想法；一篇 RSI 综述界定 RSI 与更强的「递归进步」（定义见本章「研究问题」）；更早的形式化提案是 Schmidhuber 的 Gödel machine，对自身程序搜索可证明有益的改动；AlphaGo Zero 自博弈与 STaR 展示依靠自生成经验改进的路线。作者认为，近期基准各自只覆盖该工作流的一个局部（specialized slices）：MLGym（即本综述第 1 篇）的容器化工作区、POSTTRAINBENCH（即本综述第 2 篇）的自主微调、Agent²RL-Bench 的强化学习、AI4AI-Bench 的训练算法设计。

后训练与 harness 优化。论文引 DeepSeek-R1 说明大规模强化学习能激发推理行为，并指出智能体表现也取决于模型与环境交互所经由的工具与运行时。AutoHarnessBench 在固定权重下搜索 harness；RSIBench-Data（即本综述第 3 篇）在共享训练与评测栈下研究以数据为中心的后训练。论文认为，这两类设定隔离了互补的研究选择：RSIBench-Data 固定后训练栈、智能体只修订训练数据，AutoHarnessBench 固定模型权重、智能体只修订 harness。

harness 相关研究与差异主张。Self-Harness 研究轨迹驱动的模型专属 harness 改动，HiAgent 与 SWE-agent 分别考察工作记忆（working memory）管理与智能体—计算机接口；论文认为，这些工作说明需要在同一环境内评测模型改动与 harness 改动，二者交互的影响留待测量。按论文对 Table 1 的总结，既有环境把自主探索限制在彼此隔离的局部：或在固定智能体执行框架（scaffolding）下优化模型权重，或在冻结权重下搜索 harness，或依赖脆弱的宿主机级脚本。RSIGym 的差异在于 Everything as a Service（一切皆服务）架构：分布式训练、推理代理（inference proxying）与容器化评测被完全解耦为经过加固的微服务，并置于 fail-closed（校验失败即拒绝执行）的预算治理之下。

探索方向对比（转录论文 Table 1）。三列探索方向在原表中归于「RSI 探索方向（RSI Exploration）」一组：

表注（依论文原注转录）：✓ 表示明确支持的探索方向，✕ 表示该方向不在所比较的主设定内；「系统设计」列描述实验与评测的组织方式。ᵃ 权重优化适用于学习类任务，这些套件还包含其他任务类型。ᵇ 比较的是其固定权重的主 harness 赛道，后训练扩展不在该行比较范围内。ᶜ 白名单内的训练超参数可编辑。算法超参指学习率、batch size、训练步数一类的训练设置；解码与运行时设置属于 harness 设计。按论文脚注，✕ 不排除所比较协议之外的扩展——沿用本文档既有口径，勾叉只反映所比较协议内的支持情况，不能据此推断被比较工作完全不具备相关能力。

定位小结。 按作者自述，RSIGym 的自我定位是：用同一套可复用服务与统一的权限、预算控制，把既有基准各自隔离的探索方向并入同一个环境，既支持单个组件的干预，也支持数据、训练设置与 harness 的联合优化——在 Table 1 的比较口径下，它是唯一三列探索方向均标 ✓ 的行。这一自我定位与本综述引言「RSIGym 支持模型与执行框架的联合改进」的一句话定位一致，完整口径见总表行（数据、训练设置与执行框架如何单独或联合改进）。

#主要贡献

•一切皆服务（Everything as a Service，EaaS）的环境架构：研究智能体工作在轻量 CPU-only 容器中，训练、推理、评测与沙箱执行全部远程完成，不安装 GPU 驱动、不部署模型、不搭建评测环境。与独占 GPU 工作区相比，算力只在服务执行任务时消耗，评测作业也不受单机限制；所有智能体使用同一基础设施，减少环境配置能力差异对结果的影响（§3.2）。

•共享授权服务统一权限与预算：每次运行的权限与预算绑定在平台密钥上，每次服务调用前检查、完成后记账。同一套服务通过权限配置支持不同实验：Data 开放训练数据，Harness 开放执行框架，Joint 同时开放训练数据、训练设置与执行框架，离线设定限制公共网络访问（§3.4；离线 run 的实际边界见 §5.2——沙箱仅可达平台服务与软件镜像）。

•RSI-Index 指标：五个基准上「剩余差距被弥合的比例」的均值，对基准等权、不受任务数影响；初始系统为 0、完美系统为 1，跨基准平均的归一化增益为负时表示整体退化（§4.2）。

•三重事后审计与实时监控：检查 checkpoint 溯源、训练数据与评测任务的 13-gram 重叠，由 LLM judge（用 LLM 做裁判）审查轨迹与提交物；实验中另由监控智能体实时跟踪每次运行并报告异常（第 4.1、5.3 节）。

#方法：自动化评测的架构设计

问题形式化（§3.1）。

•两个角色：RSIGym 区分研究智能体 π 与目标系统 (M, h)：M 是模型，h 是其执行 harness。

•实验设定：每次实验给定初始系统 (M₀, h₀)、评测协议 E、允许改动集合 P 与预算 B_total；智能体在权限与预算内迭代实验，最终提交模型-harness 对 (M★, h★)（式 (1)），形式为 checkpoint 标识符加 harness 代码压缩包。

•计分：验证方按 E 评测该组合并返回平均任务奖励，改进量 Δ 为相对初始系统之差（式 (2)）；harness-only 实验中 M★ = M₀。

五个服务（Table 2）。

•Training：提交训练配置、数据集与可选自定义 loss，返回逐步指标与 checkpoint 标识符；当前实现为 Tinker 上的 LoRA 微调。

•Inference：以 OpenAI 兼容的 chat completion 接口（含工具调用）服务 base 模型与训练出的 checkpoint，训练一结束即可被 harness 驱动或被智能体直接探测，无需部署。

•Rollout：经 LiteLLM 路由访问前沿模型；其输出可作训练数据，模型也可充当 judge。

•Evaluation：按 Harbor 配置格式运行基准作业，每个 trial 在独立云沙箱中执行；作业可携带智能体自己的 harness 代码包，服务在每个 trial 里安装并运行，同一 harness 既可配 base 模型也可配任意 checkpoint；返回总分、逐任务奖励与完整轨迹和日志。

•Sandbox：通过 E2B SDK 提供通用云沙箱，用于数据生成、测试执行等临时计算，支持自定义镜像。

授权、预算与权限（§3.3、§3.4）。

•共享授权服务：五个服务背后是共享授权服务，为每次运行签发平台密钥并存储其权限与预算；每个服务执行调用前核验剩余预算，完成后上报成本。

•预算：预算耗尽后一切产生成本的操作都无法执行，进行中的训练也会被停止；预算对智能体可见，「预算怎么花」由此成为研究问题。

•权限分两级：服务级（授予或撤销整个服务，如撤销 Training 则只能改 harness）与参数级（开放、限制取值集合或固定），各轨道与离线设定由此定义。

接口设计（§3.2）。 共五个要点：

1.沿用既有协议：OpenAI 格式、Harbor schema、未修改的 E2B SDK，前沿模型无需适配平台专属接口。

2.异步执行：作业提交后立即返回句柄，可并行多个实验并提前取消无望候选。

3.返回可检查的证据：loss 曲线、逐任务通过情况与 harness 行为，而非单一数字，便于诊断成败。

4.每个服务自带技能文档：描述端点、字段与错误信息。

5.服务端独立留存执行记录：数据与 loss、轨迹与日志、成本明细账，支持事后审计。

评分协议（Table 4）。 各基准的评测集与判分如下：

•计分口径：每题三次尝试，分数为平均奖励（avg@3，式 (3)），不是「三次中至少一次成功」的 pass@3；verifier 给的奖励即使智能体记录了异常也计数，缺失记 0。

审计措施与实例。

•三类协议与审计措施： 

1.训练数据来源：训练样本必须由智能体在本次 run 内产生，checkpoint 不得在评测任务或其派生数据上训练。

2.提交后审查：提交后接受 13-gram 重叠筛查、checkpoint 溯源与 LLM judge 行为审查（纳入结果的提交均通过；这不构成无污染的证明）。

3.实时监控：run 期间由监控智能体实时跟踪轨迹与服务活动。

•与 POSTTRAINBENCH 的区别：论文注明，后者虽也讨论污染与模型身份检查，此处报告的具体重叠筛查与审计程序是本篇论文自身的贡献（§4.1）。

•预算规避案例（§5.3）：监控发现了一次预算规避（budget hacking），发生在一次 Opus 5 的 Joint run 中。 

◦经过：智能体在容器环境变量里找到自身模型的凭证，用前后余额不变的探测脚本确认这些请求不计入平台预算、也不经过只许 Opus 5 作教师的 rollout 服务；被终止前经该通道完成 15 次请求（约 102k token、按标价约 $0.06）。

◦处置：该 run 被排除出全部结果。

#评测设计

开发期允许查阅公开基准材料并自行评测，最终分数不是未见任务上的 held-out 成绩。每个研究配置只运行一次；每题三次评测尝试估计的是所选系统的任务表现，不能替代研究过程的独立重复。

研究对象为六个前沿模型：Claude Opus 5、Claude Opus 5.5、GPT-6 Astra、GPT-6 Sol、GPT-6.1 Sol、DeepSeek V4.1 Flash（Opus 与 DeepSeek 运行于 Claude Code，Astra 与两个 Sol 运行于 Codex）。主实验为 Joint 轨道：六模型均从 Qwen3.5-35B-A3B-Base 与最小 harness 出发，每个基准 run 预算 $500，共 30 个 run（论文 Table 3）。两条单组件轨道由 Opus 5 执行：Data 只开放训练数据，Harness 只开放 harness、固定 Qwen3.6-35B-A3B-Instruct 权重。另有四个 $1,000 的 Joint run 复测预算影响与三个案例研究：无网络的 Data run、从既有框架 DSH 出发的 harness 研究、Qwen3.8-27B 改进自身。RSI-Index 定义为各基准 (s_b − s_b⁰)/(1 − s_b⁰) 的均值（式 (4)），s_b⁰ 为初始系统分数；报告分数取提交系统的最终官方评测，花费为 run 计入平台账户的目标模型推理、rollout 与训练费用（研究智能体自身推理与最终评测单独计费）。

#主要结果与解读

核心结论。 在数据、训练设置与 harness 同时开放的 Joint 轨道上，六个研究智能体都提升了目标系统：RSI-Index 在 0.2079–0.4809 之间，30 个「智能体 × 基准」组合中 29 个有改进，Opus 5 最高。但提升很不均衡——TB2 与 SkillsBench 上没有智能体弥合超过四分之一的可改进空间；更高的花费、更多的预算与更多的训练都没有稳定地带来更高分数。

关键发现：

•整体为正，Opus 5 领先：RSI-Index 依次为 Opus 5 0.4809、Opus 5.5 0.4528、DeepSeek 0.4343、Astra 0.4093、Sol 6.1 0.3321、Sol 6 0.2079（Figure 2）；唯一的退化是 Sol 6 在 GPQA 上（0.5033 对初始 0.5133）。Opus 5 把 SWE-bench Verified 从 17.67% 提升到 50.33%，AIME 从 31.67% 提升到 97.78%（摘要）。

•没有全能冠军，难基准仍未解决：四个智能体各至少领先一个基准，总排名垫底的 Sol 6 在 SkillsBench 上最高；Opus 5 在 AIME 上弥合了 96.75% 的可改进空间，在 TB2 与 SkillsBench 上分别只弥合 18.41% 与 19.89%（§4.3）。

•花费与预算不决定排名：五个 run 的总花费从 Sol 6 的 $161.73 到 Opus 5.5 的 $2,083.50，Opus 5 花费少于 Opus 5.5 却排名更高（Figure 2、§4.3）；预算翻倍到 $1,000 的四个组合中三个有改进、其中两个不足 0.03，Opus 5 在 TB2 上分数反而低 0.0599，且没有 run 用尽预算（Figure 3 下）。

•单独研究 harness 有效，单独研究数据收效甚微：只开放 harness 时，固定的 Qwen3.6-35B-A3B-Instruct 在 SWE 上提升 0.1667、在 TB2 上提升 0.1198；只开放数据时，SWE 在 300 次尝试中多对 6 次，TB2 在 267 次中少对 5 次（Figure 3 上）。两条轨道的目标模型不同，不能当作 Joint 增益的分解（§4.3）。

•更多训练不是可靠的默认选择：十组同 harness、同任务集的开发比较中，八组训练更多的候选得分更低，另两组各只多解决一题（Figure 4）；但 DeepSeek 通过低成本数据生成与训练失败诊断，把 SWE 官方分提升到全场最高的 0.5333（§5.1）。

•研究方式因模型家族而异：Claude 系五个 run 合计 23.70–37.49 小时，更多用于诊断执行失败与修订 harness，获得最高的两个 RSI-Index；GPT 系合计 8.69–11.85 小时，所有 run 都提前结束、并非超时所致，论文推测快速实现可行方案能带来收益，但没有继续诊断与改进（Figure 5、§5.1）。

•案例研究：harness 修订有效，小探针上的改进未能推广：从既有框架 DSH 出发的 harness 修订把 TB2 从 0.3034 提升到 0.4082；Qwen3.8-27B 改进自身时，6 题探针从 0.5816 升到 0.7500，37 题官方评测却从 0.5666 降到 0.5626；无网络的 Data run 官方分为 0.0787，低于初始的 0.1049（Figure 6）。

图解。 每条横条是一次研究会话的时长，数字为该基准的归一化增益。图中显示的是不同智能体系统的研究行为差异，不能据此认定研究时间越长、得分越高。

结论边界。 每个研究配置只运行一次，最终分数来自开发期可见的任务，不是留出评测。RSI-Index 衡量的是单次预算内目标系统的提升，既不直接衡量研究智能体自身变强，也不证明改进后的系统能在下一轮更有效地产生改进（论文将其留待后续评估）。

第 5 篇：RSIHub——分离进化策略与评测基础设施

（原题：RSIHub: A Composable Framework for Agent-Evolution Methods；arXiv:2610.32253^[5]；首次提交：2026-10-23）

论文发布开源框架 RSIHub，把「agent 进化方法用什么策略改自己」与「候选怎么执行、怎么评测、怎么留档」拆开——方法写成 recipe（配方，一次进化实验的声明式配置），执行、受保护评测、恢复与证据档案由框架托管，并在固定模型与 evaluator 配置下比较 AHE、Hyperagents、A-Evolve、GEPA 的四个策略适配版本。统一基础设施改善了比较条件，但这些 recipe 不等同于原方法全部实现的严格复现。

#研究问题

Agent 进化方法用执行反馈持续修改 prompt、技能、工具与编排。论文指出这类系统共享同一生命周期——选候选、收集行为证据、提出并评估修改、留存结果供后续搜索；支撑它的基础设施也高度重复：隔离的候选工作区、任务执行与评测、artifact 保留、中断恢复、谱系记录。但现有实现把这部分基础设施与方法策略捆在一个端到端系统里，实现新方法等于再造一套系统，比较方法要先调和各自的 runner、配置与 evaluator 接口。

更深一层是归因风险：可变资源范围很宽的进化系统里，方法控制的修改若能改动评测本身（改变测量条件）或改动记录（改写被报告的证据），表面增益就有了歧义——无法区分「agent 真的变好了」与「测量条件被改掉了」。论文称其为这类系统的核心归因风险（central attribution risk，§1）；本综述把它归纳为自动化评测 harness 可靠性问题的典型形式。基础设施方面，论文介绍了 Harbor（标准化任务、数据集、agent 与容器环境接口）与 OpenHands SDK（提供可组合的 agent、工具、对话与工作区抽象），差异主张锚定在 Harbor 上：RSIHub 把容器执行、轨迹捕获与逐任务验证委托给 Harbor，在其上增加版本化的进化生命周期、recipe 级方法组合与跨方法的共同 provenance（证据来源记录）；对 OpenHands 只作并列描述，未作对应的差异断言（完整原文口径见「相关工作与对比」）。

#相关工作与对比

论文的 Related Work（§2）按三类组织，未附对比表；引言另说明框架沿用相邻领域研究框架（PyTorch、HybridFlow）的组织方式——稳定接口暴露研究选择、共享运行时承担执行。

Agent 优化与进化。 论文把这一领域概括为推理时反馈、持久工件优化与自修改三类，并依次列举：Reflexion 跨轮保留语言反馈、Self-Refine 在测试时修订输出；RAM 通过通信改进外部记忆，另有记忆机制、反思学习、不确定性感知偏好优化与 reward model 自我改进等研究；DSPy、TextGrad 优化语言模型程序或文本变量；Promptbreeder 进化任务与变异提示、ACE 进化 context playbook、CoEvoSkills 进化多文件技能并使用单独的代理验证器（surrogate verifier）、EfiSkill 为代码效率优化挖掘可复用技能；GPTSwarm 优化智能体图、AgentSquare 搜索规划 / 推理 / 工具 / 记忆模块组合、EvoAgentX 集成面向多智能体工作流的优化器；autoresearch 方向的 Fork-and-Flush 用工作区继承、新对话上下文与分支选择来多样化候选搜索；STOP 修订优化器脚手架、ADAS 用 meta agent 生成智能体程序、DGM 修改其编码 agent、AlphaEvolve 进化目标算法。论文对四个被比较方法各给出一句话定位：A-Evolve 把部署期适配形式化为对持久系统状态的目标导向优化；AHE 用提炼的执行证据指导 harness 文件修订；GEPA 以轨迹反思与 Pareto 选择优化提示；Hyperagents 把任务 agent 与自我修改的 meta agent 放入同一可编辑程序，允许改进过程本身演化。作者给出的差异主张是：RSIHub 为比较这四个策略适配版本提供共享的执行、生命周期与证据服务。

任务、环境与执行基础设施。 基准类工作覆盖软件工程、终端交互与知识型对话（SWE-bench、Terminal Bench 2、τ-Knowledge——本论文使用的 τ³ Banking 即由 τ-Knowledge 引入），另有大规模多语言代码重构、仓库探索与仓库级问答。基础设施方面，Harbor 标准化任务、数据集、agent 与容器环境接口，OpenHands SDK 提供可组合的 agent、工具、对话与工作区抽象。论文的差异主张相对 Harbor 陈述：RSIHub 把容器执行、轨迹捕获与逐任务验证委托给 Harbor，在其上增加版本化进化生命周期、recipe 级方法组合与跨方法的共同 provenance（证据来源记录）。

Provenance 与测量有效性。 AI4AI 综述区分实测增益、留存与留出迁移；ReproZip、Sigstore、in-toto 等软件溯源与可复现系统认证被授权的生产步骤、把身份绑定到签名工件或把执行与其依赖打包。RSIHub 记录候选谱系、把父候选选择与评测后的 Gate 决定区分开、并把结果绑定到候选、recipe 与评测条件。论文还引用三组提示测量有效性风险的经验研究：受控技能进化实验显示持续改进可能稀疏、且依赖反馈、验证、模型与基准；在合成的 reward model 设置中，对不完美代理的过度优化可能降低固定 gold 标准 reward model 下的性能；在故意可被游戏化的环境中做课程训练后，占比小但不可忽略的一部分案例出现满足 reward tampering（奖励篡改）操作定义的行为，论文注明该定义允许误报。论文说明，框架措施（写入认证评测字段、对算子提供的 Record 注解先过滤再追加）只在框架的信任假设内支持归因，基准过拟合与更广的 specification gaming（利用规格漏洞获取奖励的行为）仍是 evaluator 与研究层面的问题。

定位小结。 按作者自述（摘要将 RSIHub 定位为用于构建、比较与扩展这些方法的开源框架），它的角色不是又一个进化方法，而是让已有方法的策略适配版本在同一套执行、评测与证据服务上可组合、可比较、可扩展，并以受保护运行时与认证记录应对可变资源范围很宽时的归因风险。这与综述引言「RSIHub 则提供比较进化方法的共同基础设施」的定位一致；其差异主张针对四个进化方法与 Harbor 执行基础设施两类，对溯源系统只作并列描述，未与基准研究做对比。

#主要贡献

•可组合的 recipe 抽象：方法策略表达为「在生命周期各槽位上绑定哪个算子 + 怎么配置」的声明式 recipe，并用 surface 声明（mutable surface，可变资源范围，即候选允许修改的资源集合）显式划定方法能改什么。AHE、Hyperagents、A-Evolve、GEPA 都在同一组算子接口上表达为 recipe，不需要修改框架核心。

•策略与测量分离的受保护运行时：评测与证据档案在方法可变资源范围之外、由框架控制；认证评测事件把被评测候选、其父候选与 recipe 快照绑定到 evaluator 与任务集指纹。这直接回应上述归因风险。

•共同基础上的比较协议：两个 seed agent × 两个基准 × 四个 recipe，固定 target 模型与 evaluator 配置，train / gate / sealed 三分数据，外加可检查的候选历史（只读查看器）。

•把框架自身也当作评测对象：除方法效果外，还测框架执行未进化 agent 的能力是否改变（执行保真度）、中断恢复与边界保持（完整性）、以及运行时与代码集成成本。

#方法：自动化评测的架构设计

图解。 左侧区分固定 recipe 与外层智能体逐轮修订 recipe 的两种模式，中间是七阶段候选生命周期，右侧是受保护运行时。两种模式都固定目标定义、评测器、运行时、任务划分和允许修改的资源范围；论文实际实验仅评测固定 recipe 模式。

组件划分。

•槽位、算子与 recipe：框架固定生命周期的槽位（stage，如 select、mutate），每个槽位由一个算子（operator）实现，recipe 指定每个槽位用哪个算子并给出配置。

•九个算子接口：五个必需（Select、Rollout、Mutate、Gate、Record），四个可选（Analyze、Validate、Novelty、Reflect）。

•两个声明：把「能改什么、看得见什么」变成显式实验选择，同一套算子接口因此既能做只改 prompt 的研究，也能改整个 harness。 

◦surface 声明：声明候选允许修改的资源。

◦mutate 配置：配置修改智能体的运行方式与可获得的上下文。

数据流：一次候选事务。 框架在 Harbor 的容器执行、轨迹捕获和逐任务验证之上，增加候选谱系与事务管理：

1.Select → Rollout → Analyze：按策略选择合格父候选，从其记录的 commit 创建工作区；收集训练任务上的执行证据，可选地归纳失败模式。

2.Mutate → Guardrail：修改智能体在声明范围内提出变更。Hyperagents 的适配版本还可在允许时编辑部分进化算子。框架检查实际目录树 diff，可选的 Validate 与 Novelty 算子可拒绝无效或近似重复提案。

3.Evaluate：框架提交通过检查的目录树，用干净 checkout 在 gate 任务上评分，并写入受认证的候选身份、评测条件和结果。

4.Absorb：Gate 根据认证分数决定子代是否有资格成为后续父候选；Record 提议方法注解，Reflect 可为后续搜索整理经验。这些策略输出均不能改写已认证的评测字段。

四处易混概念。

•七阶段与九个算子接口不是一一对应：「七阶段」描述生命周期，「九个算子接口」描述 recipe 可配置的位置。

•Guardrail 由框架执行，不是算子接口：框架在这一阶段检查实际目录树 diff 是否符合可变资源范围，之后可选的 Validate 与 Novelty 算子才可能拒绝提案（§3.2）。

•Gate 的进入条件：评测只有满足配置的任务覆盖策略时才进入 Gate。

•Gate 是候选准入策略，不是任务评分器：其规则不同，也意味着被接纳候选不必在每个划分上都单调改善。

证据与恢复机制。

•四类控制维护测量边界： 

◦任务划分：train 轨迹用于改进，gate 任务用于候选准入，sealed 任务只作留出报告。

◦diff 校验：实际 diff 必须符合可变资源范围。

◦认证绑定：认证事件将候选、父候选与 recipe 快照绑定到评测器、任务集、分数及谱系。

◦评测契约：评测契约还可记录配置、数据摘要、模型身份与框架版本。

•档案同时是恢复边界：完成认证、尚未获得 Gate 决定的子代保持待定，不能被选为父候选。

•恢复动作取决于中断位置：已提交的候选可继续评测，已认证的候选可继续 Gate，失败评测保留证据并要求显式重试；未完成的变更不会直接成为合格子代（§3、附录 D）。

图解。 只读查看器将候选身份、生命周期状态、分数、谱系和文件变更放在同一记录中，便于追溯「哪个版本在什么条件下得到这个分数」。这张截图描述一次运行，不是多次实验的聚合结果。

#评测设计

实验围绕三个研究问题组织：RQ1 框架能否支撑有效的 agent 进化；RQ2 框架是否保持其执行 agent 的原有能力；RQ3 框架是否保持 agent 进化实验的完整性。

设置。 以 MiniSWE 与 Codex 为 seed agent，各跑 AHE、Hyperagents、A-Evolve、GEPA 四个 recipe（框架另提供 hill-climbing recipe，但主结果比较的是前述四个适配版本）。基准为 Terminal Bench 2（89 个任务，50 train / 19 gate / 20 sealed）与 τ³ Banking（97 个任务，50 train / 20 gate / 27 sealed）；每任务一次 trial，报告 pass@1。表中划分列是各自对全基准分数的贡献（该划分通过任务数占全基准任务数的比例），不是划分内正确率；例如 Terminal Bench 2 的 sealed 列以 89 为分母，而非 20。模型配置全程固定：target 模型为 GPT-5.4（high reasoning effort），变异 agent 为 Codex（GPT-5.4，xhigh reasoning effort），从而减少模型配置差异的混杂；结果比较的仍是各 recipe 的完整策略组合及其可变资源范围。每代一个子代、最多 10 代，静态任务采样、每任务一次评测；任务执行在 Docker 隔离的 Harbor 环境中，基准资产按内容固定，软件版本锁定为 MiniSWE 2.4.5、Codex 0.143.0。

对照协议。 RQ2 用「代零对照」：对未经进化的同一 seed agent，在相同模型、任务、evaluator 与 runtime 下按固定顺序执行 Direct-A（框架外直接调用冻结 evaluator）、RSIHub 第零代、Direct-B（再一次直接执行），每条件 3 次独立重复；报告 Avg@3，并用任务级一致率刻画差异（D–D 为两次直接执行间的一致率，D–R 为直接执行与框架执行间的一致率均值，超额不一致率为 D–D 一致率减去 D–R 一致率，即跨模式不一致率相对直接执行的不一致率增加了多少）。RQ3 用故障注入与边界执行：在变异中、评测中、写评测回执后终止运行再恢复，并主动尝试修改 evaluator 文件、向 surface 之外写入、访问受保护证据、伪造档案结果，每场景每基准 30 次独立试验；通过标准是工作区达到有效且可归因的状态、未授权修改不影响被接受的结果、champion 可从框架证据复现。论文没有做算子级消融实验；「替换一个算子、其余 recipe 字段不动」的隔离实验是框架支持的能力（附录 A 给出 GEPA 风格 recipe 配置清单），已报告的实验比较的是 2 个 seed agent × 2 个基准 × 4 个方法的组合。

#主要结果与解读

核心结论。 在共同基础设施上，四个进化方法在多数设置下提升了 agent，但排名随基准与起始 agent 改变，没有一致最优的方法；总体分的提升还可能掩盖 sealed（留出）任务上的下降。框架本身在被测条件下通过了全部 420 次恢复与边界试验，自身耗时占比极小，新增方法也不需要改动框架核心。

关键发现：

•方法排名取决于设置（RQ1，Table 1）：Terminal Bench 2 上，四个方法把 MiniSWE 基线 56.2 提升了 7.8–13.5 个百分点，对更强的 Codex 基线（69.7）最多只提升 2.2 个百分点（AHE）；τ³ Banking 上，MiniSWE 以 Hyperagents 增益最大（+5.2），Codex 以 AHE 增益最大（+9.3）。

•总体分会掩盖留出任务上的损失（RQ1，Table 1）：τ³ Banking 上 MiniSWE 的 Hyperagents 总体增益最大，但 sealed 下降 2.1，AHE 与 GEPA 的 sealed 分别下降 4.1 与 2.1；Terminal Bench 2 上 Codex 的 AHE 与 Hyperagents 在提升 train 与 sealed 的同时，gate 各下降 3.4 与 2.2 个百分点。论文说明，这些单次运行的点估计不能确立相近差异的稳定性。

•框架执行与直接执行存在差异，尚未确立等价（RQ2，Table 2、Table 4）：框架执行相对直接执行的 Avg@3 差值在 −2.6 到 +3.4 个百分点之间；作为参照，两次直接执行之间也有 12.0–18.9% 的任务结果不一致。论文强调这些对照只刻画执行波动，不确立两种执行方式等价，也不确立进化增益的统计显著性。

•恢复与边界保护全部通过（RQ3，Table 3）：7 个场景 × 2 个基准 × 每基准 30 次，共 420 次故障注入与越权尝试全部达到要求的结果，没有一次接纳损坏状态。

•框架开销小，扩展成本低（Table 5、Table 6）：框架自身耗时占端到端时间的中位数约 0.02%；四个方法各用 47–61 行 recipe 表达、不改动框架源码，但仍需 216–1087 行方法专属的算子代码。

结论边界。 这些结果支持框架在被测条件下的可组合性与证据完整性，但认证记录不等于对结果真实性的保证：它依赖可信的框架服务、主机与文件系统保护、Git 与摘要操作、外部服务及有效的评测器，且 RSIHub 不负责遏制任意恶意代码（§6–7）。方法比较只覆盖 2 个 seed agent × 2 个基准 × 4 个方法的单次运行，比较的是论文的策略适配版本，不是原方法的完整复现。

综合讨论：哪些结论可以跨论文成立？

#1. 固定什么，决定分数在回答什么

MLGym 在多领域任务中观察「能否改进基线」；POSTTRAINBENCH 保留工程自由度，评测从零搭建后训练流水线的完整能力；RSIBench-Data 固定外围栈，将差异集中到数据策略和白名单配置；RSIGym 开放执行框架及其与训练的交互；RSIHub 固定测量与记录机制，比较不同进化策略。它们体现的是控制变量与研究自由度之间的不同取舍。

因此，共用 SWE-bench 或 Terminal-Bench 的名称，也不足以使分数可直接比较。目标模型、任务子集、运行框架、解码与尝试次数、反馈权限、预算和选择规则都可能不同。例如 RSIBench-Data 与 RSIGym 都使用 Qwen3.5-35B-A3B-Base，却采用不同的执行与评测协议，初始分和最终分都不能直接相减来评判方法优劣。

#2. 官方分数、留出泛化和递归进步是不同证据

RSIBench-Data 的 58.33% 表示后续候选超过首个候选的设置占比，78.26% 表示特定搜索中末次尝试低于历史峰值的占比；它们不是最终提交失败率。类似地，RSIGym 的 RSI-Index 是目标系统的归一化改进分，不是递归进步的直接指标。把这些口径分清，才能避免将「找到了一个更好的候选」升级成「已实现稳定递归自我改进」。

#3. 执行框架可以优化，测量条件需要固定并可追溯

RSIGym 与 RSIHub 在这一点上并不冲突。前者允许研究智能体优化目标模型的执行框架，再由平台按固定协议计分；后者进一步把可修改资源写入 recipe，并将评测器、数据划分与认证档案置于该范围之外。共同问题是：当执行策略发生变化时，如何确保分数仍指向同一研究目标，并能追溯到具体候选与评测条件。

固定评测器只是其中一层。MLGym 的只读权限保护数据和脚本，POSTTRAINBENCH 的事后审计检查污染与模型替换，RSIGym 的服务授权约束预算与权限，RSIHub 的契约与档案约束候选身份和证据写入。它们分别降低不同风险，不能彼此替代。通过 LLM 审计不证明没有污染，拥有哈希记录也不证明评测器本身有效。

#4. 过程证据解释失败，但不自动构成因果结论

几篇论文的共同价值，是保留了分数之外的实验轨迹：中间候选、数据与训练配置、执行日志、成本和选择行为。RSIBench-Data 由此区分发现好候选与持续改进策略，RSIGym 展示执行修复与训练更新的不同作用，RSIHub 将候选谱系与测量条件绑定。它们让「为什么没有改进」变得可以调查。

但轨迹中的相关模式仍需谨慎解释。较长会话伴随较高得分，不证明延长时间一定有效；更重训练在若干开发比较中退化，不证明训练普遍有害；最终一次尝试不及峰值，也不说明搜索策略一定无效。更有说服力的后续研究，需要在固定模型、任务、反馈和预算下，对具体策略作独立重复与受控对照，同时检验未见任务上的收益。

这五篇工作共同推进的，是让研究智能体的改进过程更容易运行、测量和审计。现有证据已经支持多种设置下的局部改进；要进一步证明稳定、可迁移并能促进下一轮研究的自我改进，还需要更严格的实验闭环。