速览｜UniPat-AI 推出"AI 能否复现科学"跨学科学业基准 PAPERBENCHX
2026 年 10 月 29 日，由 UniPat-AI（unipat.ai） 团队发布的预印本《PAPERBENCHX: Can AI Reproduce Science Across Disciplines?》（arXiv:2610.39744）上线。他们没有再训练一个更大的模型，而是造了一把"尺子"：把 93 篇论文 编译成「可由智能体执行、由环境重放、由原始证据重算、由评分器逐项验证」的复现任务，覆盖电磁、光子、化学、材料、生物、机器人等 12 个学科。
结果很扎心——在 10 个前沿智能体配置 中，最好的也只在 90% 阈值下完整复现了 约 14% 的任务，平均 rubric 得分仅 27.53%–59.08%。换句话说：看懂论文，和"真把证据造出来"之间，还差着一个太平洋。
技术要点｜"重跑 + 重算 + 验证"三道闸，把可复现变成可打分
核心创新用大白话讲：以前的科研复现基准大多只在 AI / 机器学习圈子里打转（软件栈同质、跑个脚本比个分就完事）。PAPERBENCHX 把战场拉到真实科学学科，逼智能体做三件事——
- 建模（Modeling）：从论文里把科学模型、假设、几何、参数、目标观测量还原出来；
- 执行（Execution）：用学科原生专业软件（不是通用 Python 脚本）真正跑起来，能读懂诊断信息、证明"该算的确实算了"；
- 验证（Validation）：把产物重新生成一遍，把数值 / 科学结论挂回支撑它的证据上。
更狠的是评测机制：每一份提交都从零重跑，只给"重算出来的证据"打分，模型自己写的"我跑通了"一律不算数。还设了 4–24 小时（中位 7 小时） 的单任务算力预算，逼智能体学会在真实科研里做资源决策——而不是无限试错的代码执行器。
生物关联｜对"计算生物 / 生信复现"意味着什么（举 1 例）
这套基准里 明确包含计算生物与生物信息学赛道——公开任务第 11 题就是「Reconstructing a human CRISPRi genetic-interaction map」（重建人类 CRISPRi 遗传互作图谱）。一个生信智能体要做的，正是我们日常卡手的活：
给定一篇方法学论文，Agent 得 还原出研究对象（哪些基因、哪些扰动、怎么算互作得分） → 在生物信息学原生环境里 真正把分析流程跑通并留痕 → 把"基因互作显著"的结论 挂回可被他人重算的证据链。
这直接照见本号反复强调的那条铁律——能复现 + 有校验，才算科研智能体：此前我们追踪的 RIDAR（科研诚信审计）、ARGUS（证据闸门）、ScienceClaw（双闸门）、Magnolia（provenance by construction）、DrugTargetWorld（abstentions 证据留白）、ProteinGeoBench（几何数值独立复算），全是同一套"可复现 + 校验"纪律在生物场景的落地；PAPERBENCHX 把它 搬成了可逐项打分的基准，等于给所有生物科研 Agent 发了张"准考证"。
影响解读｜对谁有用、现在能用吗
- 对谁有用：做计算生物 / 生信的研究生与 PI、搭建"论文复现 / 方法复现"Agent 的团队、任何担心"AI 写的流程到底能不能信"的人。
- 现在能用吗：能。团队已在 GitHub 开源 12 个公开任务（含上面那道计算生物题）及统一评测框架，社区可直接拉起来测自己的 Agent；另有 81 道受限任务由维护方单独管理以防污染。
- 别误读：约 14% 的完整复现率不是"AI 不行"的判决书，而是把"AI 能否可靠复现研究"变成可以逐项检验的真问题——比起盲目相信 Agent 给的结论，这把尺子反而让"把科研交给 AI"这件事更可控。
- 严谨提示：自家下游做无重复转录组 / 单细胞差异表达 / 单样本表达谱的读者，仍须独立数据集校验；无重复探索性分析固定 BCV=0.1，别把"智能体声称复现出的基因互作清单"直接当因果或湿实验结论。
资源｜论文 / 代码 / 试用
- 论文（arXiv:2610.39744）：https://arxiv.org/abs/2610.39744
- PDF 全文：https://arxiv.org/pdf/2610.39744
- HTML 版（含作者与任务细节）：https://arxiv.org/html/2610.39744v1
- DOI：https://doi.org/10.48550/arXiv.2610.39744
- GitHub 开源（12 个公开任务 + 评测框架）：github.com/UniPat-AI/PaperBenchX
- 项目主页 / Blog：unipat.ai/blog/PaperBenchX
- arXiv Vanity 镜像：arxiv-vanity.com/papers/2610.39744
- 二次解读（量子位 / 凤凰网）：关于 13.98% 复现率与"建模 / 执行 / 验证"三闸的拆解
注：论文未给统一定价 / 商业授权，公开任务部分含非商业科学软件栈；本文仅作方法学解读。
这篇能帮到你，说明你也在用 AI 提效科研 关注【AI+生物功能呢】，回复「智能体」领《科研 Agent 提示词包 20 条》+ 每周推送 1 篇实战稿，让你少熬夜、多出图。
