三篇新论文把 Agent 评测推进到真实任务:专利、协作编程与迭代搜索

如果 Agent 只在给定候选文档里找答案，或只把一句需求改成一段代码，分数很容易看起来不错。真正困难的场景是自己搜证据、理解多模态需求，再把多个修改落实到可运行结果里。本期选 3 篇论文，分别从专利工作流、协作编程和迭代搜索补上这三个缺口。它们对应的原文是 PatentAgentBench（arXiv:2610.35031）、Co-Design Bench（arXiv:2610.35138）和 ACARE（arXiv:2610.35840）。

PatentAgentBench 收集了 510 个实例，分成 8 类任务，包含新颖性检索、自由实施检索、外观设计 FTO、无效检索、权利要求对照、专利撰写、审查意见答复和专利翻译。它的关键变化是，检索任务不再直接给候选文档，Agent 得自己搜索并比较专利集合；撰写和答复任务则从技术披露或审查意见通知开始。

作者用任务专属指标、专家标注和评分规则评估 7 个模型、4 套 Agent harness。摘要给出的结论很克制，当前系统在识别新颖性、评估风险和理解执业者意图上仍有困难。摘要没有报告各模型的具体分数、消融结果或任务间排名，这些数字不能从摘要外推。

对工程团队来说，基准的价值在测试链路是否完整。检索、证据比较、风险判断和文书输出被放进同一套专业任务里，单看最终答案的评测不够用了。原文链接：arXiv:2610.35031。

Co-Design Bench 面向人和 AI 一起改应用的场景。它从 26,314 次真实用户编程会话中去重 37,463 条查询，整理出 273 个任务，分为多模态编辑和仓库编辑两条赛道。任务覆盖文字之外的图片、音频、视频或文档输入，并配有 2,331 条隐藏的专家验收标准。

它采用先判定、再反驳的评测流程。判定器结合源码和浏览器证据检查标准，独立验证器专门挑战正面结论，还会审计视觉与交互声明。十个模型端点在共享 harness 下，最强者平均完成每个任务 69.9% 的标准，但完整满足的任务只有 26.4%。仓库编辑涉及三到四种改动时，十个端点的标准完成率都低于只涉及一到两种改动的任务。

这个结果提醒我们，代码能运行不等于需求已完成。复杂修改要同时看功能、界面和用户原始意图。原文链接：arXiv:2610.35138。

迭代搜索里，Agent 会不断生成子查询。传统重排器只判断文档是否匹配当前子查询，却可能忽略它是否真的帮助回答用户最初的问题。ACARE 让一个 4B 参数模型在可用时读取 Agent 上下文，再对文档重排。

摘要报告称，ACARE 在多个基准和 Agent 家族上提升了检索质量，同时减少搜索次数；它也改善答案生成的准确率，并让小模型缩小与大模型的检索质量差距。论文摘要没有给出具体基准、模型、指标数值和消融表，因此这些改善只能按作者的定性摘要理解，不能写成普遍部署保证。模型、训练数据和代码在摘要中写为即将发布。原文链接：arXiv:2610.35840。

三篇论文放在一起看，评测对象正在从“答对一道题”移向“能否完成一条真实工作链”。专利基准检验专业证据与风险判断，协作编程检验多条件落地，ACARE 则处理搜索过程中目标漂移的问题。若要把它们用于生产验证，仍需按自己的数据、模型和成本重新测量。

如果这组论文帮你理清了 Agent 评测该看什么，欢迎点个在看；想继续读这类有证据的拆解，也可以把公众号设为星标。

我是千哥，持续分享 AI 工程化观察与干货，这里记录从论文、开源项目到工程系统的拆解。