当前位置:首页>排行榜>投行智能体能力评测:最佳通过率不足11%

投行智能体能力评测:最佳通过率不足11%

  • 更新时间 2026-11-19 12:05:57
投行智能体能力评测:最佳通过率不足11%

100个需要15至30小时才能完成的投行任务,分散在13家模拟公司的邮件、聊天、日历、笔记与文件中,要求智能体像分析师一样搜集信息、调和冲突并搭建财务模型。专家为每个任务撰写中位数124.5条评分标准,结果当前前沿模型中表现最好的通过任务也不到11%。这一基准把“完成了大量工作”和“交付物正确可用”明确分开,说明在信息分散且需要反复核对的端到端专业流程里,智能体的完成度与交付质量之间仍有明显差距;短期更现实的定位可能是辅助检索和信息核对,而非直接交付完整模型。

重点深读

ATLAS-Finance评测:前沿智能体在模拟投行任务中通过率不足11%

真实的专业工作往往不是一道写清条件的考题:任务要求分散在邮件、聊天、日历、笔记和文件里,信息可能彼此冲突,还会随时间更新。为衡量AI智能体在这种环境中能否完成有经济价值的工作,一组研究者构建了ATLAS-Finance基准,并在arXiv上公布了论文。

该基准包含100个端到端投资银行任务,分布在13家模拟公司中。这些任务由有经验的银行家根据自己经手的真实交易工作设计,据论文描述,人类完成单个任务需要15—30小时。智能体要像银行分析师一样先在各办公应用中检索需求、汇集资料、处理相互矛盾或已更新的信息,再搭建复杂的财务模型。

评分没有采用单一的最终答案对错,而是由专家撰写评分细则,每个任务的中位数为124.5条标准,覆盖财务逻辑与结果、电子表格构建、完整性和格式。这样的设计试图把“看起来做了不少”和“交付物真正可用”区分开。

结果显示,当前智能体虽然能完成相当一部分被要求的工作,却很少产出正确的交付物。在研究者测试的前沿模型中,表现最好的Claude Opus和Fable通过的任务也不到11%。论文的结论指向一个差距:在信息分散、需要反复核对并动手建模的端到端任务上,模型的完成度与交付质量之间仍有明显鸿沟。

对打算把智能体用于投行或类似专业流程的团队而言,这一结果提示短期内的合理定位可能是辅助检索、整理和信息核对,而非直接交付完整模型。需要注意的是,这是论文报告的评测结果,评审与独立复现状态尚未核对,也不代表所有实际业务环境的表现。

前缀缓存下给编码智能体加代码或删旧记录未必省钱,成本可能上升33%—116%

编码智能体会反复把对话历史发给语言模型。一个直觉是:补充有用的代码可以减少搜索步骤,删掉旧的工具输出可以缩短后续提示词,从而降低成本。但一篇新论文指出,这些改动是否真能降低解决任务的成本,需要单独测量。

研究者把这个问题当作测量问题处理,在SWE-bench Verified、SWE-bench和Loc-Bench上对开源模型进行了超过2万次运行,并分别计算未缓存输入、缓存输入和输出token的费用。之所以要分开算,是因为前缀缓存会让重复出现的提示词前缀按更低价格计费,输入变长不一定更贵,缩短提示也不一定更便宜。

第一项发现来自主要的证据包实验:加入检索到的代码使读取和搜索命令减少18%—34%,但当缓存输入价格仅为未缓存输入的十分之一时,总成本反而上升33%—42%,解决率没有可测量的提升。第二项发现关于删除旧观察:同样的做法在没有缓存折扣时能省19%—36%,在十分之一价格的缓存下却使成本增加38%—116%。第三项发现是,更短的提示词并不保证更便宜,因为智能体可能用更多步骤来回应。

论文还指出,并发实验可能共享缓存前缀,从而扭曲成本比较,这提示此类评测需要控制运行环境。对使用编码智能体的团队来说,这些结果意味着按token单价和智能体后续行为一起评估上下文管理策略,比只看提示长度更可靠。需要说明的是,这是预印本报告的实验结论,评审与独立复现状态尚未核对,也不直接等同于生产环境中的稳定节省或开销。

让大模型只处理不确定病例:ICD-10编码预测可减少三成错误

从简短的诊断文字自动对应到 ICD-10 编码,是医疗信息化中常见但不容易做好的任务。ICD-10 是国际通用的疾病分类编码体系,医院用它记录诊断、结算和统计。难点在于诊断短语往往很短且带有噪声,编码体系本身分层复杂,各类编码的出现频率又极不均衡。一篇 arXiv 预印本论文针对这一场景,提出了一套减少大模型调用次数的预测流程。

论文团队的做法分几步:先用 Transformer 嵌入把短文本转成向量表示,Transformer 是一种擅长处理文本序列的神经网络结构;再由树模型生成候选上级编码,也就是先锁定范围更宽的编码类别;然后对候选逐一重新排序;最后只把难以确定的病例交给大语言模型做把关。研究采用防止数据泄漏的验证方案,模型和阈值只在交叉验证的折外预测上选择,最终结果在未参与调参的锁定测试集上报告,且测试集与训练数据不共享同一来源文件分组。

结果显示,监督式的上级编码候选生成器在锁定测试集上达到 74.32% 的 Top-1 准确率,前 10 个候选中包含正确编码的比例为 93.05%。直接让 GPT-5.6-Sol 零样本编码,准确率可达 81.01%,但每一条诊断都需要调用一次这个大模型。最终部署方案在候选融合后达到 81.24% 的折外交叉验证准确率和 83.19% 的锁定测试准确率,而大模型只被调用 31.97% 的病例。相比监督基线 25.68% 的错误率,新流程把锁定测试错误率降到 16.81%,论文称这相当于 34.5% 的相对错误下降。

这项研究想说明的判断是:大模型在这类任务中最有效的角色不是包办全部编码,也不是对全量数据逐条调用,而是在不确定样本上做受控的重新排序。对医院或医疗数据公司而言,这意味着在保持较高准确率的同时,可以显著压低大模型的调用成本。需要注意的是,这是预印本论文的研究结果,是否经过同行评审和独立复现尚不清楚,锁定测试集上的表现也不等于实际生产环境中的稳定收益。

其他值得跟进的进展

二值量化低秩适配器降低存储

论文将低秩适配器参数压缩到每参数一位,配合逐层缩放和直通估计,适配器存储降低13至16倍。在Qwen2.5各规模上基准均分比四比特量化方案高0.8至3.5分,但LLaMA-2上并非全面领先。

星火四代在昇腾芯片上训练2850亿参数模型

论文介绍星火四系列,延续TeleChat路线,在昇腾910C上以8192卡预训练2850亿参数模型,涵盖稀疏激活、注意力设计与投机解码等取舍,并建设MindSpore HyperParallel基础设施。后训练引入TeleGym统一智能体执行平台,支持异步执行与部分推演。

财报与坏消息交易智能体无超额收益

作者用无未来信息泄漏的回测框架,在五百九十八次财报公告前和四百零九次大跌后测试四家厂商的五个模型智能体,结果均未跑赢简单策略;唯一看似有效的方向判断来自训练期记忆,训练截止后准确率从59.2%降至53.3%。

新基准测试AI预测企业组织调整后果

论文推出 RehearsalBench,在按真实通话记录拟合的银行呼叫中心中,让模型制定干预方案并预测结果,按金额计分。十个模型在14个组织做出280次尝试,最佳模型较不作为降低成本6.8%,但普遍高估语音代理对重复来电影响约五倍,且从未建议按兵不动。

大促流量漂移下的工业推荐框架

作者提出把历史表征学习与活动期分数调整分离的推荐框架,用跨周期对比对齐和时变事件核调整排序;在飞猪数据上离线AUC略优于对照,线上十天实验转化率提升3.14%、千次收入提升2.68%,但新品类付费召回下降。

多语言推理能耗差异高达数百倍

论文用ML.Energy框架测量多语言大模型推理能耗,发现每输出词元能耗跨语言相差最多8.3倍,固定请求集总能耗英语最低为17.6千焦、普什图语最高达3147千焦;高能耗语言同时任务准确率更低,差异跨模型硬件任务持续存在。

排序漏斗中的选择导致校准失真

论文指出模型边界处校准的分数经过过滤、重排和竞价后会在决策点失准,并用残差诊断区分选择效应与模型误差。作者提出漏斗感知重校准,报告线上两区域A/B测试中决策时校准误差降低六至八成并改善竞价效率。

智能体代码沙箱学习式预热快照

作者针对智能体代码沙箱启动慢的问题,提出从大量脚本中学习一组小而快的预热快照,用优化与近似算法覆盖多数工作负载;在约一万五千个公开与模型合成脚本上规划,同存储预算下启动延迟降低三至二十二倍,端到端运行时间缩短一点三至三点三倍。

利用模型随机性测量拒答的用户流失成本

论文提出利用同一模型在近似提示下拒答与否的随机差异做自然实验,在公开对话日志上估计拒答对后续回访的因果影响,约半数可精确测量的模型显示三到十七个百分点流失,方法仅依赖日志且成本较低。

可复用键值缓存的LLM推荐用户记忆

论文将LLM推荐系统的用户文本画像改为可复用键值缓存,用轻量LoRA写入器在生成画像时产出缓存,并在饱和负载下将评分路径吞吐提升四至四点五倍,排序质量与全预填充无显著差异。

模型原生前缀树解码加速宽束生成式检索

针对生成式检索宽束搜索中词表打分张量浪费与重复注意力的服务开销,提出把标识符前缀树存为GPU张量并复用提示键值块,在SGLang实现。在招聘助手与资格检索负载上,闭环吞吐较基线最高提升5.57倍,较BF16方案提升2.63倍,属工程优化报告。

AI编程助手生产力证据碎片化综述

系统综述梳理AI编程助手对开发者生产力的影响,识别出187种生产力相关指标而单项研究平均仅用5种,指出时间与产出类代理指标主导,积极效果多在主观感知层面,客观或统计检验证据较弱。

原文与参考资料

ATLAS-Finance评测:前沿智能体在模拟投行任务中通过率不足11%|原文
https://arxiv.org/abs/2611.22085

前缀缓存下给编码智能体加代码或删旧记录未必省钱,成本可能上升33%—116%|原文
https://arxiv.org/abs/2611.22238

让大模型只处理不确定病例:ICD-10编码预测可减少三成错误|原文
https://arxiv.org/abs/2611.21891

二值量化低秩适配器降低存储|原文
https://arxiv.org/abs/2611.22334

星火四代在昇腾芯片上训练2850亿参数模型|原文
https://arxiv.org/abs/2611.22115

财报与坏消息交易智能体无超额收益|原文
https://arxiv.org/abs/2611.22177

新基准测试AI预测企业组织调整后果|原文
https://arxiv.org/abs/2611.22480

大促流量漂移下的工业推荐框架|原文
https://arxiv.org/abs/2611.22597

多语言推理能耗差异高达数百倍|原文
https://arxiv.org/abs/2606.21869

排序漏斗中的选择导致校准失真|原文
https://arxiv.org/abs/2611.22595

智能体代码沙箱学习式预热快照|原文
https://arxiv.org/abs/2611.22171

利用模型随机性测量拒答的用户流失成本|原文
https://arxiv.org/abs/2611.21641

可复用键值缓存的LLM推荐用户记忆|原文
https://arxiv.org/abs/2611.21920

模型原生前缀树解码加速宽束生成式检索|原文
https://arxiv.org/abs/2611.22309

AI编程助手生产力证据碎片化综述|原文
https://arxiv.org/abs/2611.21632

随机文章