10月24日,全球开发者先锋大会“新方法、新基线、新语料”多领域系列评测基准发布会在上海张江科学会堂举行。活动围绕医疗、法律、建筑工程、科学智能、具身智能五大领域,集中发布8项评测基准及5项具身智能数据评测与应用系列标准成果,探索以真实任务检验专业能力、以科学评测促进产业应用的新路径。上海市经济和信息化委员会副主任潘焱出席发布会并致辞,上海市市场监督管理局相关负责同志及企业机构、行业协会、高校和科研院所代表参加活动。
本次活动由全球开发者先锋大会组委会指导、组委会办公室主办,上海库帕思科技有限公司、上海人工智能实验室、上海创智学院、商汤科技、阶跃星辰、稀宇科技共同承办,并得到相关科研机构、行业企业和生态伙伴的支持。
潘焱在致辞中表示,专业可信的评测体系是衔接技术创新和产业应用的重要桥梁,高价值语料突破是弥补算力短板、提升模型能力的重要路径。他提出,要坚持以评促建、需求牵引、开放协同,让评测牵引技术迭代、服务产业应用、惠及创新生态。上海将深入实施“模塑申城”行动,加大对高价值语料评测基准的支持力度,强化资源整合与供需对接,完善产业公共服务。
本次发布的系列评测基准,将专业场景中的实际需求转化为可测量的任务、可核验的结果与可复现的评价流程,为模型能力比较、技术迭代和产业应用提供依据。
医疗领域,聚焦循证医学与证据应用。复旦大学附属中山医院、上海人工智能实验室、联影智能、脉博深处、库帕思联合发布MedBench RWE临床智能体真实世界证据应用评测基准。基准依托MedBench长程临床智能体评测框架,将循证医学证据分级规范与全链路溯源校验相结合,从临床决策质量和循证合规性两个维度,对医疗人工智能应用能力开展评估。首期评测聚焦上消化道出血场景,结合典型临床病例与权威指南文献,并同步开源KPS-Evidence循证医学数据集,为医疗可信人工智能的发展与应用提供可核验、可比较的量化评价依据。
法律领域,以真实案件检验实务成果。百事通、阶跃星辰、MiniMax、库帕思联合发布LegalAgentBench-CN中文法律智能体评测基准。基准以真实案件和法律咨询任务为基础,聚焦法律推理与长程任务执行,重点评估智能体交付成果的完整性与结论的可溯源性,并与真实案卷、判决进行校核,为法律人工智能的能力评估与应用落地提供评价标尺。
建筑工程领域,从图纸理解走向工程交付。华建集团、同济大学、华建数创、商汤科技、阶跃星辰、MiniMax、库帕思联合发布VecCAD-Bench图模CAD+评测基准。基准以真实工程图纸为基础,围绕图纸感知、理解、生成及长程任务执行构建评测体系,检验模型连续完成图纸识读、编辑、核验与成果提交的能力,并依据交付文件自动评分,评价模型能否将图纸理解转化为可编辑、可校核的工程成果。
科学智能领域,检验解决真实科研问题的能力。中国科学院上海营养与健康研究所、上海创智学院、上海科学智能研究院、华东师范大学、东华大学、MiniMax、库帕思共同发布科学智能领域系列评测基准,包括ChemSciBench化学科研任务评测基准、LifeSciBench生命科学科研任务评测基准、MatSciBench材料科学科研任务评测基准。系列基准聚焦生命科学、化学与材料三大方向,分别考察生命科学研究中的信息理解与科学判断、化学研究中的文献解析与合成规划,以及材料研究中的建模、模拟与数据分析能力,同时关注工具使用、错误修正与过程可复现性,呈现人工智能解决真实科研问题的能力。
具身智能领域,在真实场景中检验长程任务执行。上海市人工智能行业协会、上海大学、上海创智学院、大晓机器人、它石智航、穹彻智能、库帕思共同发布具身智能领域系列评测基准,包括RoboRealBench Industry工业场景真机长程任务评测、RoboRealBench Retail零售场景真机长程任务评测。系列基准面向真实工业制造和商业零售场景,建立长程任务评测规范与评分体系,结合真机执行轨迹,完整留存多模态观测与动作,衡量实际任务中的执行表现,使每一次执行可记录、可比对、可回流,为具身智能走向生产一线提供上岗前的能力评价依据。