10月24日，全球开发者先锋大会“新方法、新基线、新语料”多领域系列评测基准发布会在上海张江科学会堂举行。活动围绕医疗、法律、建筑工程、科学智能、具身智能五大领域，集中发布评测基准及具身智能数据评测与应用系列标准成果，探索以真实任务检验专业能力、以科学评测促进产业应用的新路径。上海市经济和信息化委员会副主任潘焱出席发布会并致辞。
本次活动由全球开发者先锋大会组委会指导、组委会办公室主办，上海库帕思科技有限公司、上海人工智能实验室、上海创智学院、商汤科技、阶跃星辰、稀宇科技共同承办。
上海人工智能实验室青年研究员张子澄围绕司南评测作引领发言。随后，库帕思前沿行业部总监曹宇主持圆桌交流，张子澄与上海创智学院孙宇涛、华建集团华建数创罗睿锋、中国科学院上海营养与健康研究所钱嘉强等嘉宾，围绕真实任务设计、评价依据和评测成果应用展开深入交流。
在本次活动上，司南评测体系集中发布了近期系列评测成果，涵盖司南大模型官方评测榜单V3.0、SciDataIndex科学数据评价平台及AI 视频生成评测榜单，持续拓展评测的能力边界与应用场景。
图1｜全球开发者先锋大会现场，司南大模型官方评测榜单 V3.0 评测体系及榜单展示
司南大模型官方评测榜单正式升级至 V3.0，围绕“知识、抽象、推理、交互、安全”五大核心能力维度，构建“五维一体”能力评估框架，并动态引入趋势评测维度，当期聚焦智能体能力，以持续反映大模型能力边界的演进与发展。
司南大模型官方评测榜单依托“五维一体”能力评估框架，结合趋势评测维度，对各类模型的综合能力进行系统化评估，并发布首期评测成果。
司南采用自建闭源评测数据，减少数据污染与针对性优化对评测结果的影响，使评测结果能够更加真实地反映模型的能力水平。
榜单链接：
https://rank.opencompass.org.cn/leaderboard/llm
SciDataIndex: 面向AI4S的科学数据分类分级与评价平台
随着 AI4S 快速发展，科学数据来源分散、质量评价困难以及与科研任务匹配不足等问题日益突出。针对上述挑战，SciDataIndex 构建由 AI Agent 驱动的科学数据分类分级与智能评价平台，通过证据聚合、多维量化评价与任务检索，实现科学数据的智能发现与综合评估。
平台围绕开放性、数据规模、影响力、安全性、数据质量及 AI 就绪度等维度开展评价，为科研人员发现、筛选和利用高质量科学数据提供客观依据，助力科学数据资源的高效利用与 AI4S 研究创新。
项目链接：
https://scidataindex.opencompass.org.cn
视频生成模型的能力在不断提升，仅依靠画面真实感或粗粒度指令遵循评价，已难以充分区分先进模型之间的能力差异。在实际创作任务中，模型不仅需要准确控制对象数量、空间关系与运动时序，还需确保交互过程符合物理及材料规律。与此同时，对这些细粒度差异的人工评估，也对专业知识与时间投入提出了更高要求。
针对上述挑战，司南评测体系推出面向 AI 视频生成模型的自动评测框架 RAVEN-Eval，通过引入任务级评判标准与多评委成对比较机制，从任务完成质量、细节控制及过程合理性等方面，对模型的视频生成能力进行细粒度评估。
基于 RAVEN-Eval 评测框架，上海人工智能实验室联合中央广播电视总台超高清视音频制播呈现国家重点实验室、教育部中国美术学院文创设计智造哲学社科重点实验室、湖南快乐阳光互动娱乐传媒有限公司、上海交通大学国际文化创意产业学院及江南大学设计学院，共同打造面向 AI 视频生成场景的专业模型评测榜单。
司南 AI 视频生成评测榜单共设置 250项评测任务，包含150项文生视频任务与100项图生视频任务，覆盖三种典型生成方式：
文生视频（T2V）：根据文本提示生成视频，考察场景与对象细节、运动交互，以及知识与推理要求的完成情况。
首尾帧补全（FLT）：根据文本及参考首尾帧生成视频，考察首尾状态的遵循程度与中间过渡过程的合理性。
关键帧拓展（KFT）：根据文本及起始关键帧生成后续视频，考察初始状态的遵循程度与后续动作、现象的合理演化。
司南AI视频生成榜单结果发布，为专业创作提供选型参考
榜单链接：
https://specialist.opencompass.org.cn/RAVEN-Eval
上海交通大学： 王钧、花敏、陈梦、林详、胡强
江南大学： 王峰
华东理工大学： 苗若木
（排名不分先后）
从大模型综合能力评测，到科学数据智能评价，再到 AI 视频生成专业评测，司南评测体系持续拓展 AI 评测的领域与应用场景，推动评测与产业需求深度结合。
未来，司南将继续秉持开放、公平、可信的理念，致力于构建公正、客观的 AI 评测体系，为模型研发、技术选型与产业应用提供可信赖的评测参考，促进人工智能技术发展与持续创新。
